具体的な業務内容
【経験者歓迎】データプラットフォーム開発エンジニア〜月間数千億アクセスの分散処理基盤開発/リモート可
国内で他社に先駆けて創業した独立系DSPベンダーである当社において、DSP/DMPで生み出される大規模なデータを分析するための基盤作り、そして分析から結果をプロダクトに反映し、さらなるパフォーマンスを発揮させるためのプロダクト開発を担って頂きます。
・大規模データ分析を効率的に行うための基盤やツール群の整備、開発
・Apache Hadoopやその他オープンソースソフトウェアの調査、活用、運用
・データ分析自体を行い、プロダクトとしてのアウトプット
※データ規模…8500億req / 月 数十億ユニークブラウザデータ
■プロジェクトの進め方:チケット駆動による機動的な開発進行や、Pull Requestベースの開発ワークフロー(コードレビュー・CI・リリース)等でプロジェクトを進めていきます。また、数ヶ月規模の開発から、日々のメンテナンスなど、構築・開発から運用まで広く担当していただきます。
※開発環境…Linux (CentOS), MySQL, TokyoCabinet, Memcached, Perl, Java, Scala, C/C++, Python, Go, Hadoop, Hive, Spark, Presto, re:dash, AWS (EC2, S3, VPC, Direct Connect, Route 53, EMR, SageMaker), Puppet, Fluentd, Elasticsearch, Kibana, Vagrant, KVM, Slack, GitHub, CircleCI, Ukigumo
■当社の魅力、カルチャー
・技術的な難易度が高くチャレンジングな環境…月間数千億の広告リクエストを捌くための超高速なサーバサイド処理技術に留まらず、大規模なユーザの行動ログデータの分散処理や機械学習の分析技術、使いやすさを追求するユーザーインターフェースの開発など、他では味わえないような多岐に渡る技術で構成されています。
・テクノロジーへの理解ある経営陣…当社は複数のテクノロジー企業において経営者や投資家として、そしてソフトウェア開発者として経験を積んだメンバーにより構成されております。プロダクト開発の主役がエンジニアであり続ける為に、常に最新の技術に触れ、アイデアを持ち続けるための制度を用意しています。
チーム/組織構成