具体的な業務内容
データ本部/データインフラ部/DWHエンジニア/エンジニア
データ活用の根幹となる、DMMグループ全体で利用するデータレイク・DWHの管理を行うDWHチームにて、DWH基盤開発をご担当いただきます。
・データソースパターンの増加/データのバリデーションパターン増加
・データパイプライン時間短縮/データ取り込みフリクション軽減
・DOE(データオペレーションエンジニア)からの要望(=ユーザからの要望)の取り込み/DOEが安全に操作できるような仕組みづくり
■ミッション:
<DWH基盤の提供を通してDMMグループのデータ戦略を支える>
・各事業のデータの取り込みを省力化し、分析基盤をリードタイムなく使えるようにする/DWHのテクニカルメタデータを収集, 解析し、データ異常を検知、予防する
・DWHのビジネスメタデータを収集, 提供し、分析者の生産性を向上する/DWH利用者のDXを損なわない形で、コストの最適化を図る
■ポジションの魅力:
・多くの事業からなる大規模なDWH基盤特有の課題に向き合う事ができます。
・PJ立ち上げ、リリースに一貫して携わるなど、裁量が大きく制限のない環境です。
・データ基盤運用は多くのステークホルダーとの調整に追われがちですが、窓口を別に設けているため、開発に専念できる体制です。(窓口のチームも同じ組織内なので、ユーザーのニーズを拾えない状況ではありません)
■チーム体制:TL1名、エンジニア1名(チームの立ち上げ直後に伴い、少人数となっています。中途採用以外に新卒メンバーも配属予定です)
■開発環境・ツール:Mac(JIS配列 or US配列) 、Windows お好きなマシンを選択可能/デュアルディスプレイ支給/マシンスペックはCPU(Core i5),メモリ(16GB)を標準とするが、必要な開発環境に応じて上位スペックを選択可能
■主要技術一例:
[言語]Python, Hive, Spark [AWS]EMR, Glue, Athena, Lambda, APIGateway [CI・CD・その他]Terraform, CircleCI, GithubActions, digdag, embulk
チーム/組織構成