具体的な業務内容
データエンジニア(サーバーサイド)◆サイバーエージェント各事業部のデータ活用を促進する基盤の開発運用
【インターネット総合サービスを提供する東証プライム上場企業/福利厚生制度充実】
■職務内容
サイバーエージェントの各事業部のデータ活用を促進するための各種システム基盤の開発・運用を、チームメンバーや他の部署と連携して行っていただきます。
■業務詳細
◇システム基盤の運用と開発・機能追加
・社内向け検索基盤やバッチ実行基盤などのシステム基盤の運用を行い、必要な機能の追加や改善を行います。
・モデル管理やフィルタ処理基盤など機械学習に関わる各種システム基盤やワークフローエンジンなどの運用、開発に携わります。
◇生成AI活用の推進
・社内業務効率化のための生成AIを使ったツールの開発を行い、会社全体の業務効率化を支援します。
◇次世代分析基盤にむけての移行と開発
・Hadoop、Hive、HBase、Sparkなどの現データ分析基盤から次世代の分析基盤に向けての計画と移行、システム開発を担当します。
・また、Kafka、Flume、Flinkなどのストリーム処理システムにおいても、必要な機能の追加や改善を行います。
■配属先部署情報
データプロダクトユニットは、各事業部/サービスで蓄積された大量のデータを分析や機械学習などを通じて効率的に活用できるようにするためのシステム基盤の開発・運用を行っています。
またデータ加工処理などで利用されるワークフローエンジンや、モデル管理システムといった機械学習で利用される各種システム基盤の開発・運用を行うとともに、機械学習に関わる業務フローの最適化の検討なども行っています。
■主な利用技術
Go/Java/Bash/Python/Apache Hive/Apache HBase/Apache Kafka/Apache Solr/MySQL/Redis
Kubernetes/Istio/Docker/Helm/gRPC/gRPC Web/Prometheus/Grafana/Loki
OpenStack/AWS/GCP
■開発環境・ツール
GitHub/GitHub Actions/Slack/Intellij IDEA/Ansible/Terraform/Mackerel/vim/Visual Studio Code/gradle/maven/Notion/Jenkins
チーム/組織構成