具体的な業務内容
【リモート中心】大規模データ分析基盤のシステムエンジニア※イオンG/日本最大規模のDB構築
●小売り最大手のイオングループだからこそ、データの種類、量ともに膨大!日本最大規模のDBの構築に関われる!
●リモート中心の勤務になり、個々人のご事情に即した働き方が可能!
【業務内容】ASPD基盤開発Divの一員として、大規模データ分析基盤システムの構築、及び同システムがサービス開始した後の追加開発、保守業務をお任せします。構築、保守においてはグループ内企業の中国オフショアチームと協業しながらプロジェクトを推進していただきます。
※職種の変更の範囲:当社業務全般
〜ASP/Dのサービス概要〜
Aeon Smart Platform for Dataは述べ会員数は1億人以上、店舗への年間来店客数は14億以上、グループ連結売上は9兆円以上と、イオングループは小売業者の中でも最大規模のデータを集約する基盤です。アーキテクチャはMicrosoft Azureを採用し、データベース間のデータ連携についてはStorageやAPI、MQ、DB linkなどいくつかの連携方式を通じて、各事業に散在するデータをETLで処理し、最終的なデータマートを作り上げる構成になっています。
また、用途に応じてPower BIやTiDB、Snowflakeなどを活用し、オープンな状態を作っているのが今のイオン全体のデータ基盤における取り組みです。
<技術領域>
・データレイク製品(Databricks、Snowflakeなど)
・Azure製品(仮想マシン構築、NSG設定、DataFactory、AZCopyなど)
・Azureマシンのサイジング
・データレイク製品POC準備・方式設計、スケジュール化など
<事業フェーズ>
イオングループ全体(会計・商品・店舗・顧客・行動・出荷・配送・ポイント等)のデータ統合を目指しています。
<現状の課題>
連携システム、特にデータ源泉は多様なため、標準的な連携パターンを複数用意し、その連携パターンのどれかを選択する設計を推進中です。また、送信されるデータ構造も多様なため、データフォーマットを標準化し、送る側で標準化してもらう設計を想定しております。また、利害関係、利用者のニーズも多様なので、各事業会社とコミュニケーションをとりながらの開発となります。
チーム/組織構成
その他プロジェクト事例
開発環境