具体的な業務内容
【フルリモート】データエンジニア<自社開発ベクトルの検索エンジン>※東証プライム#TG
■チームミッション:
「インパクトのある変化」を追い求め、それに必須である技術導入を部内横ぐし型で推進。技術における意思決定、新規研究、テックシフトを進めます。
部内全体での実力値をスケールさせ、3〜5年先を見据えた正しい技術投資を行える組織を作ることをミッションに掲げています。
■担当業務内容:
1)データ分析/検索モデルや機械学習モデルで利用する為の特徴量含作成と管理:60%
2)データ連携におけるパイプライン開発:20%
3)新たなサービス(AWS/GCP等)・ツール・先端技術に対する技術検証:20%
■使用アプリケーション:
・コミュニケーション : MS Teams, JIRA, Confluence
・サーバ監視 : CloudWatch ※サーバレス主体でサービスを構成しています
・他:Office 365、Azure OpenAI Service
■開発環境・その他:
AWSを中心としたフルクラウド環境のシステム。クラウド上でもクライアントPCで開発も可。
言語はPythonが殆どですが、Rust等の新しく性能の高い言語を習得していると活躍の幅が大きく広がります。
・DB : Redshift, BigQuery, RDS, DymanoDB, Neptune
・データカタログ:OpenMetadata, dbt, Glue Catalog, Sagemaker/VertexAI FeatureStore
・BIツール:Looker
・開発言語: Python, SQL, Spark, Rust
・フレームワーク: Fastapi, Pytorch
・コードリポジトリ:GitHub
・IDE: VS Code, Sagemaker Studio, Intelli J, Github copilot利用可 ※自由
・AWS: Sagemaker, Lambda, StepFunctions, Batch, CloudFormation, CodeBuild/CodePipeline ... ※利用サービスに制約設けてません
・GCP:VertexAI VectorSarch, CloudRun, Memorystore for Redis, Workflows
変更の範囲:会社の定める業務
チーム/組織構成