具体的な業務内容
全プロダクト共通のデータ配信システムに位置するWebクローラーと文書配信パイプラインの設計、開発、運用を行なっていただきます。
■具体的な業務内容
・TypeScript/Rust/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用
・大規模言語モデル(LLM)の学習に必要となる日本語データセットの作成
・顧客の社内文献を解析/配信するための解析ロジック及びデータパイプラインの新規構築と運用
・FaaS/CaaSによる分散処理のスケーラビリティ向上と監視設計