【Prod】AI Agent Evaluation Lead

求人概要

事業・サービス概要

システム導入だけで終わらせない、利活用のためのDXを推進するAI型デジタルアダプションプラットフォーム（DAP）「テックタッチ」。あらゆるWebシステムの画面上に、操作ガイドやナビゲーションを表示させることで、すべてのユーザーが迷わず・間違わずにシステムを使いこなすことができる世界を目指すプロダクトです。すでに多くの企業で利用されており、生成AI機能を組み込む開発が進行中です。

業務内容

プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。

1. プロンプト・設定の最適化（AI Accuracy）
   「AIが賢く、期待通りの回答をすること」を追求します。全社共通の評価フレームワークを構築し、各プロダクトに適用します。

• 評価基準の策定
• プロンプトエンジニアリング
• 評価データセットの構築

2. 品質保証プロセスの構築（Process & Strategy）
   開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。

• シフトレフト/シフトライトの実践
• フィードバックループの構築
• ロードマップ策定

3. 全社横断での標準化推進

• 評価ガイドラインの策定
• ナレッジ共有
• 評価基盤の整備

ポジションの魅力

• AIエージェント時代に不可欠な、より高度なAI品質評価スキルを実務で身につけられる
• 特定プロダクトに閉じず、全社横断でAI品質評価の標準化・仕組み化を推進できる
• 既存の安定稼働プロダクト〜新規プロダクトまで幅広く関わり、品質保証の経験領域を広げられる
• 大きな裁量を持って、評価基準・プロセス設計から運用定着までをリードできる
• 0→1で仕組みを作り、成果を残すことができる

応募要件

必須要件

• LLM/RAGの技術的特性への深い理解と実践経験
  • ChatGPT、Claude等のLLMを業務で活用した経験
  • RAG（Retrieval-Augmented Generation）の仕組みの理解
• 評価フレームワークの使用経験
  • Langfuse、Weights & Biases、MLflow等のツールを用いたAI/LLMの評価・モニタリング経験
• データドリブンな改善スキル
  • データに基づいて課題を特定し、改善提案ができる
  • 定量的な評価指標の設計・運用経験
• スタートアップでの0→1フェーズへの意欲
  • 未整備な環境でプロセスを構築することへの前向きな姿勢
  • 変化を楽しみながら柔軟に対応できるマインド

歓迎要件

• LLM/AI関連
  • LangChain、Dify、Flowise等のLLMフレームワーク使用経験
  • プロンプトエンジニアリングの知識・実践経験
• 開発・分析関連
  • Python / TypeScript等を用いた簡単なスクリプト作成による業務効率化経験
  • SQLでのデータ抽出・分析経験
  • モニタリングツール/可観測性（Observability）ツールの導入経験
• ドメイン知識
  • 経費精算、ワークフロー系システムの知見
  • BtoB SaaSプロダクトの知見

求める人物像

• AIの「正解がない」評価に対して、粘り強く取り組める方
• 新しい技術・手法に対する好奇心と学習意欲がある方
• PdM/SEなど他職種と積極的に連携し、プロダクト品質向上に取り組める方
• ドキュメント作成・ナレッジ共有を大切にできる方
• 不確実性が高い環境を楽しめる方

給与

800万円〜1,400万円

※年収は応相談可能です。年2回のボーナスあり。

労働条件

勤務地

東京都中央区銀座8-17-1 PMO銀座II 5F・8F（総合受付 5F）

リモートワーク可

手当

• 通勤交通費
• リモートワーク手当（5,000円/月）

社会保険・福利厚生

• 業務PCや周辺機器を自身で選択可能（上限額あり）
• モニター購入支援（上限額あり）
• 書籍購入制度（上限額なし）
• 備品購入制度
• SaaS系ツールの積極的な利用
• セミナー/勉強会の参加費負担（国内セミナー全額負担、国外セミナーは全社プレゼンのうえ全額負担）
• 年一回健康診断（3万円までオプション追加可能）
• 予防接種費用負担（インフルエンザ等）
• ワクチン接種後特別休暇
• 週1回のフリーランチ（上限額あり）

勤務時間

• 10:00〜19:00
• フレックスタイム制（コアタイム 10:00〜17:00）
• 固定残業時間：45時間／月（超過分は別途支給）

休日休暇

• 完全週休二日制(土・日)
• 祝日
• 年末年始
• 入社日に有給休暇付与（初年度10日）
• 慶弔休暇
• 産育休、介護休暇制度完備（男性育休取得実績あり）

事業所名

PMO銀座II（東京都中央区銀座8-17-1）

選考フロー

選考フローは別途ご案内します。