ABEMAで取り組んだAIエージェントによるA/Bテスト文化の促進

概要

ABEMAのデータサイエンスチームが、過去の膨大なA/Bテスト資産を有効活用するため、GoogleのADKを用いたマルチエージェントシステムにより、施策の検索・要約・示唆出しを自動化する基盤を構築しました。

詳細内容

ABEMAではデータ駆動型の意思決定を重視していますが、施策数の増加に伴う分析リソースの不足や、過去の知見の属人化が課題となっていました。この課題を解決するため、インターンプロジェクトとして「過去施策検索・示唆出しエージェント」を開発しました。技術スタックには、Google CloudのVertex AI SearchやAgent Development Kit (ADK) を採用し、役割の異なる複数のエージェント（検索、要約、提案）を協調させるマルチエージェント構成をとっています。システムの精度向上にあたっては、LLMによるハルシネーションを抑制するために「Human-in-the-loop」の設計を取り入れ、ユーザーが検索結果から対象ドキュメントを選択した後に詳細要約を行うプロセスを採用しました。評価の結果、キーワード検索での高い精度に加え、要約の正確性や中立性においても実務に耐えうる水準を確認しました。具体例では、視聴経路の置換という示唆から次の有効な施策案を導き出すなど、単なる結果の要約に留まらない、意思決定を加速させる成果が得られています。

元記事を読む他のサマリーを見る