掲載済み (2026-05-02号)
002 132文字 • 1分

AI 評価ワークショップを実施して見えてきたこと—— AI エンジニアだけに任せない、チームで育てる AI 品質改善の文化

日本語

掲載情報

2026年5月2日土曜日号 メインジャーナル掲載

概要

AIエンジニアだけでなくPMやデザイナーも交えたワークショップを通じ、定量評価指標とユーザー感覚の乖離を埋めながら、チーム全体でAI品質を育てる文化を醸成する取り組みを紹介しています。

詳細内容

株式会社カミナシにおける「AI評価改善ワークショップ」の実施レポートです。AI機能の品質向上には自動化された定量評価が不可欠ですが、指標がプロダクトの本質的な価値(人間の感覚)と乖離してしまう課題があります。本ワークショップでは、エンジニア、PM、デザイナーが混成チームを組み、Langfuse等のツールを用いて「既存の評価指標をすり抜けてしまうエッジケース」を特定。それに基づきLLM-as-a-Judgeのプロンプト修正や評価指標の追加を共同で行いました。このプロセスを通じて、AI改善の心理的ハードルを下げ、職種を越えた「集合知」を評価系に反映させる文化づくりの重要性が示されています。