AI Agentに社内知識をオンボーディングする：SkillsとEvalの設計

概要

AIエージェントに社内知識を「オンボーディング」させる手法として、Notion検索と構造化された「Skills」を比較検証し、精度・速度・コスト面でのSkillsの優位性を実証した調査報告。

詳細内容

松尾研究所が、AIエージェントを「新入社員」と見立てて社内オンボーディングを行う実験結果をまとめています。「知識なし」「Notion都度検索」「Skills化」の3条件を15の実務課題で比較。結果、Skills化により項目正解率96.0%を達成し、Notion検索（87.3%）を上回る精度と、大幅な応答速度の向上、トークン消費の削減（約78%減）が確認されました。評価手法として、一問一答ではなくRubricを用いた自由回答型のEval設計の重要性を説いており、Agentが実務で「危険な回答」をしないためのCritical項目の設定など、実用化に向けた具体的な知見を共有しています。

元記事を読む他のサマリーを見る