掲載済み (2026-08-01号)
048 178文字 • 1分

Supabase Evalsの導入:AIエージェントによる開発体験を測定・改善する評価フレームワーク

原題: Introducing Supabase Evals

英語

掲載情報

概要

Supabaseは、AIエージェントがスキーマ構築やデバッグなどの実タスクをどの程度遂行できるかを実環境で測定・スコアリングするオープンソースのベンチマークフレームワーク「Supabase Evals」を公開しました。

詳細内容

Supabaseが発表した「supabase/evals」は、Claude CodeやCodexといったAIエージェントがSupabaseを用いた開発をどの程度正確に行えるかを評価するためのフレームワークです。単なるコード生成の評価にとどまらず、実際のコンテナ環境でホストされたSupabaseスタックとCLIを起動し、RLSポリシーの修正やEdge Functionsのデバッグなど、実際のユーザーが直面するシナリオでエージェントをテストします。評価は決定論的な整合性チェックとLLM-as-a-judgeを組み合わせて行われ、広範な性能を測る「ベンチマーク」と、特定の失敗を監視する「リグレッション」の2つのスイートで構成されます。初期の調査では、エージェントが宣言的スキーマよりも手動マイグレーションを好む傾向や、ドキュメント参照頻度のばらつきなどの課題が浮き彫りになっており、これらを基にMCPサーバーのスキル改善やドキュメントの最適化が進められています。