仕様としての人間による判断

概要

LLMが生成した不完全な仕様候補に対し、具体的な事例への賛否を人間が判断することで、正確な形式的仕様を導き出す手法「PICK」の提案。

詳細内容

生成AI時代において、AI出力の正当性を検証する「形式的仕様」の重要性が高まっていますが、人間が厳密な仕様を記述するのは困難です。Brown大学の研究チームが開発した「PICK」は、この問題を解決するためのワークフローを提供します。LLMが生成した複数の仕様候補（正規表現やアクセス制御ルールなど）に対し、システムが候補間の「意味的な差異」を具体的なテストケースとして抽出。ユーザーはそれらの事例に対し肯定・否定の判断を下すだけで、抽象的な数式に触れることなく、自らの曖昧な意図を洗練（仕様の解明）させることができます。これは、LLMに依存しきらない独立した「人間の判断」を検証の証人として組み込むアプローチであり、誤った合成（Synthesis）を防ぐ強力な手段となります。

元記事を読む他のサマリーを見る