AI専門家ボードによる意思決定の事前登録・事後検証ツール「asktheboard」

概要

AI専門家による意思決定と予測をGitで管理し、事後にその妥当性をブライア・スコアで厳格に評価・可視化するツール。

詳細内容

asktheboardは、AIエージェントによる意思決定プロセスに「説明責任」と「予測の検証」を導入するオープンソースプロジェクトです。単にAIにアドバイスを求めるのではなく、決定時の予測をGitのタイムスタンプと共に事前登録（Pre-register）し、将来の特定日に実際の結果と照らし合わせてスコアリングを行います。主な特徴は以下の通りです： - **検証可能な予測**: 決定事項、各専門家（アーキテクト、懐疑派、戦略家等）のスタンス、確率、解決日をJSON/Markdown形式のADR（アーキテクチャ決定記録）として記録。 - **Gitによる真正性証明**: Gitのコミット履歴をタイムスタンプの外部証明として利用し、後出しの予測変更を防止。 - **キャリブレーション**: ブライア・スコア（Brier score）を用いて、どの専門家エージェントの予測が最も正確だったかを定量的に算出。 - **BYOKモデル**: ユーザーが自身のLLM APIキーを提供（Bring Your Own Key）する方式で、OpenAI互換のあらゆるエンドポイントに対応。開発の背景には、AIの助言を単に受け入れるのではなく、過去の正答率という実績に基づいた「信頼」を長期的に構築するという思想があります。

元記事を読む他のサマリーを見る