Verified loops: AIエージェントの信頼性と責任を構築するフレームワーク

概要

1Passwordは、AIエージェントの行動を人間が定義したポリシーとシステム側の実行証拠に基づいて検証し、安全な権限付与を実現する「Verified loops」という設計パターンを提唱している。

詳細内容

AIエージェントが提案だけでなく実行（コード変更やシステム操作）を担うようになる中で、その「権限」と「説明責任」をどう管理するかが課題です。1Passwordが提案する『Verified loops』は、エージェントをジョブ固有のアイデンティティで動作させ、アクセスコントロールゲートウェイを介して制御する枠組みです。最大の特徴は、エージェント自身の報告ではなく、システム側から出力されるOpenTelemetryなどの実行トレース（証拠）を基に、事前に定義された『マニフェスト』に適合しているかを独立した検証器が判断する点にあります。この検証をパスして初めて、特定の状態に紐づいた期限付きの実行権限が付与されます。これにより、一見正しく見えるが不完全な出力（サイレント・フェイailure）を検出し、エージェントによる特権昇格や目的の逸脱を防ぎつつ、信頼性の高い自律運用を可能にします。

元記事を読む他のサマリーを見る