概要
OpenAIは、フロンティアAIモデルの安全性と能力を独立して評価する際の精度を高めるため、評価環境（ハーネス）の設計と妥当性確認の標準化を提言した。
詳細内容
OpenAIが公開した本記事は、高度なAIモデルを評価する際、モデル単体ではなく実行環境を含む「ハーネス」の設定が結果に決定的な影響を与えることを指摘しています。評価は、能力の引き出し、安全対策の堅牢性、統制比較の3つの目的に基づいて設計されるべきであり、特に複数ステップのタスクをこなすエージェント型システムでは、トークン予算やツールの利用設定が評価結果を左右します。また、評価を歪める要因として、報酬ハッキング、汚染、サンドバギング（意図的な低性能）、拒否などの「ハザード」を特定し、これらを検証するための証拠を報告書に含めるべきだと主張しています。具体例として、GPT-5.5を用いたサイバー・レンジ評価や、METR・Apollo等の第三者機関による評価結果の修正プロセスを引き合いに出し、将来的な国際標準規格の策定に向けた詳細な報告要件を提案しています。