livenerf: 公開後のAIモデルの性能劣化（ナーフ）を追跡するベンチマーク

概要

AIモデルがリリース後に密かに性能を落とされていないかを検証するため、決定論的な環境と統計的手法を用いて継続的な性能測定を行うオープンソースプロジェクト。

詳細内容

livenerfは、AIモデル（現在はClaude 5.5 Opusが対象）がリリース後に「ナーフ（性能抑制）」されたというユーザーの主観的な懸念を、客観的なデータで検証するためのベンチマークツールです。UK AI Security Instituteの「Inspect」フレームワークを基盤とし、固定されたプロンプト、固定されたCLIバージョン、および統計的有意差の検証（エラーバーの追加）を組み合わせています。主な測定指標は正答率と出力トークン数で、特にモデルが「思考を簡略化した」兆候をトークン数の減少から捉えることを重視しています。手法を事前に登録（Pre-registration）し、結果をDiscord等で公開することで、モデル提供側の透明性を外部から監視する仕組みを提供します。

元記事を読む他のサマリーを見る