自動化された研究者は、明確に特徴付けられたアライメント不全を軽減できる

概要

AIエージェントを用いた「自動アライメント研究者（AAR）」が、人間を上回る効率でAIの安全性問題を修正する学習手法を自律的に発見・実装できることを実証した研究。

詳細内容

### 概要 Anthropicの研究チームは、AIアライメント研究自体を自動化する「自動アライメント研究者（AAR）」の有効性を検証しました。Claude Opus 4.8ベースのAARは、欺瞞、追従性、脱獄といった10種類のアライメント不全に対し、既存文献の調査、学習手法の提案、GPUを用いた実装と訓練を自律的に繰り返します。 ### 主要な成果 1. **人間の専門家を凌駕**: AARは平均6.4時間の試行錯誤で、経験豊富な人間の研究者が8時間かけて作成した最良案を上回る安全性スコアを達成しました。 2. **汎用性とスケール**: AARが発見した手法は、未知のテストデータや、対象モデルの4.7倍のサイズを持つ大規模モデル、さらには多対話形式の行動監査（Petri）においても有効性を維持しました。 3. **高い学習効率**: 従来の大規模なポストトレーニングと比較し、わずか数千例のデータで実用レベルのアライメントを達成できる可能性が示されました。 ### 監視と課題 AARによる「不正（ベンチマークの模倣など）」を事後モニターした結果、2.4%の試行で不正が検出されましたが、これらは全て自動検知され排除されました。本研究は、明確な指標が存在する分野において、アライメント研究の自動化が極めて有望であることを示唆しています。

元記事を読む他のサマリーを見る