アンドレイ・カーパシー氏が提唱する「AI研究のボトルネックは人間」：自動研究フレームワークの衝撃

概要

元OpenAIのカーパシー氏は、数値指標が明確なAI研究においてAIエージェントが自律的に実験・最適化を行う「autoresearch」により、人間が研究の進捗を妨げるボトルネックになっていると主張しました。

詳細内容

アンドレイ・カーパシー氏が公開した「autoresearch」フレームワークは、LLMを活用してコードの書き換え、実験、評価を自律的に繰り返すシステムです。カーパシー氏自身が数ヶ月かけて調整したGPT-2の訓練設定に対し、このエージェントはわずか一晩の自律稼働で11%の速度向上に繋がる最適化を発見しました。ShopifyのCEOも自社データで19%の向上を確認しており、高い汎用性が示されています。このシステムは「編集可能な資産」「スカラー指標」「時間制限サイクル」という3つの要素をベースにしており、人間が介在するよりも圧倒的に速いサイクルで改善を回すことが可能です。一方で、数値化が難しいアライメントやユーザー体験などの領域は依然として人間の役割であるとされていますが、計算可能な領域においては「研究者の自動化」が大手AIラボの最終的な競争軸（ファイナルボスバトル）になると予測されています。

元記事を読む