LLMは古典的なハイパーパラメータ最適化アルゴリズムを凌駕できるか？ autoresearchを用いた調査

概要

LLMによるハイパーパラメータ最適化（HPO）は単体では古典的手法に及ばないが、CMA-ESの内部状態を共有するハイブリッド手法「Centaur」により、0.8Bの小型モデルでも最高精度を達成可能である。

詳細内容

本研究は、LLMエージェントがコードを直接編集して学習を最適化する「autoresearch」リポジトリを試験環境とし、LLMベースの最適化と古典的なハイパーパラメータ最適化（HPO）アルゴリズムを比較した。実験の結果、固定された探索空間において、CMA-ESやTPEといった古典的手法がLLMエージェントを一貫して上回ることが判明した。LLMはドメイン知識に優れる一方で、試行間の最適化状態を追跡する能力に欠け、OOM（メモリ不足）の回避などの安定性でも劣る。この課題を解決するため、著者らはCMA-ESの解釈可能な内部状態（平均ベクトル、ステップサイズ、共分散行列）をLLMと共有するハイブリッド手法「Centaur」を提案した。Centaurは、0.8Bの小型LLMであっても最新のフロンティアモデルや古典的手法を凌駕する性能を示した。この結果は、LLMがHPOにおける古典的最適化器の代替ではなく、補完的な役割として最も効果的であることを示唆している。

元記事を読む他のサマリーを見る