ブラウザエージェントにおける『苦い教訓』

概要

ブラウザエージェントの設計において、人間が定義した固定的なアクションや状態表現を捨て、モデルに直接CDP（Chrome DevTools Protocol）を操作させる汎用的なアプローチへの転換とその重要性を解説しています。

詳細内容

Browser UseのCTOによる、ブラウザ操作AIエージェントの進化と設計思想の転換に関する論説です。初期のブラウザエージェントは、開発者が「クリック」や「スクロール」といったアクションや、モデルに見せるページ状態（アクセシビリティツリー等）を厳密に定義していましたが、これはウェブサイトの多様なエッジケースに対応できず限界がありました。モデルのコーディング能力向上に伴い、現在はモデル自身がCDP（Chrome DevTools Protocol）を介して直接ブラウザを操作・観察する手法へ移行しています。これにより、Playwright等のフレームワークではアクセス困難なShadow DOMの操作なども可能になりました。Rich Suttonの『苦い教訓』を引用し、人間が設計したヒューリスティックな手法よりも、計算資源とモデルの知能を最大化できる汎用的なインターフェース（この場合は生に近いブラウザ制御）を提供することが、長期的に優れた結果をもたらすと結論づけています。

元記事を読む他のサマリーを見る