概要
https://github.blog/ai-and-ml/github-copilot/how-were-making-github-copilot-smarter-with-fewer-tools/
詳細内容
## GitHub Copilotをより少ないツールで賢くする方法
https://github.blog/ai-and-ml/github-copilot/how-were-making-github-copilot-smarter-with-fewer-tools/
**Original Title**: How we’re making GitHub Copilot smarter with fewer tools
GitHubは、VS CodeにおけるCopilot Chatの応答速度と成功率を向上させるため、ツールの過剰な数を削減し、埋め込みベースのルーティングとアダプティブクラスタリングを導入して効率的なツール選択を実現しました。
**Content Type**: ⚙️ Tools
**Language**: en
**Scores**: Signal:5/5 | Depth:4/5 | Unique:3/5 | Practical:4/5 | Anti-Hype:4/5
**Main Journal**: 79/100 | **Annex Potential**: 76/100 | **Overall**: 80/100
**Topics**: [[GitHub Copilot, LLMエージェント, ツールルーティング, 埋め込み技術, VS Code]]
GitHub Copilot ChatはVS Code内で数百ものツールにアクセスできるようになった一方で、ツールの多さがかえってパフォーマンス低下を招くという課題に直面していました。モデルが一度に多くのツールを推論しようとすると、応答が遅延し、ユーザーエクスペリエンスが損なわれることが判明したのです。
この問題を解決するため、GitHubは「埋め込みベースのツールルーティング（embedding-guided tool routing）」と「アダプティブツールクラスタリング（adaptive tool clustering）」という二つの新システムを開発し、さらにデフォルトの組み込みツールセットを40種類から13種類に削減しました。これらの変更により、SWE-LancerやSWEbench-Verifiedといったベンチマークでは成功率が2〜5パーセントポイント向上し、オンラインのA/Bテストでは応答レイテンシーが平均400ミリ秒短縮されるという顕著な改善が見られました。
具体的なアプローチとして、まず「仮想ツール」の概念が導入されました。これは、機能的に類似したツールを一つの「仮想ツール」としてグループ化し、モデルが利用可能なツールの概要を把握しつつ、詳細なツール名で溢れかえるのを防ぐものです。
次に、この仮想ツールを効率的に作成するため、独自のCopilot埋め込みモデルを用いた「アダプティブツールクラスタリング」が採用されました。当初、LLMにツールのグループ化と要約を依頼すると、グループ数の制御不能、速度低下、高コスト、そして特定のツールを分類し忘れるといった問題が発生していました。そこで、各ツールの埋め込みを生成し、コサイン類似度に基づいてグループ化する手法に切り替えることで、正確で安定し、再現性のあるクラスタリングを実現しました。これにより、LLMはクラスタの要約にのみ利用され、大幅な高速化とコスト削減につながっています。
さらに、モデルがどのツールグループを開くべきかを効率的に判断するため、「埋め込みベースのツールルーティング」が導入されました。以前は、ユーザーのクエリに対してモデルが複数のツールグループを探索し、誤ったグループを参照することでレイテンシーが増加していました。この新システムでは、クエリの埋め込みとすべてのツール（およびそのクラスタ）のベクトル表現を比較することで、セマンティック的に最も関連性の高い候補を事前に選択します。これにより、不要な探索的呼び出しが排除され、レイテンシーと失敗率が大幅に削減されました。ベンチマークでは、この埋め込みベースのアプローチが94.5%の「ツール使用カバレッジ」を達成し、LLMベースの選択（87.5%）や静的なツールリスト（69.0%）を大きく上回っています。
最後に、デフォルトのツールセットを13個のコアツールに縮小することで、エージェントの推論が簡素化され、応答時間が短縮され、全体的なパフォーマンスが向上しました。残りの非コアツールは、Jupyter Notebook Toolsなどの4つの仮想カテゴリに再編成されています。
著者は、これらのツール選択の改善が、将来的な「長期コンテキスト推論」への第一歩であると述べています。エージェントが過去のツール使用を記憶し、履歴から意図を推測し、多段階のアクションを計画できるようになることで、真にインテリジェントなモデルが実現される可能性を示唆しています。