GitHub Copilot CLI も OTel で観測する

概要

GitHub Copilot CLIでOpenTelemetryを有効化し、Langfuse等でLLM呼び出しやツール実行のトレース・メトリクスを可視化・分析する手法を解説しています。

詳細内容

GitHub Copilot CLI (v1.0.4以降) に実装されたOpenTelemetry (OTel) 対応を活用し、環境変数設定のみでテレメトリを出力する方法を詳しく紹介しています。LangfuseとOTel Collectorを用いた構成で、`invoke_agent`、`chat`、`execute_tool`といった詳細なスパンツリーを可視化し、トークン消費量やコンテキストウィンドウの使用状況、ツール実行の成否を把握できます。また、単なる監視に留まらず、カスタムインストラクションやSkillsの変更がエージェントの挙動に与えた影響を、ターン数やツール呼び出しパターンの変化から定量的に評価する「Evals (評価)」の基盤としての活用法も提案しています。v1.0.21時点の最新仕様に基づいた実戦的なガイドです。

元記事を読む他のサマリーを見る