概要
Microsoftが公開した、AIエージェントの「スキル」を定義、テスト、評価、改善するためのGo言語製CLIツールおよびフレームワーク。
詳細内容
wazaは、AIエージェントの機能（スキル）を構築・評価・改善するための包括的なツールキットです。開発者はこのツールを使用して、スキルの定義からテストスイートの構築、ベンチマークの実行、そして品質の継続的なモニタリングまでを一貫して行うことができます。
主な特徴と機能：
- **スキャフォールディング**: `waza init` や `waza new` により、スキル定義（SKILL.md）や評価タスクのテンプレートを即座に作成可能。
- **高度な評価システム**: `waza run` を通じて、LLM-as-a-Judge、振る舞い分析、トークン使用量、ツール呼び出しシーケンスなど、多角的なグレーダー（採点機）を実行できます。
- **トークン最適化**: プロンプトのトークン数をカウントし、予算内に収まっているかチェックする機能や最適化案の提示機能。
- **ダッシュボードと統合**: `waza serve` による評価結果の可視化、Azure Blob Storageへの結果自動アップロード、GitHub Actionsを利用したCI/CD統合をサポート。
エージェントの能力を定量的に評価し、モデルの変更やプロンプトの修正がスキルの有効性に与える影響を正確に測定することを目的としています。