概要
メドレーは、E2Eテストの失敗要因をAIで段階的に分析し、原因特定と再実行を自動化するSlack Bot「MagicPod Assistant」を開発し、QAワークフローを革新した。
詳細内容
メドレーのQAチームは、毎朝30分から1時間を要していたE2Eテストの失敗要因特定作業を抜本的に効率化するため、AIを活用したSlack Bot「MagicPod Assistant」を開発しました。これは、単なるバグ報告ではない環境要因やUI変更によるテスト失敗に対し、開発者が迅速にフィードバックを得て統合ブランチを安定させる上で極めて重要です。
このBotの最大の特徴は、失敗要因を「Quick Triage」「Code Analyzer」「Visual Analyzer」の3段階で分析する点です。これにより、最小限のトークン消費で高精度な分析を実現しています。Quick Triageではエラーメッセージから環境要因か否かを迅速に判定し、再実行の要否を提示。環境要因でない場合はCode Analyzerが直近のPRやコミット履歴を詳細に分析し、コード変更による影響を特定します。特にテストコードの差分を優先的に見ることで、AIが変更意図を正確に把握できるように工夫されています。最終段階のVisual Analyzerは、スクリーンショットを用いてUI変更を視覚的に確認し、Code Analyzerの推測を確証する役割を担います。これにより、ID属性変更のようなUI起因の失敗も確実に特定できます。
Webアプリケーションエンジニアにとって、このシステムは失敗したE2Eテストの一次調査にかかる時間と労力を大幅に削減し、真のバグに集中できる環境を提供します。MagicPodの実行結果を起点に、失敗原因の分析、再実行、さらにはAIチャットでの追加質問、不具合登録まで一連のプロセスをSlackスレッドに集約することで、チーム全体の情報共有と分析精度の標準化が図れます。AWS LambdaとDifyを介したLLM連携によるサーバーレス構成も、スケーラビリティと柔軟性を確保しており、他プロジェクトへの応用も期待されます。E2Eテスト運用でボトルネックを感じる開発チームにとって、このBotはAIと人間の分業による効果的な解決策を示唆しています。