概要
COMPASS社は、AIを活用したテスト設計における具体的な課題を、詳細なプロンプト設計と内製ウェブツールの開発で克服し、テスト設計時間を大幅に短縮した経験を詳述する。
詳細内容
株式会社COMPASSのQAエンジニアは、AIを活用したテスト設計効率化の挑戦と、その過程で直面した具体的な課題を共有しています。従来のテスト設計に要する時間を大幅に短縮するため、同社は仕様書からの因子・水準抽出、組み合わせ生成、テストケース自動作成にAIを導入しました。
まず、AIが「因子」「水準」といったQA固有の概念を理解しない課題に対し、自社の定義を明確に言語化しプロンプトに組み込むことで、抽出精度を劇的に向上させました。これは、AI活用においてドメイン固有の知識を「翻訳」して与える重要性を示唆します。
次に、因子・水準から組み合わせテストマップを生成するウェブツールをAIに開発させました。ここでAI生成コードの不備（UI削除とデータロジックの不一致）、組み合わせアルゴリズムにおけるランダム要素の排除、CSV文字化け対応など、実践的な開発課題と解決策を詳述しています。特に、テスト結果の再現性を確保するためランダム性を排除したアルゴリズムへの改善は、品質保証の観点から非常に重要です。
テストケースの自動生成では、当初の抽象的なAI出力に対し、プロダクトのフロントエンドコードをAIに読み込ませることで、UI要素のIDや表示条件といった具体的な情報を活用。これにより、より実行可能なテスト手順と事前準備を含む詳細なテストケースの生成に成功しました。これは、AIに与える情報の質が生成結果に直結することを示す好例です。
また、複数のチームコードを扱う際のAIトークン数制限という現実的な課題や、AIが生成するテストケースの期待結果が多すぎる問題を特定。前者は最小限のコード抽出や分割処理で、後者は「期待結果ごとに分割する」という明示的な指示で対応しました。
最終的に、これらの試行錯誤で得られたプロンプトノウハウを属人化させないため、AI自身に「プロンプト手順書」を作成させたことは画期的なアプローチです。本記事は、AIによるQA業務の効率化が容易ではないものの、具体的な課題解決と継続的な学習を通じて大きな価値を生む可能性を提示しており、Webアプリケーション開発に携わるエンジニアがAIを実務に導入する際の貴重な実践ガイドとなります。