概要
判断特化型AI「Jev」を活用し、AWS認定試験の記述式回答を高速・低コスト・高精度に自動採点する設計手法と、日本語での検証結果を解説しています。
詳細内容
本記事は、文章を生成せずに判断と確信度のみを返す「System One Model」のJevを、学習アプリの記述問題採点に活用した事例を紹介しています。
### 主な特徴とメリット
- **圧倒的な効率性**: 1回あたり約0.01円、応答速度約250msと、汎用LLM（System Two）に比べ極めて低コストかつ高速です。
- **高い判定精度**: 日本語の回答を用いた検証で、個別の評価観点に対する一致率は99.2%に達しました。
- **型安全な設計**: Yes/Noの確率やスコアを返すため、プログラムでの後処理や論理合成が容易です。
### 運用の工夫と知見
- **複合採点の推奨**: 総合スコア（Score）は誤答に対しても加点される傾向があるため、複数のYes/No判定（Noul）をプログラム側で組み合わせることで精度を担保しています。
- **役割の分担**: 判断はJevが行い、不足点の解説文などは生成AI（Claude等）が作成した固定文を用いるといった、判定型と生成型の使い分けが重要です。
- **プロンプトのコツ**: 「1つの質問に複数の条件を入れない」という制約が、日本語環境でも精度を維持する鍵となります。