概要
格安モデルのGPT-5.6 Lunaと高性能なGPT-6 Astraをコードレビューで比較し、Lunaは低コストで多くのバグを発見するものの、セキュリティ面や精度で課題があることを示した調査。
詳細内容
Entelligence AIによる、コードレビューにおけるLLMのコストパフォーマンスベンチマーク調査。
### 主な比較結果
50件のプルリクエストを対象としたテストで、格安モデルのGPT-5.6 Luna（出力100万トークンあたり$1.20）は、高性能モデルのGPT-6 Astra（同$50）の約4%のコストで、Astraが発見したバグの75%（69件）を検出しました。PR1件あたりの平均コストはLunaが$0.0041に対し、Astraは$0.113と28倍の差があります。
### モデルの得意・不得意
Lunaはデータや論理エラー、並行処理のバグ検出には健闘しましたが、セキュリティ関連のバグ（認証や権限管理など）についてはAstraの19件に対し9件しか発見できませんでした。また、Lunaは「誤報（ノイズ）」が多く、指摘の約4回に1回（26%）は誤りでした。
### 実用的インサイト
日常的なロジック確認には安価なモデルで十分ですが、セキュリティが重要な箇所には強力なモデルを割り当てる「モデルルーター」の活用がエンジニアリングのROI最大化に繋がります。