AIによる脆弱性パッチ生成の現状と限界：1Password Off-by-1 Labsによる調査報告

概要

1Passwordの調査によると、最新AIによる脆弱性修正パッチの完全な成功率は26%に留まり、5割以上で新たな不具合や脆弱性が混入することが判明しました。

詳細内容

1Passwordの新設研究チーム「Off-by-1 Labs」は、最新のフロンティアモデル（ChatGPT-5.5やOpus 4.8等）が生成する脆弱性パッチの有効性を検証しました。最近公開された6つの複雑なCVE（Linux、Chrome、SpringAI等）を対象に6,080件のパッチを生成・評価した結果、元の動作を維持しつつ完全な修正を実現できたのはわずか26.0%でした。生成物の53.9%は「FLAWED（不具合を伴う修正風の成果物）」と定義され、脆弱性が未解消のままだったり、新たな脆弱性が導入されたりするケースが目立ちました。特に、根本的な原因解決ではなくPoCの入力値を回避するだけの「脆弱なパッチ」が33%以上見られました。研究チームは、AIが脆弱性発見で成果を上げる一方で、修正に関しては未だドメイン専門家による厳格なレビューが不可欠であると結論付けています。

元記事を読む他のサマリーを見る