掲載済み (2026-06-06号)
224 174文字 • 1分

rsyncの開発にClaude(AI)を導入してバグは増えたのか?データ分析による検証

原題: Did Claude Increase Bugs in rsync? Data Analysis

英語

掲載情報

概要

rsync開発におけるClaude(AI)導入がバグ増加を招いたという批判に対し、全36リリースの重大度加重バグ率を統計的に分析した結果、AI導入リリースが歴史的分布の中で特異なものではないことを明らかにした。

詳細内容

2026年5月に発生した「rsync開発へのClaude導入」を巡る騒動に対し、開発者が客観的なデータを用いた統計分析を実施。批判の多くは、特定のリリースで発生したバグとAI使用の相関を根拠に「品質低下」を主張していたが、本レポートはこれを否定する。分析ではv2.4.6からv3.4.3までのリリースを対象に、LLM(Qwen 3)を用いてバグの重大度を0-100でスコアリングし、10コミットあたりの重大度加重バグ率(sev/10c)を算出。Claudeを使用した2つのリリース(v3.4.2とv3.4.3)を検定したところ、置換検定のp値は46%であり、歴史的なバグ発生分布の範囲内に収まっていることが判明した。特筆すべき点として、史上最悪のバグ率を記録したのはAI導入前のv3.4.1(39.39 sev/10c)であり、AIに対する批判が「感情的な確証バイアス」に基づいている可能性を指摘。メンテナーのAndrew Tridgell氏は、AI生成の大量のCVE報告への対応が開発負荷を増大させている現状についても言及している。