概要
ハードウェア、CUDAカーネル、量子化手法の僅かな違いがLLMの出力ロジットに累積的な乖離を生じさせ、ツール実行の失敗や知能の低下を招くことを実験的に明らかにしています。
詳細内容
ローカル環境でLLMを実行する際、量子化や推論エンジンの設定によって「モデルが馬鹿になった」と感じる現象を、数学的・実験的に分析したレポートです。主な要因として、FlashAttention 2やTriton、Flash Inferenceといったアテンションバックエンドの選択や、GPUの計算ユニット（SM）数に基づくパーティショニングの違いが、浮動小数点の丸め誤差を通じてロジットに乖離（KLダイバージェンス）を生じさせることを示しています。特に40kトークンを超える長文コンテキストでは、これらの微細な誤差が蓄積して「トークンフリップ（最適トークンの入れ替わり）」を引き起こし、ネットワーク機器の設定ミスなど致命的な推論エラーに繋がる様子を実証しました。また、一部のオープンソースモデルやエンジンの実装において、正規化スケールの扱い（RMSNorm）にバグがあり、推論精度を損なっていた事例も報告しています。単なるベンチマーク値だけでなく、ハードウェアとソフトウェアが一体となった「実装の厳密さ」が、エージェント的タスクの成功率に直結することを警告しています。