ロシアのプロパガンダ耐性が最も高いLLMは？エストニアが新ベンチマークを公開

概要

エストニア言語研究所が、LLMがロシアの戦略的ナラティブやプロパガンダをどの程度回避できるかを評価する新ベンチマーク「Propaganda Resistance」の結果を公開した。

詳細内容

エストニア言語研究所（ELI）とボランティア団体Propastopは、LLMがロシアのプロパガンダに抵抗する能力を測定するベンチマークを実施した。ウクライナ戦争やNATOの歴史など14のカテゴリーを対象に、中立的・誘導的・悪意のあるプロンプトを用いて英語、エストニア語、ロシア語で評価。結果、AnthropicのClaude Opus 4.7が94.9点で首位を獲得し、上位10位中6つをClaudeモデルが占めた。一方で、GoogleのGemini 3.5 Flashなどはロシア語での回答や悪意のあるプロンプトに対して脆弱性を見せ、低いスコアに留まった。2024年以前の旧モデルと比較して最新モデルは概して耐性が向上しているが、開発企業によってその精度には大きな差があることが浮き彫りとなった。

元記事を読む他のサマリーを見る