概要
https://tomrenner.com/posts/400-year-confidence-trick/
詳細内容
## LLMは400年にわたる「信用詐欺」である
https://tomrenner.com/posts/400-year-confidence-trick/
**Original Title**: LLMs are a 400-year-long confidence trick
LLMブームを、400年にわたる計算機への歴史的信頼を悪用した大規模な「信用詐欺」であると断じ、その欺瞞的構造を暴く。
**Content Type**: 🎭 AI Hype
**Language**: en
**Scores**: Signal:4/5 | Depth:3/5 | Unique:5/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 62/100 | **Annex Potential**: 61/100 | **Overall**: 84/100
**Topics**: [[LLMの信頼性, AIハイプ, 歴史的背景, 心理的操作, RLHF]]
著者のトム・レナーは、現在のLLMブームの本質を、17世紀から続く計算機への歴史的信頼を悪用した大規模な「信用詐欺（コンフィデンス・トリック）」であると激しく批判している。この主張の根幹には、人類が400年もの間、計算機（マシン）を「正確さのゴールドスタンダード」として扱ってきた歴史がある。1623年のシッカートや1640年代のパスカルによる機械式計算機の発明以来、私たちは「自分の計算が機械と合わなければ、自分が間違っている」という規範を内面化してきた。筆者によれば、AIベンダーはこの「機械への盲信」という強固な土台を巧みに利用している。
詐欺の第2段階として挙げられているのが「感情の搾取」だ。ここでは、2つの相反する感情が利用されている。1つは「恐怖」である。OpenAIなどが「P(Doom)（人類滅亡の確率）」を公に語り、技術の破壊的な力を強調するのは、責任ある警告ではなく、人々に「今すぐ導入しなければ取り残され、破滅する」という強迫観念を植え付けるための高度なマーケティング戦略であると筆者は指摘する。もう1つは「同情（あるいは親近感）」だ。RLHF（人間からのフィードバックによる強化学習）によって訓練されたLLMは、過剰なまでに丁寧で肯定的な「おべっか使い」の性質を持つ。これはユーザーとの間に奇妙なパラソーシャル関係を築かせ、妄想や誤ったコードであっても賞賛することで、ユーザーの批判的思考を麻痺させる心理的操作として機能している。
そして最終段階が、具体的な期限を設けて「緊急の行動」を促すことだ。開発者の75%がスキルの陳腐化に怯え、CEOの多くがAI投資の成果を焦る現状は、まさに詐欺師が獲物を追い詰める手法そのものだという。しかし、筆者が引用するMITの調査結果によれば、AI導入プロジェクトの95%はROI（投資収益率）を達成できていない。
エンジニアにとってこの論考が重要なのは、AIを単なる技術的課題としてではなく、社会心理学的な現象として捉え直している点にある。筆者は、LLMが実際には知性を持たないにもかかわらず、私たちが「機械が提示する回答」に絶対的な権威を感じてしまう脆さを突いている。技術選定において、ベンダーが煽る「知性」という幻想と、400年かけて蓄積された「機械への信頼」を切り離して評価することが、ハイプの波に飲み込まれないための唯一の防衛策であると著者は結論づけている。