概要
https://danfabulich.medium.com/llms-tell-bad-jokes-because-they-avoid-surprises-7f111aac4f96
詳細内容
## LLMs generate slop because they avoid surprises by design
https://danfabulich.medium.com/llms-tell-bad-jokes-because-they-avoid-surprises-7f111aac4f96
LLMが驚きを避ける設計になっているため、ジョーク、物語、ジャーナリズム、数学的発見といった領域で、創造性や予期せぬ洞察を生み出すことが根本的に困難であると筆者は主張する。
**Content Type**: 🎭 AI Hype
**Scores**: Signal:4/5 | Depth:3/5 | Unique:5/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 89/100 | **Annex Potential**: 91/100 | **Overall**: 84/100
**Topics**: [[LLMの限界, 生成AI, AIの創造性, コード生成, AIアーキテクチャ]]
この記事は、LLMがジョーク、物語、ジャーナリズム、科学といった分野で「ひどい」出力を生み出す根本的な理由を、その設計思想に起因すると論じています。筆者は、優れたジョークや物語、重要なジャーナリズム、そして画期的な数学的証明には、「驚き」と「後から振り返れば必然性がある」という二つの要素が不可欠であると指摘します。しかし、LLMは「次の単語を予測する」という目的のために訓練されており、その設計上、驚きを最小限に抑えるように動作します。そのため、大多数の人に受け入れられやすい「無難」な出力を生み出すものの、真に独創的で人を驚かせ、しかし納得させるようなコンテンツは作り出せないと解説します。
この洞察は、ウェブアプリケーションエンジニアが生成AIの能力と限界を理解する上で非常に重要です。LLMが生成するコードが比較的有用であるのは、コード品質の指標である「WTF per minute（驚きの少なさ）」が示すように、予測可能で驚きの少ないコードが良いとされるためです。これは、LLMが「サプライズを最小化する」設計において強みを発揮する稀な領域の一つです。しかし、今後AIを単なるコード生成を超え、例えば画期的な機能提案、複雑なシステムのアーキテクチャ設計、あるいはユーザー体験の革新といった、より創造的で予期せぬ洞察が求められるタスクに活用しようとする際、現在のLLMの「驚きを避ける」設計がボトルネックになる可能性を示唆しています。
筆者は、この問題は単にGPUや学習データを増やすだけでは解決しないと強調します。真のAGI（汎用人工知能）や、より汎用的なAIシステムを実現するには、世界に対する独自のモデルを持ち、好奇心に基づいて驚くべき真実を自ら探求するような、LLMと他のアーキテクチャを組み合わせたハイブリッドシステムが必要であると提言しています。これは、AI開発の未来像を考える上で示唆に富むものであり、エンジニアがAIツールをプロジェクトに導入する際、その得意分野と根本的な限界を正確に理解し、期待値を適切に設定するための重要な視点を提供します。現在のLLMは「予測可能なものを効率的に生成する」ツールとして優れている一方で、「真に新しいものを発見・創造する」能力には本質的な限界があることを認識することが、今後の開発において不可欠となるでしょう。