概要
https://johnjianwang.medium.com/why-blocking-llms-from-your-website-is-dumb-3dc7c3c9097d
詳細内容
## Why blocking LLMs from your website is dumb
https://johnjianwang.medium.com/why-blocking-llms-from-your-website-is-dumb-3dc7c3c9097d
ウェブサイト運営者に対し、LLMクローラーのブロックは新たな主要流通経路を閉ざす愚策であり、適応こそがコンテンツの可視性を高める道であると提言する。
**Content Type**: Opinion & Commentary
**Scores**: Signal:2/5 | Depth:1/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:4/5
**Main Journal**: 86/100 | **Annex Potential**: 91/100 | **Overall**: 60/100
**Topics**: [[LLMクローリング, ウェブサイト戦略, コンテンツ流通, AI時代のSEO, robots.txt]]
最近、Perplexityがrobots.txtでブロックされたサイトからスクレイピングを行った疑惑が浮上し、LLMクローラーをブロックするためのガイドが多数登場しています。これに対し、本記事はウェブサイト運営者がLLMクローラーをブロックすることが「愚策」であると強く主張しています。
著者は、多くの人々が「AIがコンテンツを盗んでいる」という道徳的根拠やAI全般への嫌悪感からブロックに賛成しているが、これはウェブコンテンツを公開する本来の目的、すなわち「誰かに見てもらうこと」に反すると指摘します。Google検索をブロックしないのと同様に、LLMは次世代の検索レイヤーであり、既にコンテンツを表示するウェブサイトにとって膨大なパイプラインを生成していると述べます。
多くのLLMにはエージェント的なウェブ検索コンポーネントがあり、積極的にリンクを生成するため、これはコンテンツにとって潜在的な読者の「巨大な漏斗（ファネル）」となります。このパイプラインを遮断することは、一見正義感に燃えた行動に見えるかもしれませんが、ウェブ上で最も急速に成長しているコンテンツ流通チャネルを自ら遮断することを意味します。
著者は、他の技術と同様に、LLMを正しく活用すれば大きな力を得られるとし、技術を完全にブロックしようとするのは一般的に悪い考えだと結論付けています。コンテンツ制作者は、単に隠れるのではなく、適応することが重要であり、LLMが実際に引用するような質の高いコンテンツを提供することが、今後のウェブにおける新たな成功戦略であると提言しています。これは、ウェブアプリケーションエンジニアにとって、自社サービスやコンテンツの露出を最大化し、AI時代におけるトラフィック獲得の戦略を再考する上で極めて重要な示唆を与えます。