概要
https://blog.cloudflare.com/crawlers-click-ai-bots-training/
詳細内容
## The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals
https://blog.cloudflare.com/crawlers-click-ai-bots-training/
Cloudflareのデータは、AIトレーニングボットによるWebクロールが急増する一方で、コンテンツクリエイターへのユーザー紹介トラフィックが大幅に減少している「クロール・トゥ・クリック・ギャップ」の拡大を明らかにした。
**Content Type**: Research & Analysis
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 87/100 | **Annex Potential**: 87/100 | **Overall**: 88/100
**Topics**: [[AIボットトラフィック, Webクローリング, 参照トラフィック, LLMトレーニング, コンテンツクリエイターへの影響]]
Cloudflareの最新データは、AIボット、特にトレーニング目的のクローラーがWebサイトを大量にクロールする一方で、ユーザーへの紹介トラフィックが激減している「クロール・トゥ・クリック・ギャップ」が深刻化している現状を報告しています。これは、コンテンツクリエイターがAIシステムに無料で素材を提供しているにもかかわらず、トラフィックや収益を得られないというパラドックスを生み出しています。
具体的なデータとして、2025年上半期にはAIおよび検索エンジンのクロールが前年比24%急増し、その活動の約80%がトレーニング目的であることが示されました。特にOpenAIのGPTBotやAnthropicのClaudeBotがシェアを伸ばす一方、Googleからのニュースサイトへの参照トラフィックは2025年3月には1月と比較して約9%減少しました。これはGoogleのAI概要機能（AI Overviews）の拡大と時期が重なっています。
さらに、プラットフォームごとの「クロール・トゥ・リファー（参照）」比率（ボットがクロールするページ数とユーザーがクリックしてWebサイトに戻るページ数の比率）も公開されました。Anthropicは参照を増やしたものの、依然として1訪問者あたり38,000ページをクロールしており、最も不均衡が大きいことが判明しました。一方、Perplexityはこの比率が256.7%増加し、より多くのクロールに対して参照が減少しています。
この傾向は、コンテンツ制作者が、自社コンテンツがチャットボットの回答に利用されることを望む一方で、それに対する適切な収益化や協力が得られない場合、高品質なコンテンツ制作へのインセンティブが失われるという根本的な課題を突きつけています。Webは今、AIの時代がクリエイターを支援する新たなバランスを見出すか、あるいはオープンWebが一方的なトレーニングデータセットとして価値を抽出されるだけの存在になるかの岐路に立たされています。ウェブ開発者にとっては、自社のコンテンツ戦略やWebサイトのアクセス解析において、このAIボットの振る舞いを理解し、対策を講じることが不可欠です。