概要
https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/
詳細内容
## A deeper look at AI crawlers: breaking down traffic by purpose and industry
https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/
CloudflareがAIクローラーのトラフィックを目的別・産業別に分類する新たな可視化機能「AI Insights」をCloudflare Radarに追加し、コンテンツ収益化モデルの変化を明確化します。
**Content Type**: 📰 News & Announcements
**Scores**: Signal:5/5 | Depth:3/5 | Unique:3/5 | Practical:4/5 | Anti-Hype:4/5
**Main Journal**: 82/100 | **Annex Potential**: 76/100 | **Overall**: 76/100
**Topics**: [[AIクローラー, Webトラフィック分析, データ収益化モデル, Cloudflare Radar, robots.txt]]
Cloudflareは、AIクローラーによるWebトラフィックの詳細な可視化と分析を可能にする新機能をCloudflare Radarの「AI Insights」ページに追加しました。これは、AIプラットフォームの台頭がWebコンテンツの収益化モデルを根本的に変えつつある現状において、Webアプリケーションエンジニアやコンテンツ所有者にとって極めて重要です。
従来の検索エンジンは、クロールによってサイトへのトラフィックを送り、広告収益につながるという暗黙の約束がありました。しかし、AI概要表示が普及したことで、ユーザーは元のソースにクリックして訪問しなくなり、結果として収益機会が失われています。
今回のアップデートでは、AIボットのトラフィックを「モデルトレーニング」「検索」「ユーザーアクション」といった目的別、および「ニュース＆出版」「コンピュータ＆エレクトロニクス」といった産業分野別に分類して分析できます。これにより、どのAIボットが、どのような目的で、どれくらいの頻度でコンテンツをクロールしているのか、そしてそれが実際のユーザー参照トラフィックにどれだけ結びついているのか（クロール対参照比率）を具体的に把握することが可能になります。
例えば、データはトレーニング目的のクロールがAIボットトラフィックの約80%を占め、不規則なパターンを示す一方、「ユーザーアクション」由来のトラフィック（例：ChatGPT-User）には明確な日次サイクルがあることを示しています。また、産業分野によってAIボットの活動や参照比率が大きく異なることも明らかになりました。
この新機能は、Webコンテンツの将来的な管理戦略、サーバーリソースの最適化、そして新しい収益化モデルの検討において、具体的なデータに基づいた意思決定を支援します。AIクローラーとの共存方法が模索される中、自身のサイトがどのような影響を受けているかを客観的に評価するための強力なツールとなるでしょう。将来的なAIクローラー制御メカニズムの標準化が待たれる中で、現状把握は不可欠です。