概要
https://vercel.com/blog/the-three-types-of-ai-bot-traffic-and-how-to-handle-them
詳細内容
## The three types of AI bot traffic and how to handle them
https://vercel.com/blog/the-three-types-of-ai-bot-traffic-and-how-to-handle-them
Vercelは、AIボットトラフィックを3種類に分類し、コンテンツ発見性を高めるための効果的な対処戦略を提示しています。
**Content Type**: Tutorial & Guide
**Scores**: Signal:5/5 | Depth:4/5 | Unique:4/5 | Practical:5/5 | Anti-Hype:4/5
**Main Journal**: 91/100 | **Annex Potential**: 88/100 | **Overall**: 88/100
**Topics**: [[AI Bot Traffic, Content Discovery, SEO, Web Infrastructure, LLM Training Data]]
Vercelのデータによると、AIボットトラフィックはウェブ全体の20%以上を占め、特にその約4分の1がAIクローラーです。記事では、これらを「AI学習クローラー」「AIエンジン基盤ボット」「AIリファラル」の3種類に分類し、各々が連携してコンテンツの発見性を高める「発見のフライホイール」を形成していると説明します。
「AI学習クローラー」はあらゆる公開ページをスキャンし、AIモデルの知識ベースを構築します。「AIエンジン基盤ボット」はユーザーの質問に応じてリアルタイムの情報をフェッチし、訓練データにない最新情報を補完します。そして「AIリファラル」は、AI生成された回答からのクリックであり、高いコンバージョン率を示す訪問者をもたらします。
従来のGoogleクローラーをブロックしたサイトが検索ブームを逃したように、AIクローラーを無差別にブロックすることは、拡大するコンテンツ発見チャネルを自ら閉ざすことになります。AIを活用した検索はすでに膨大なクエリを処理しており、AIプラットフォームは新たな発見経路となっています。
ウェブアプリケーションエンジニアにとって重要なのは、AIクローラーを完全に遮断するのではなく、戦略的に管理することです。`/login`や`/admin`のような機密性の高いルートはブロックしつつ、ドキュメント、ブログ記事、製品ページなどの公開コンテンツはAIにクロールさせるべきです。これにより、自社コンテンツがAIの回答で引用・推奨される機会が増え、トラフィックや顧客獲得に繋がりやすくなります。コンテンツ自体がビジネスモデルの核である場合はAIアクセスを制限する正当な理由もありますが、多くの製品やサービスを提供する開発者にとって、AIボットを理解し適切に対処することが、変化するウェブ環境で優位に立つ鍵となります。Vercel Firewallなどのツールも有効活用できるでしょう。