AIクローラー・インデックス：AIボットのトラフィックに関するリアルタイム・データ

概要

実際のWebサイト統計に基づき、AI学習用やAI検索用ボットが全ボットトラフィックの約28%を占め、検索エンジンを凌駕しつつある現状を詳細に分析したインデックス。

詳細内容

デジタルマーケティング企業のMojo Dojoが公開した、Webサイト「mojodojo.io」へのクローラー訪問に関するリアルタイム分析データです。このインデックスは、訪問してくるボットを「AI学習（Training）」「AI検索（Search）」「AIユーザー取得（User fetch）」「検索エンジン（Google/Bing等）」に分類し、IPアドレス検証によってなりすましボットを除去した純粋なトラフィックを算出しています。直近30日間のデータでは、AIクローラーが全ボットトラフィックの27.9%を占め、従来の検索エンジン（24.0%）を上回る結果となりました。ボットごとのランキングでは、Meta-ExternalAgentがAI学習用として最も活発であり、OpenAIのGPTBotやAnthropicのClaudeBot、PerplexityBotなどの活動実態（1日あたりのヒット数、1ページあたりの訪問頻度など）が定量的に示されています。サイト運営者にとって、どのAI企業がどの程度の頻度でデータを収集しているかを把握するための極めて実用的なリソースです。

元記事を読む