概要
Cloudflareは、AIボットを「検索」「エージェント」「トレーニング」の3つに細分化して制御できる新機能を発表し、Webサイト運営者がコンテンツの利用目的をより詳細に管理可能にしました。
詳細内容
Cloudflareは「Content Independence Day」から1年を迎え、AIクローラーに対するWebサイト側のコントロールを大幅に強化しました。主な更新点は以下の通りです。
1. **新しいAI分類**: ボットを「Search（検索）」「Agent（代行・実行）」「Training（学習）」の3カテゴリに分類。無料プランを含む全ユーザーがカテゴリ別にアクセスを制御できるようになりました。
2. **デフォルト設定の変更**: 2026年9月15日より、広告が掲載されているページでは学習用およびエージェント型ボットをデフォルトでブロックします。これは人間のアテンションを保護するためです。
3. **BotBaseの導入**: Enterprise顧客向けに、全既知ボットのディレクトリ「BotBase」を公開。ボットの振る舞いや分類をダッシュボードから検索・管理できます。
4. **コンテンツ利用シグナル**: robots.txtを拡張し、コンテンツの利用レベル（即時利用のみ、引用/リンク、全文複製）を指定できる「content-use」フィールドを導入しました。
5. **透過的信頼モデル**: プロキシ経由のボットでも、元の運営者を識別して信頼を継承する「transitive trust（推移的信頼）」の概念を提案しています。