概要
Cloudflareは、AIボットの制御設定を自動的にrobots.txtへ反映・同期させる「Bot Preference Sync」を発表し、サイト所有者の意図とクローラーへの指示の不一致を解消します。
詳細内容
Cloudflareが発表した「Bot Preference Sync」は、ダッシュボード上のAIボット設定（検索、エージェント、トレーニングの3カテゴリ）を、エッジで生成されるrobots.txtファイルへ自動的に同期する機能です。これまでWebサイト所有者は、ファイアウォールでのブロック設定とrobots.txtの記述を個別に管理する必要がありましたが、この機能により一貫性のある制御が可能になります。
特に注目すべきは「トレーニング」カテゴリに対する新しい「Disallow」オプションです。これは、トレーニング目的のアクセスは拒否しつつ、一定の「透明性基準」（robots.txtの尊重、AIサマリーのオプトアウト、URLレベルの可視化、検索順位への影響排除など）を満たす検索・トレーニング混合型クローラーに対しては検索インデックス用のアクセスを許可する仕組みです。この機能はFreeプランを含む全ユーザーに提供され、広告収入に依存するパブリッシャー向けにはトレーニング拒否がデフォルトで設定されるオプションも用意されています。