ウェブサイトトラフィックの99%がボットだった話：150万ページの個人サイトによる1年間の死闘記録

概要

150万ページを抱えるデータベースサイトの運営者が、AIクローラーやボットネットによる膨大なアクセスを遮断し、サーバー負荷と闘った1年間の技術的な詳細を公開しています。

詳細内容

米国慈善家データベース「PatronView」の運営者による、Webサイトへのボット攻撃との戦いの記録です。実トラフィックの99%以上がボットであり、特にClaudeやAmazonなどのAIクローラーがリファラルをほとんど送らずに膨大なページをスクレイピングしている現状を、「ページクロール数対流入数」の比率で数値化しています。記事では、Cloudflareを活用した具体的な対策として、特定の国のブロック、データセンターASNの制限、古いブラウザ（Frozen User-Agents）へのチャレンジ発行、レート制限などのWAFルールをコードレベルで公開。また、JavaScriptベースの解析ツールでは見えないサーバー負荷の実態や、ボット対策スクリプトがサイトパフォーマンスを低下させていた事例など、運用面での貴重な教訓がまとめられています。

元記事を読む他のサマリーを見る