概要
https://www.theregister.com/2025/08/29/ai_web_crawlers_are_destroying/
詳細内容
## AI web crawlers are destroying websites in their never-ending hunger for any and all content
https://www.theregister.com/2025/08/29/ai_web_crawlers_are_destroying/
AIボットが既存のWebサイトに過剰な負荷をかけ、ロボット排除プロトコルを無視することで、Webの開放性が危機に瀕していると筆者は警告する。
**Content Type**: Opinion & Commentary
**Scores**: Signal:4/5 | Depth:3/5 | Unique:4/5 | Practical:4/5 | Anti-Hype:5/5
**Main Journal**: 80/100 | **Annex Potential**: 81/100 | **Overall**: 80/100
**Topics**: [[AI crawlers, Webパフォーマンス, robots.txt, コンテンツ収益化, Webの未来]]
この記事は、AIの台頭に伴い、その飢えを満たすためのAIウェブクローラーが、従来のウェブサイトに甚大な被害を与えている現状と将来への警鐘を鳴らすものです。Cloudflareによると、世界のウェブトラフィックの30%をボットが占め、その中でAIボットが急速に増加しています。Fastlyは、AIボットトラフィックの80%がデータ取得ボットであると指摘します。
従来のクローラーとは異なり、AIクローラーはrobots.txtの指示を無視し、通常の10倍から20倍ものトラフィックを短時間で発生させることがあります。これにより、ウェブサイトのパフォーマンスが大幅に低下し、サービス停止に至るケースも多発。特に共有サーバーを利用する中小規模のサイトは深刻な影響を受けています。Meta、Google、OpenAIのAIサーチボットが生成する膨大なトラフィックは、大手サイトでさえリソース増強を余儀なくさせ、訪問者の離脱率を高めています。
筆者は、AIクローラーがユーザーを元のソースに誘導せず、サイト運営者の収益機会を奪っている点を問題視しています。広告収入や商品販売の機会が失われ、ウェブサイトの運営が困難になる一方、ログイン、ペイウォール、CAPTCHAといった対抗策もAIによって容易に回避される現状です。robots.txtに代わるllms.txtの提案や、Cloudflareのようなプロバイダーによるボットブロッキングサービス、Anubisのようなツールが対抗手段として挙げられていますが、ウェブがより断片化され、重要な情報が有料化されたり削除されたりする「バルカン化」した未来への懸念が示されています。ウェブアプリケーションエンジニアは、AIボラティリティへの対策として、サイトのレジリエンス強化、新たな収益モデルの模索、そしてAIクローラーへの賢明な対応策を検討する必要があるでしょう。