Webアクセスの99%超がAIボット、人間1回に対し214回読み込み

寄付者情報データベース「PatronView」を運営するニック・グレイ（Nick Gray）氏は、自社Webサイトへ押し寄せるAIクローラーやスクレイパーとの約1年間に及ぶ攻防の記録を公表しました。サーバーログと解析ツールの実測値比較により、人間の訪問者が1ページ閲覧する間にAIボットによるページ読み込みが約214回発生していた実態が明らかになりました。

アクセス解析とサーバーログの極端な乖離

PatronViewは約150万件の公開プロフィールを掲載するデータベースサイトです。グレイ氏が特定週のサーバーログを分析したところ、サーバーが配信したフルページリクエストは約128万件であったのに対し、JavaScriptを利用するアクセス解析（Plausible Community Edition）で記録された人間のページビューはわずか5,977件にとどまりました。

比率にして約214対1となり、サイトに到達するトラフィック全体の99％以上を自動収集ボットが占有していることが実測データにより裏付けられました。

AI検索クローラーと従来型検索ボットの取得効率比較

クローラーごとの動作特性を調べると、検索トラフィックをサイトへ送り還す効率において、生成AI検索用ボットと従来の検索エンジンボットとの間に著しい乖離が確認されました。

• Claude-SearchBot（Anthropic）​: 1週間で約42万ページを取得した一方、ユーザー経由のアクセス（Claude-User）は12件のみ。訪問者1人当たり約35,000ページを取得。
• Googlebot: 1訪問者あたり46ページを取得してトラフィックを還元。
• Bingbot: 1訪問者あたり406ページを取得してトラフィックを還元。

防御措置と今後のインフラ課金モデルの展望

グレイ氏はWAF（Web Application Firewall。不正アクセスやボット攻撃を防ぐセキュリティツール）を活用し、人間の訪問者を還元しないAIクローラーの遮断やManaged Challenge（人間認証）の要求、取得頻度制限を適用しました。

しかし、Chrome DevTools MCPなどのブラウザ自動化技術を用いたスクレイピングに対しては完全な防除が困難であるため、将来的にはクローラー側がデータ収集対価を支払う「Pay Per Crawl」等の新しい取引市場やインフラルールの確立が必要になると指摘しています。

引用元：GIGAZINE