巡回しているクローラー紹介

第1章：検索エンジン・AIクローラー

本サイトを継続的に巡回している、身元の明らかなクローラーです。AI検索エンジン各社からも定期的にアクセスがあります。

1-1. 大規模なAI学習クロールの実例

一度に200件以上のページを連続で取得していく、大規模なAI学習目的と見られるクロールも確認しています。構築手順のページだけでなく、付随する画像・CSS・補助ページまで丁寧に取得しており、技術文書全体を構造ごと解析しているような挙動でした。サイトへの負荷という点でも問題になるレベルではありません。

1-2. 識別の参考になるUser-Agent

ログから実際に確認したUser-Agentの抜粋です。ご自身のサーバーでクローラーを識別する際の参考にしてください。

1-3. Chrome Privacy Preserving Prefetch Proxyと検索結果表示の関係

クローラーそのものではありませんが、Googlebotと並んでよく観測するアクセス元にChrome Privacy Preserving Prefetch Proxyがあります。192.178.14.x系のIPレンジから、/.well-known/traffic-adviceへの確認アクセスに続けて対象ページを取得していく挙動です。

これはChromeブラウザが、Google検索結果ページに表示されたリンクをユーザーがクリックする前に、プライバシー保護用のプロキシ経由で先読み(プリフェッチ)する仕組みです。この先読みは基本的に検索結果ページ上にリンクが表示された際に発生するため、このアクセスを観測できていること自体が「本サイトのページが検索結果に表示されている」ことを示す一つの手がかりになります。

ただし、これはあくまで検索結果への表示を示す手がかりであり、実際に閲覧者がそのリンクをクリックしたかどうかまでは分かりません。プリフェッチは表示された時点で先読みが走る仕組みのため、クリックの有無を判断する材料にはならない点に注意が必要です。

第2章：無害な調査系スキャナー

攻撃目的ではなく、インターネット上のサービス実態を調査する目的のスキャナーです。セキュリティ研究機関や企業が、インターネット全体の状況把握のために運用しています。

2-1. 識別の参考になるUser-Agent

2-2. 身元を明かさない分散型クローラーの実例(2026-08-15)

2026年8月15日未明の3分間、5つの異なるホスティング事業者のIPアドレスから、同一のブラウザ用User-Agent(Firefox)を使って、robots.txt・sitemap.xmlに加え.well-known/配下の各種メタデータファイル(セキュリティポリシー、OpenID設定、アプリ連携情報など)やRSS/Atomフィードの存在を網羅的に確認していく挙動を観測しました。並行して実際の技術文書ページも複数閲覧しており、単純な脆弱性探索とは異なります。特定の事業者名を名乗るUser-Agentではなく、複数の送信元IPにまたがって短時間に組織的に行われている点が、本章の他の調査系スキャナーとは異なる特徴です。認証情報や管理画面を狙うような攻撃的な探索は確認されておらず、実害はありません。なお、存在しないファイルへのアクセス数が多かったことから、送信元IPの一部はapache-404の監視ルールにより数時間後に自動的にBANされたことを確認しています。

これらは攻撃ランキングで扱った攻撃とは異なり、脆弱なファイルを探したり、ログイン試行を繰り返したりする挙動はありません。「調べているだけ」で終わっています。

第3章：正規クローラーを誤ってBANしないための設定

Fail2banの「存在しないページへの連続アクセス」を検知する監視ルールは、本来は脆弱性を探すスキャン行為を検知するためのものです。しかし正規のクローラーであっても、サイト構成の変更やリンク切れによって偶発的に404を連発することがあり、そのままでは正規クローラーごと誤ってBANしてしまうことがありました（第2章のBuiltWithが実際にこれで一度BANされた事例です）。

クローラーに限らず、一般の閲覧者側でも同様の問題が起き得ます。ブラウザやOSが裏側で自動的に確認する「よくあるお約束のファイル」（アイコン画像など）をサイト側に用意していないと、その自動確認そのものが404を連発し、閲覧者本人を誤ってBANしてしまうことがあります。この実例は「対策・対応の記録」第4章で紹介しています。

そこでこの監視ルールに限定して、実際にログで継続的な巡回が確認できた、クラウド事業者側が公開・運用している送信元IPレンジを対象外に登録しています。他の監視（明確に悪意ある挙動を検知するルール）にはこの除外を適用していません。あくまで「404を連発しても即座に締め出さない」対象を絞り込んでいるだけで、他の不審な挙動があれば通常どおり遮断されます。User-Agent文字列は誰でも自由に詐称できるため信頼せず、IPアドレスの実態のみで判断する方針にしています。実際に「Googlebot」を名乗りながら実際のGoogle所有アドレスとは異なる送信元から既知の脆弱性パスを探索するアクセスも観測しており、この種の偽装は専用の検知ルールではなく、あくまで前述の「存在しないページへの連続アクセス」を検知する監視ルールが結果的に機能することで遮断される場合があるにとどまります。1回限りのアクセスなど連続404に達しない範囲の偽装は現状すり抜ける可能性がある点は今後の課題です。

第4章：総括

主要な検索エンジン（Google, DuckDuckGo）とAI検索エンジン（OpenAI, Perplexity, Anthropic）の双方から日常的に巡回されている状態です。robots.txt・sitemap.xmlを整備したことで、今後さらにクロールの効率が上がることを期待しています。

実際に受けた攻撃の分析は「攻撃ランキング」、多層防御の考え方は「対策・対応の記録」をご覧ください。