コンテンツへスキップ

AI bot に 200・403・429 をどう設計する? 12 URL のテスト計画

AI bot に 200・403・429 をどう設計する? 12 URL のテスト計画

AI bot の HTTP 状態コードは、Web サーバーが AI クローラーにコンテンツを提供するのか、それともリクエストを拒否するのか、さらにいつ再試行すべきかを伝える HTTP 応答です。製品サイトでは、GPTBot のような crawler が一部のページを読める一方で、WAF レイヤーが別のリクエストを 403 で遮断することがあります。短く言えば、アクセス可能で読めるコンテンツには 200、ポリシー上の拒否には 403、一時的な速度制限には 429 を使い、それぞれの結果を 12 個の পৃথ別テスト URL、応答ヘッダー、サーバーログで検証します。

この考え方は、AI bot を許可するかブロックするかの判断とは別です。同じ bot に対して恒久的な拒否と一時的な混雑制御を分けられないと、crawler が無駄に再試行したり、コンテンツを取得できなかったり、あるいは 200 を返すブロックページを本物のコンテンツだと誤認したりします。

200 応答は AI bot に何を意味するか?

200 は、サーバーがリクエストを正常に処理し、レスポンス本文を返したことを意味します。crawler がコンテンツを取得するための適切な出発点ですが、そのページがインデックスされること、AI の応答で引用されること、再クロールされることまでは保証しません。

200 を返すページには、少なくとも正しいコンテンツ、適切な Content-Type、一貫した本文が必要です。HTML ページでは通常 text/html を使います。ログイン画面、WAF 警告、空のテンプレートを 200 で返すべきではありません。crawler は HTTP 層では成功応答を見ますが、内容が期待した文書でなければ、その後の解釈段階が崩れます。

200 テストはどう確認するか?

GET リクエストで状態コード、リダイレクトチェーン、Content-Type の値、応答サイズ、最初のコンテンツバイトを測定してください。テストは少なくとも 3 回繰り返し、CDN キャッシュとオリジンサーバーで応答が異ならないかも別途確認します。

403 の bot ブロックはいつ使うべきか?

403 は、サーバーがリクエストを理解したがアクセスを許可しないことを示します。認証ポリシー、WAF ルール、特定 bot 向けのアクセス方針により恒久的または条件付きで拒否する場合に適しています。いっぽう、一時的なトラフィック集中を示すには 403 ではなく 429 を選ぶべきです。

403 を受け取った crawler は、ページ本文を信頼性高く読むことができません。再試行を減らすものもあれば、一定時間後に再試行するものもあります。こうした挙動は bot の提供元によって異なります。そのため、403 応答が出たからといってクロールが必ず止まるとは限りません。サーバーログでは、同じ User-Agent、IP 範囲、時刻、ルール一致を確認してください。

robots.txt と HTTP 403 は同じではありません。robots.txt はクロール指示であり、403 はサーバーによる実際のアクセス拒否です。bot が robots.txt を読めない場合や、別のソースからページを知っている場合、robots.txt 内の許可だけではアクセス可能なコンテンツを意味しません。403 ページに noindex メタタグを付けても、crawler が内容を取得できなければ効果は限定的です。

429 rate limit は AI bot アクセスでどう設計するか?

429 は、クライアントが一定時間内に過剰なリクエストを送ったことを知らせます。この応答は、原則としてアクセスは可能だが、その時点の速度が受け入れられない場合に使います。応答に Retry-After ヘッダーを追加すると待機時間を示せますが、crawler がそれを必ず守るとは限りません。

Retry-After の値は秒数または HTTP 日付形式で指定できます。たとえば Retry-After: 60 は、ポリシーに応じてクライアントに 60 秒待つことを推奨します。429 応答が CDN に誤ってキャッシュされると、低頻度の後続リクエストまで同じエラーを受ける可能性があります。そのため、一時的な rate limit 応答では適切な Cache-Control ポリシーと CDN ルールを定義してください。

429 の本文は短く、機械が解釈しやすいものにしてください。状態コードが 429 なのに中身が 200 を返す HTML エラーページだと、クライアントが成功応答を受け取ったと誤解します。rate limit のキーを User-Agent だけに結びつけるのも弱く、IP、検証済み bot ID、アカウント、endpoint、時間枠を組み合わせて評価できます。

AI bot アクセスでどの挙動をテストすべきか?

テストでは status 値だけでなく、同じリクエストが edge、origin、そして異なる時間帯でどう応答するかも測定すべきです。User-Agent ヘッダーを変えるだけでは実際の bot 認証ではなく、そのヘッダーに対するルールの反応をシミュレートしているにすぎません。提供元が公開している IP 検証方法があるなら、それも併用してください。

12 URL のテスト計画はどう組むべきか?

本番コンテンツを危険にさらさないため、まず staging 環境か、削除可能な /ai-test/ 配下に 12 URL を作成します。各 URL について、期待する状態コード、発火条件、観測するヘッダーを事前に書き出してください。以下の配分は、200 が 4 件、403 が 3 件、429 が 3 件、そして回復/確認シナリオが 2 件です。

NoTest URL path期待値シナリオ
1/ai-test/ok-01200通常 GET、一般公開 HTML
2/ai-test/ok-02200Canonical タグ付きページ
3/ai-test/ok-03200robots.txt で許可されたパス
4/ai-test/ok-04200CDN キャッシュ済みの 2 回目リクエスト
5/ai-test/forbidden-01403WAF bot ルール一致
6/ai-test/forbidden-02403権限のない保護リソース
7/ai-test/forbidden-03403ポリシーにより拒否された User-Agent
8/ai-test/rate-01429短い burst 後の応答
9/ai-test/rate-02429同時リクエストのしきい値
10/ai-test/rate-03429Retry-After: 60 で応答
11/ai-test/recovery-01200待機時間後の再リクエスト
12/ai-test/header-01200Request-ID と cache ヘッダーの確認

応答はどの指標で検証すべきか?

各リクエストについて、UTC 時刻、HTTP 状態、リダイレクト回数、応答時間、本文サイズ、Content-Type、Cache-Control、Retry-After、Request-ID の値を記録してください。429 テストでは、60 秒の待機を実際に適用する前後を別行で報告します。403 テストでは、WAF のイベントログとアプリケーションログが同じリクエストを示しているか確認してください。

curl -sS -D headers.txt -o body.html -A GPTBot https://example.com/ai-test/ok-01
curl -sS -D - -o /dev/null -A GPTBot https://example.com/ai-test/rate-03
curl -sS -L -w status=%{http_code}--time=%{time_total}n -o /dev/null -A GPTBot https://example.com/ai-test/forbidden-01

最初のコマンドはヘッダーと本文を保存し、2 つ目は 429 ヘッダーを直接表示し、3 つ目はリダイレクトを追跡しながら総合結果を測定します。-A GPTBot はあくまで User-Agent のシミュレーションであり、実際の bot であることの証明ではありません。本番にルールを適用する前に、同じコマンドを許可済みのテスト IP から実行してください。

実践的な技術チェックリスト

  1. 200 期待の 4 URL で、実際の HTML、正しい Content-Type、空ではない本文があることを確認する。
  2. 403 期待の 3 URL で、拒否判断が WAF、CDN、アプリケーションのどの層で行われたかを特定する。
  3. 429 期待の 3 URL で、rate limit の時間枠、しきい値、キーを文書化する。
  4. 429 応答に、秒数または HTTP 日付形式の Retry-After を追加し、そのヘッダーが CDN で変更されていないことを確認する。
  5. 403 を一時的な混雑に使わず、恒久的なポリシーと一時的な容量問題を分ける。
  6. 200 を返すエラー、ログイン、CAPTCHA ページをコンテンツページのままにしない。
  7. GET と HEAD の結果が異なる可能性があるため、crawler シナリオは GET で測定し、HEAD は別の互換性テストとして扱う。
  8. 0、60、180 秒など、3 つの異なるタイミングで同じテストグループを繰り返す。
  9. 結果を status code、response time、body size、log request-id フィールドとともに 1 つの CSV ファイルに保存する。

例: CDN とアプリケーションが連携して rate limit を実施する

あるニュースサイトは、許可済みの AI bot リクエストには通常の記 事 HTML を返し、管理用パスは 403 で閉じ、秒間過剰なリクエストを送るクライアントは 429 で減速させたいと考えています。アプリケーションと CDN が同じしきい値を使っていないと、CDN が 429 を返しても origin ログにリクエストが見えないことがあります。そのため、8、9、10 番の URL は 2 層の両方で観測してください。

HTTP/1.1 429 Too Many Requests
Content-Type: text/plain; charset=utf-8
Retry-After: 60
Cache-Control: no-store

Rate limit reached. Retry after the indicated interval.

この例の 60 はサイトポリシーが選んだ待機時間であり、すべての crawler に共通する値ではありません。403 の例でも似たヘッダーは使えますが、Retry-After を付けても 429 にはなりません。テストの最後に、10 番の URL で Retry-After が保持されていること、11 番の URL で待機後に 200 を受け取り、本文が本当に記事であることを確認してください。

よくある間違い

  • すべての bot を 1 つの User-Agent 文字列だけで信頼性高く認証できると思い込む。
  • 一時的なトラフィック増加に 403 を返し、crawler がいつ再試行するかを曖昧にする。
  • 429 を返すのに Retry-After ヘッダーを送らない、または誤った CDN 層で削除する。
  • 403 と 429 の応答を、200 状態コードのアクセス拒否ページに置き換える。
  • ブラウザーだけでテストし、実際の User-Agent、リダイレクト、キャッシュ差を測定しない。
  • robots.txt の許可を、サーバーが 200 を返す意味だと解釈する。
  • 1 回のリクエストだけで結論を出し、3 回の再試行やログ比較を行わない。

テスト結果はどう解釈すべきか?

200 の結果はコンテンツ配信が機能していること、403 の結果はポリシーレイヤーが働いていること、429 の結果は速度制御が発火していることを示します。どれも単独では AI 検索での可視性を意味しません。同じ URL が層によって異なるコードを返す場合は、まず CDN、WAF、origin の順で確認し、その後で実際の bot 提供元が文書化している挙動も評価してください。

よくある質問

AI bot には 403 と 429 のどちらを返すべきですか?

恒久的またはポリシーベースのアクセス拒否には 403、一時的な速度超過には 429 を使います。429 応答では適切な Retry-After ヘッダーを送るとよいです。

200 を返す bot ブロックページが問題なのはなぜですか?

crawler は HTTP リクエストが成功したと判断しますが、本文には実コンテンツではなくブロックメッセージが入っています。そのため、コンテンツ抽出や後続の評価が誤解を招きます。

Retry-After ヘッダーは AI crawler に必ず適用されますか?

いいえ。Retry-After は待機の推奨を標準的に伝えるものですが、各 AI crawler の解釈や再試行ポリシーは異なる場合があります。

User-Agent だけで AI bot を検証できますか?

User-Agent はあくまでシグナルであり、偽装可能です。信頼できる検証には、提供元が公開する IP または reverse DNS の検証方法とサーバーログを確認してください。

サイトを無料でスキャン