İçeriğe atla

AI botlara 200, 403 ve 429 yanıtı nasıl tasarlanır? 12 URL’lik test planı

AI bot isteklerinin 200, 403 ve 429 HTTP yanıtlarına ayrıldığı sunucu akış şeması

AI bot HTTP durum kodları, bir yapay zekâ tarayıcısına web sunucusunun içeriği sunup sunmadığını ve isteği ne zaman tekrarlaması gerektiğini bildiren HTTP yanıtlarıdır. Bir ürün sitesinde GPTBot benzeri bir crawler bazı sayfaları okuyabilirken WAF katmanı başka bir isteği 403 ile kesebilir. Kısa cevap şudur: erişilebilir ve okunabilir içerik için 200, politika gereği reddedilen istek için 403, geçici hız sınırı için 429 kullanın; her sonucu 12 ayrı test URL’si, yanıt başlıkları ve sunucu loglarıyla doğrulayın.

Bu yaklaşım, AI botu açıp kapatma kararından ayrıdır. Aynı bot için kalıcı erişim reddi ile geçici yoğunluk kontrolünü ayırmazsanız crawler gereksiz yere tekrar deneyebilir, içeriği hiç alamayabilir veya 200 dönen bir engel sayfasını gerçek içerik sanabilir.

200 yanıtı AI bot için ne ifade eder?

200, sunucunun isteği başarıyla işlediğini ve yanıt gövdesi sunduğunu ifade eder. Bu, crawler’ın içeriği alabilmesi için uygun başlangıçtır; ancak sayfanın dizine alınacağını, bir AI yanıtında kaynak gösterileceğini veya tekrar taranacağını garanti etmez.

200 dönen bir sayfada en azından doğru içerik, uygun Content-Type ve tutarlı bir gövde bulunmalıdır. HTML sayfası için genellikle text/html kullanılır. Giriş ekranı, WAF uyarısı veya boş şablon 200 ile gönderilmemelidir. Crawler HTTP katmanında başarılı yanıt görür, fakat içerik beklenen belge değilse sonraki yorumlama aşaması bozulabilir.

200 testi nasıl doğrulanır?

GET isteğiyle durum kodunu, yönlendirme zincirini, Content-Type değerini, yanıt boyutunu ve ilk içerik baytlarını ölçün. Testi en az 3 kez tekrarlayın; CDN önbelleği ile origin sunucusunun farklı yanıt verip vermediğini ayrıca kontrol edin.

403 bot engelleme ne zaman kullanılmalı?

403, sunucunun isteği anladığını fakat erişime izin vermediğini anlatır. Kimlik doğrulama politikası, WAF kuralı veya belirli bir bot erişim politikası nedeniyle kalıcı ya da koşullu ret veriyorsanız uygundur; geçici trafik yoğunluğunu ifade etmek için 403 yerine 429 tercih edilmelidir.

403 alan bir crawler sayfanın gövdesini güvenilir biçimde okuyamaz. Bazı crawler’lar tekrarı azaltabilir, bazıları belirli bir süre sonra yeniden deneyebilir; bu davranış bot sağlayıcısına göre değişir. Bu nedenle 403 yanıtını gördüğünüzde kesin olarak taramanın duracağını varsaymayın. Sunucu loglarında aynı User-Agent, IP aralığı, zaman ve kural eşleşmesini inceleyin.

robots.txt ile HTTP 403 aynı şey değildir. robots.txt bir tarama yönergesidir; 403 ise sunucunun fiilî erişim reddidir. Bot robots.txt dosyasını okuyamıyorsa veya sayfayı başka bir kaynaktan biliyorsa, robots.txt içindeki izin tek başına erişilebilir içerik anlamına gelmez. 403 sayfasına noindex meta etiketi koymak da crawler içeriği alamıyorsa etkili olmayabilir.

429 rate limit AI bot erişiminde nasıl tasarlanır?

429, istemcinin belirli bir zaman aralığında çok fazla istek gönderdiğini bildirir. Bu yanıt, erişimin prensipte mümkün fakat o anki hızın kabul edilmediği durumlar içindir. Yanıta Retry-After başlığı eklemek, bekleme süresini belirtmenin standart yoludur; crawler’ın bu başlığı kesinlikle uygulayacağı varsayılmamalıdır.

Retry-After değeri saniye cinsinden bir sayı veya HTTP tarih biçiminde verilebilir. Örneğin Retry-After: 60, politikanıza göre istemcinin 60 saniye beklemesini önerir. 429 yanıtını CDN yanlışlıkla önbelleğe koyarsa, düşük hızlı sonraki istekler de aynı hatayı alabilir. Bu nedenle geçici rate limit yanıtlarında uygun bir Cache-Control politikası ve CDN kuralı belirleyin.

429 gövdesini kısa ve makinece anlaşılır tutun. Durum kodu 429 iken içeride 200 dönen bir HTML hata sayfası, istemcinin başarılı yanıt aldığını sanmasına neden olur. Rate limit anahtarını yalnızca User-Agent’a bağlamak da zayıftır; IP, doğrulanmış bot kimliği, hesap, endpoint ve zaman penceresi birlikte değerlendirilebilir.

AI bot erişimi için hangi davranış test edilmelidir?

Test yalnızca status değerini değil, aynı isteğin edge, origin ve farklı zamanlarda nasıl yanıtlandığını da ölçmelidir. User-Agent başlığını değiştirmek gerçek bot doğrulaması değildir; yalnızca kuralınızın bu başlığa nasıl tepki verdiğini simüle eder. Sağlayıcı tarafından yayımlanan IP doğrulama yöntemleri varsa onları ayrıca kullanın.

12 URL’lik test planı nasıl kurulmalı?

Üretim içeriklerini riske atmamak için önce staging ortamında veya silinebilir bir /ai-test/ yolu altında 12 URL oluşturun. Her URL’nin beklenen durum kodunu, tetikleme koşulunu ve gözlenecek başlığı önceden yazın. Aşağıdaki dağılım 4 adet 200, 3 adet 403, 3 adet 429 ve 2 adet toparlanma/kontrol senaryosu içerir.

NoTest URL yoluBeklenenSenaryo
1/ai-test/ok-01200Normal GET, herkese açık HTML
2/ai-test/ok-02200Canonical etiketi olan sayfa
3/ai-test/ok-03200robots.txt ile izin verilen yol
4/ai-test/ok-04200CDN önbellekli ikinci istek
5/ai-test/forbidden-01403WAF bot kuralı eşleşmesi
6/ai-test/forbidden-02403Yetkisiz korumalı kaynak
7/ai-test/forbidden-03403Politikaya göre reddedilen User-Agent
8/ai-test/rate-01429Kısa burst sonrası yanıt
9/ai-test/rate-02429Eşzamanlı istek eşiği
10/ai-test/rate-03429Retry-After: 60 ile yanıt
11/ai-test/recovery-01200Bekleme süresi sonrası yeniden istek
12/ai-test/header-01200Request-ID ve cache başlığı kontrolü

Yanıtları hangi ölçümlerle doğrulamalı?

Her istek için UTC zamanını, HTTP durumunu, yönlendirme sayısını, yanıt süresini, gövde boyutunu, Content-Type, Cache-Control, Retry-After ve Request-ID değerlerini kaydedin. 429 testinde 60 saniyelik beklemeyi gerçekten uygulamadan önce ve sonra ayrı satırlar halinde raporlayın. 403 testinde WAF olay kaydı ile uygulama logunun aynı isteği gösterip göstermediğini kontrol edin.

curl -sS -D headers.txt -o body.html -A GPTBot https://example.com/ai-test/ok-01
curl -sS -D - -o /dev/null -A GPTBot https://example.com/ai-test/rate-03
curl -sS -L -w status=%{http_code}--time=%{time_total}n -o /dev/null -A GPTBot https://example.com/ai-test/forbidden-01

İlk komut başlıkları ve gövdeyi kaydeder, ikinci komut 429 başlıklarını doğrudan gösterir, üçüncü komut yönlendirmeleri izleyerek toplam sonucu ölçer. -A GPTBot yalnızca User-Agent simülasyonudur; gerçek bot olduğunuzu kanıtlamaz. Üretimde kuralı uygulamadan önce aynı komutları izinli bir test IP’sinden çalıştırın.

Uygulanabilir teknik kontrol listesi

  1. 200 beklenen 4 URL’de gerçek HTML, doğru Content-Type ve boş olmayan gövde bulunduğunu doğrulayın.
  2. 403 beklenen 3 URL’de ret kararının WAF, CDN veya uygulama katmanından hangisinde verildiğini belirleyin.
  3. 429 beklenen 3 URL’de rate limit penceresini, eşik değerini ve anahtarını dokümante edin.
  4. 429 yanıtına saniye veya HTTP tarihi biçiminde Retry-After ekleyin; bu başlığın CDN tarafından değiştirilmediğini kontrol edin.
  5. 403’ü geçici yoğunluk için kullanmayın; kalıcı politika ile geçici kapasite sorununu ayrı tutun.
  6. 200 dönen hata, giriş veya CAPTCHA sayfalarını içerik sayfası gibi bırakmayın.
  7. GET ve HEAD sonuçları farklı olabileceği için crawler senaryosunu GET ile ölçün; HEAD’i ayrı bir uyumluluk testi olarak ele alın.
  8. Üç farklı zamanda, örneğin 0, 60 ve 180. saniyelerde, aynı test grubunu tekrarlayın.
  9. Sonuçları status code, response time, body size ve log request-id alanlarıyla tek bir CSV dosyasında saklayın.

Örnek senaryo: CDN ve uygulama birlikte rate limit uyguluyor

Bir haber sitesi, izinli AI bot isteklerine normal makale HTML’i vermek, yönetim yollarını 403 ile kapatmak ve saniyede aşırı istek gönderen istemciyi 429 ile yavaşlatmak istiyor. Uygulama ve CDN aynı eşiği kullanmazsa CDN 429 üretirken origin logunda istek görünmeyebilir. Bu yüzden 8, 9 ve 10 numaralı URL’leri iki katmanda da gözlemleyin.

HTTP/1.1 429 Too Many Requests
Content-Type: text/plain; charset=utf-8
Retry-After: 60
Cache-Control: no-store

Rate limit reached. Retry after the indicated interval.

Bu örnekte 60 değeri site politikasının seçtiği bekleme süresidir; tüm crawler’lar için evrensel bir değer değildir. 403 örneğinde ise benzer bir başlık kullanılabilir fakat Retry-After eklemek onu 429’a dönüştürmez. Test sonunda 10 numaralı URL’de Retry-After’ın korunduğunu, 11 numaralı URL’de bekleme sonrasında 200 alındığını ve gövdenin gerçekten makale olduğunu kontrol edin.

Sık yapılan hatalar

  • Her botu tek bir User-Agent metniyle güvenilir biçimde doğruladığını sanmak.
  • Geçici trafik artışına 403 verip crawler’ın ne zaman yeniden deneyeceğini belirsiz bırakmak.
  • 429 döndürürken Retry-After başlığını hiç göndermemek veya yanlış CDN katmanında silmek.
  • 403 ve 429 yanıtlarını 200 durum kodlu bir erişim engelleme sayfasıyla değiştirmek.
  • Sadece tarayıcıdan test yapmak; gerçek User-Agent, yönlendirme ve önbellek farklarını ölçmemek.
  • robots.txt iznini, sunucunun 200 döneceği anlamında yorumlamak.
  • Tek bir istekten sonuç çıkarıp 3 tekrar ve log karşılaştırması yapmamak.

Test sonuçları nasıl yorumlanmalı?

200 sonuçları içerik tesliminin çalıştığını, 403 sonuçları politika katmanının devrede olduğunu, 429 sonuçları ise hız kontrolünün tetiklendiğini gösterir. Hiçbiri tek başına AI arama görünürlüğü anlamına gelmez. Aynı URL’nin farklı katmanlarda farklı kod vermesi durumunda önce CDN, WAF ve origin sırasını izleyin; ardından gerçek bot sağlayıcısının belgelenmiş davranışını ayrıca değerlendirin.

Sık sorulan sorular

AI botlara 403 mü yoksa 429 mu verilmelidir?

Kalıcı veya politika temelli erişim reddinde 403, geçici hız aşımında 429 kullanılmalıdır. 429 yanıtında uygun bir Retry-After başlığı göndermek faydalıdır.

200 dönen bir bot engelleme sayfası neden sorunludur?

Crawler HTTP isteğini başarılı sanabilir fakat gövdede gerçek içerik yerine engel mesajı alır. Bu durum içerik çıkarma ve sonraki değerlendirme aşamalarını yanıltabilir.

Retry-After başlığı AI crawler tarafından kesinlikle uygulanır mı?

Hayır. Retry-After bekleme önerisini standart biçimde iletir, ancak her AI crawler’ın bu başlığı yorumlama ve yeniden deneme politikası farklı olabilir.

User-Agent ile AI bot doğrulaması yapılabilir mi?

User-Agent yalnızca bir sinyaldir ve taklit edilebilir. Güvenilir doğrulama için ilgili sağlayıcının yayımladığı IP veya ters DNS doğrulama yöntemlerini ve sunucu loglarını inceleyin.

12 URL’lik test planını staging ortamınızda uygulayın; sonuçları status code, Retry-After ve sunucu loglarıyla karşılaştırmak için AI bot erişimi test kontrol listenizi şimdi oluşturun.