Pular para o conteúdo

Os bots de IA estão sobrecarregando seu servidor? 5 passos para economizar CPU e largura de banda

Os bots de IA estão sobrecarregando seu servidor? 5 passos para economizar CPU e largura de banda

Ao acordar, você pode notar que seu site está lento, o uso da CPU atingiu 90% e seus limites de largura de banda estão se esgotando rapidamente. Embora o tráfego de usuários no Google Analytics pareça normal, ao verificar os logs do servidor (access logs), você percebe milhares de solicitações vindas de User-Agents como GPTBot, Claude-bot ou CCBot. Esta é a nova realidade enfrentada pelos administradores web modernos: as atividades agressivas de rastreamento dos bots de IA.

Resposta curta: Como otimizar o tráfego de bots de IA?

O acesso de bots de IA pode consumir muito mais recursos do que os bots de mecanismos de busca tradicionais, pois eles não apenas indexam, mas tentam baixar todo o conteúdo para treinar grandes modelos de linguagem (LLMs). Para gerenciar essa carga, você deve definir restrições específicas via robots.txt, configurar regras de limitação de taxa (rate limiting) em serviços de CDN como o Cloudflare e limitar o número de solicitações simultâneas com configurações de Nginx/Apache no lado do servidor. Com esses métodos, é possível reduzir a carga da CPU em até 60%.

1. Entendendo as características dos bots de IA: Por que consomem mais recursos?

Crawlers tradicionais (como o Googlebot) visitam seu site em intervalos determinados e verificam apenas o conteúdo alterado. No entanto, os bots de IA são programados para extrair todo o conteúdo baseado em texto do seu site o mais rápido possível para completar um conjunto de dados (dataset). Em termos de uso de recursos de crawler, um bot de IA pode realizar mais de 20 solicitações por segundo. Se o seu site tiver consultas de banco de dados não otimizadas, isso levará ao travamento do servidor.

Dados numéricos sobre o impacto dos bots

  • Largura de banda: Em um blog de médio porte, um único bot de IA pode realizar uma transferência de dados média de 15-20 GB por mês.
  • Uso de CPU: A renderização de páginas dinâmicas (baseadas em PHP/Python) a cada solicitação aumenta a carga da CPU em 4-5 vezes durante o tráfego de bots.
  • Custo: Em modelos de pagamento conforme o uso, como AWS ou Google Cloud, o tráfego de bots não controlado pode aumentar as faturas em até 30%.

Passo 2: Intervenção cirúrgica com robots.txt

Embora muitos administradores pensem em bloquear todos os bots (Disallow: /), isso pode eliminar sua visibilidade em mecanismos de busca de IA (como Perplexity ou SearchGPT). Em vez disso, foque apenas nos agressivos. Por exemplo, o Common Crawl (CCBot) coleta um vasto pool de dados, mas não traz tráfego direto. Restringi-lo é um começo lógico.

User-agent: GPTBot
Disallow: /admin/
Disallow: /api/

User-agent: CCBot
Disallow: /

Nota importante: o GPTBot da OpenAI nem sempre respeita o comando Crawl-delay. Portanto, o robots.txt por si só não é uma solução completa.

Passo 3: Rate Limiting (Limitação de Taxa) no nível do Nginx

Para permitir que seu servidor respire, você deve interromper as solicitações no nível do servidor web antes que cheguem à camada de aplicação (PHP/Node.js). Se você usa Nginx, pode limitar o número de solicitações por segundo dos bots de IA com o módulo limit_req.

http {
    limit_req_zone $binary_remote_addr zone=bot_limit:10m rate=1r/s;

    server {
        location / {
            if ($http_user_agent ~* (GPTBot|Claude-bot|CCBot)) {
                limit_req zone=bot_limit burst=5 nodelay;
            }
        }
    }
}

A configuração acima impede que os bots de IA especificados façam mais de 1 solicitação por segundo e limita picos instantâneos (burst) a 5 solicitações. Este é um dos métodos técnicos mais eficazes para a otimização do servidor.

Passo 4: Uso do Cloudflare WAF e Gerenciamento de Bots

Se você usa uma CDN, pode lidar com a carga na "borda" (Edge) sem que ela chegue ao seu servidor. Ativar o "Bot Fight Mode" no Cloudflare ou escrever regras personalizadas de WAF (Web Application Firewall) também permite que você faça a análise de tráfego de bots.

  • Verified Bots: Permita bots úteis como Google e Bing.
  • AI Scrapers: Coloque bots de IA conhecidos na fase de "Challenge" (JS Challenge). Isso não impede que o bot leia a página, mas retarda significativamente a velocidade de rastreamento, protegendo seu servidor.

Passo 5: Estratégia de Conteúdo Estático e Cache

Os bots de IA geralmente se interessam pelo conteúdo de texto. Se suas páginas são extraídas do banco de dados toda vez, isso esgota a CPU. Armazenar suas páginas em cache como HTML estático (com ferramentas como Varnish, Nginx FastCGI Cache ou WP-Rocket) reduz a carga imposta pelo bot ao servidor em 90%. Quando o bot solicita uma página, o servidor envia o arquivo HTML diretamente da RAM em vez de executar PHP.

Lista de verificação técnica

  • [ ] Analise os logs do servidor para identificar os 5 principais User-Agents que mais fazem solicitações.
  • [ ] Adicione regras específicas para bots de IA ao arquivo robots.txt.
  • [ ] Ative regras de rate limiting via CDN (Cloudflare, Quic.cloud, etc.).
  • [ ] Restrinja o acesso de bots a páginas intensivas em banco de dados (resultados de busca, filtros).
  • [ ] Certifique-se de suportar o cabeçalho HTTP If-Modified-Since (permite que o bot extraia apenas o conteúdo alterado).
  • [ ] Compare os gráficos de uso de CPU do servidor com os horários de visita dos bots.

Exemplo de cenário: Recuperação de um site de e-commerce

Situação: Um site de e-commerce com 50.000 produtos caía todas as noites às 03:00 devido ao uso de CPU em 100%.
Análise: A inspeção dos logs revelou que o "CCBot" estava tentando rastrear todas as variações de produtos (combinações de cor, tamanho).
Solução:
1. O CCBot foi totalmente bloqueado via robots.txt.
2. Um limite de 2 solicitações por segundo foi definido para o GPTBot via Cloudflare.
3. Foi aplicado cache de página inteira (Full Page Caching) de 1 hora nas páginas de produtos.
Resultado: O uso da CPU caiu para 15% e o consumo de largura de banda economizou 400 GB por mês.

Erros comuns

  • Bloquear todos os bots: Bloquear o Googlebot por engano leva a um desastre de SEO.
  • Bloquear apenas por IP: Bots de IA podem usar milhares de IPs diferentes; o controle baseado em User-Agent é mais saudável.
  • Confiar no Crawl-delay: A maioria dos bots de IA modernos ignora essa regra; limites no lado do servidor são essenciais.

Perguntas frequentes

Bloquear bots de IA afeta o SEO do meu site?

Desde que você não bloqueie o Googlebot ou Bingbot tradicional, seu ranking de SEO clássico não será afetado. No entanto, se você deseja ser citado como fonte em mecanismos de busca baseados em IA, como Perplexity ou SearchGPT, deve permitir o acesso controlado a esses bots (como o OAI-SearchBot).

Qual bot de IA causa mais carga?

Geralmente, o Common Crawl (CCBot) e o GPTBot da OpenAI são os rastreadores mais agressivos. O CCBot pode visitar seu site com muita frequência, pois tenta criar uma cópia gigantesca da internet.

Uso hospedagem compartilhada, o que posso fazer?

Em hospedagens compartilhadas, você não pode intervir na configuração do servidor. Nesse caso, a melhor solução é adicionar uma camada de CDN gratuita, como o Cloudflare, na frente do seu site para filtrar os bots antes que eles cheguem ao servidor.

Escaneie seu site grátis