Engenheiros da Cloudflare revelaram que tráfego de bots de IA agora gera mais de 10 bilhões de requisições por semana—aproximadamente um terço do tráfego total—com padrões que fundamentalmente quebram premissas tradicionais de cache. Diferente da navegação humana, crawlers de IA mantêm taxas de acesso a URL únicas de 70-100%, acessando páginas raramente visitadas e tipos de conteúdo diversos que não conseguem aproveitar conteúdo em cache efetivamente. Isso cria o que pesquisadores chamam de "cache churn", onde tráfego de IA desloca conteúdo humano frequentemente requisitado dos caches edge.
A escala deste problema se estende muito além de CDNs. Amy Lee da Aerospike notou que tráfego de IA quebra arquiteturas de cache "até o nível do banco de dados", enquanto a engenheira de sistemas Erika S reportou que "LRU falhando sob carga de IA torna hospedagem alemã imprevisível". O problema vem de serviços de IA como geração aumentada por recuperação criando loops iterativos que consistentemente acessam conteúdo único, violando princípios de localidade que fazem cache funcionar.
Cloudflare e ETH Zurich propõem estratégias de cache conscientes de IA incluindo camadas de cache separadas para tráfego de bots, algoritmos adaptativos que consideram padrões de acesso de IA, e modelos de preço pay-per-crawl. Mas essas soluções parecem band-aids em um problema arquitetural mais profundo—nossa infraestrutura web inteira foi projetada em torno de padrões de comportamento humano previsíveis que IA fundamentalmente não segue.
Para desenvolvedores rodando aplicações de IA, isso significa que seus sistemas RAG e crawlers provavelmente estão criando cache miss caros em cada camada de infraestrutura que tocam. Considerem implementar deduplicação de requisições, estratégias de batching, e cronogramas de crawling coordenados. A trajetória atual sugere que precisamos repensar arquiteturas de cache inteiramente, não apenas otimizar nas bordas.