Cloudflare工程师透露，AI机器人流量现在每周产生超过100亿次请求——大约占其总流量的三分之一——其模式从根本上打破了传统缓存假设。与人类浏览不同，AI爬虫保持70-100%的唯一URL访问比率，访问很少被访问的页面和多样化的内容类型，无法有效利用缓存内容。这创造了研究人员所说的"缓存流失"，其中AI流量将频繁请求的人类内容从边缘缓存中挤出。

这个问题的规模远远超出了CDN。Aerospike的Amy Lee指出，AI流量破坏了"直到数据库级别"的缓存架构，而系统工程师Erika S报告说"LRU在AI负载下失效使德国托管变得不可预测"。问题源于检索增强生成等AI服务创建迭代循环，持续访问唯一内容，违反了使缓存工作的局部性原则。

Cloudflare和ETH Zurich提出了AI感知缓存策略，包括为机器人流量设置单独的缓存层、考虑AI访问模式的自适应算法，以及pay-per-crawl定价模型。但这些解决方案感觉像是在更深层的架构问题上贴创可贴——我们整个网络基础设施都是围绕可预测的人类行为模式设计的，而AI从根本上不遵循这些模式。

对于运行AI应用程序的开发者，这意味着你们的RAG系统和爬虫可能在它们接触的每一层基础设施上都创建了昂贵的缓存未命中。考虑实施请求去重、批处理策略和协调的爬虫调度。当前的轨迹表明我们需要完全重新思考缓存架构，而不仅仅是在边缘进行优化。