Cloudflare 是互联网上最大的基础设施提供商之一，如今它正试图改变一个关于网络运作方式的基本假设：即 AI 系统可以自由抓取它们赖以构建的内容。根据 7 月 1 日宣布的一项新政策，该公司将推动 AI 公司面对一个简单的选择，要么为其消费的内容付费，要么失去对内容的访问权限。它的筹码在于 Cloudflare 处在全球极大一部分网站之前的位置，这让它能够设定那些出版商单靠自身难以强制执行的默认规则。该公司所采用的说法是，网络旧有的交易，即以被抓取来换取被送来读者，在 AI 时代已经崩溃，因为 AI 拿走了内容，却往往什么都不回送。
这项政策的核心是要求 AI 公司不要再躲在通用爬虫背后。Cloudflare 要求它们把用于传统搜索索引的机器人与用于 AI 训练和 AI 智能体的机器人分开，这样一个网站既可以继续对在搜索引擎上被找到说好，又可以对被当作训练数据使用说不，或者标出一个价码。为了让这项要求有牙齿，Cloudflare 正在改变它自己的默认设置。从 2026年9月15日 起，它的设置将默认拦截所谓的混用爬虫，即那些拒绝声明自己服务于哪种用途的爬虫，使其无法访问任何带有广告的页面。这一默认设置将适用于 Cloudflare 的新客户、现有客户创建的新站点，以及该公司所有现有的免费层级客户，除非他们选择将其关闭。
这项计划的另一半关乎金钱而非拦截。Cloudflare 已经提供了一项名为 Pay Per Crawl 的功能，让网站能够在 AI 机器人每次抓取页面时收费。而这项名为 Pay Per Use 的新举措，试图把付费与价值挂钩，而不是与单纯的抓取挂钩。它的目的不是仅在页面被下载时收费，而是在内容真正为 AI 公司做了有用的事情时补偿出版商，例如当内容出现在生成的答案中，或者当它解锁了付费墙背后的付费素材时。Cloudflare 点名 Ceramic.ai 和 You.com 为早期合作伙伴，它还收购了一个名为 Human Native 的内容授权市场，以帮助促成这些交易。该公司援引自己的数据指出，超过一半的 AI 爬虫流量都花在了重新抓取那些甚至根本没有变化的页面上，它把这呈现为纯粹的浪费，而一个更聪明、需付费的系统可以消除这种浪费。
让这件事不只是又一次出版商抱怨的原因在于，Cloudflare 是少数几家拥有足够筹码让新默认规则真正站稳脚跟的玩家之一。由于它处在网络如此之大一部分的前方，对其开箱即用设置的一处改动，就能悄无声息地一次性为大量站点改写规则，而无需每个站点各自孤军奋战。首席执行官 Matthew Prince 用严峻的措辞道出了其中的逻辑，他说既然互联网上的大多数流量已经不是人类产生的，公司就必须走得更远、行动得更快，才能让一个可持续的生态系统得以出现。换句话说，旧有的模式，即一个人类访客可能会看到一则广告或一个订阅提示，正在被那些读完页面便离开的机器所掏空，而必须有人来重新设计这场交换。
这一举动并非没有它自身的张力，而这些张力值得点明。最明显的一点是，它把大量权力集中到了一家公司手中，因为当 Cloudflare 改变一项默认设置时，它实际上是在为互联网的一大块制定政策，而并非人人都会对一家私营基础设施提供商充当网络的收费关卡感到自在。这里还有一些实际问题，因为衡量内容何时创造价值，远比计数页面何时被抓取要困难得多，而大型 AI 公司可能会抵制、绕开这些规则，或者干脆拒绝表明自己爬虫的身份。它的推行也并不均衡，最先落到免费客户和新客户身上，而不是同时落到所有人身上。但方向是清晰的，而且这很重要，因为它把一个模糊、悬而未决的怨气，即 AI 建立在他人的劳动之上却不为之付费，变成了一个附有具体日期的明确机制。无论这套具体系统是否胜出，Cloudflare 都已经让谁该为 AI 背后的内容付费这个问题，变得难以继续被忽视。