Cloudflare是網際網路上規模最大的基礎設施供應商之一，如今正試圖改變網路運作方式的一項基本假設：AI系統可以自由抓取其賴以建立的內容。根據7月1日宣布的一項新政策，該公司將把AI公司推向一個簡單的選擇：為它們所消耗的內容付費，否則就失去存取權。這項政策的著力點在於Cloudflare坐落於全球極大比例網站之前的位置，使其得以設定各家出版商單靠自己一向難以強制執行的預設值。該公司所採用的說法是，網路過去那套「被抓取以換取被送來讀者」的交易，在AI時代已經瓦解；AI取走了內容，卻往往什麼都不回送。

這項政策的核心，是要求AI公司別再躲在通用型爬蟲背後。Cloudflare要求它們把用於傳統搜尋索引的機器人，與用於AI訓練及AI代理的機器人區分開來，如此一來，網站便能一邊對「在搜尋引擎上被找到」說好，一邊對「被當作訓練資料使用」說不、或是開出一個價碼。為了讓這項要求真正具有約束力，Cloudflare正在改變自己的預設值。從2026年9月15日起，其設定將預設封鎖所謂的混用爬蟲，也就是那些拒絕聲明自己服務於何種用途的爬蟲，使其無法存取任何刊登廣告的頁面。這項預設將適用於Cloudflare的新客戶、既有客戶新建立的網站，以及該公司所有既有的免費方案客戶，除非他們選擇將其關閉。

這項計畫的下半部關乎金錢，而非封鎖。Cloudflare原本就已提供一項名為Pay Per Crawl的功能，讓網站在AI機器人每次抓取頁面時向其收費。這項名為Pay Per Use的新舉措，試圖把付費與價值綁在一起，而非與單純的抓取綁在一起。它的用意不再是僅於頁面被下載時收費，而是在內容真正為AI公司做了某件有用的事時補償出版商，例如當內容出現在生成的答案中，或當它解鎖了付費牆後方的付費素材時。Cloudflare指名Ceramic.ai與You.com為早期合作夥伴，並且還收購了一家名為Human Native的內容授權市集，以協助促成這類交易。該公司援引自家數據指出，超過一半的AI爬蟲流量都花在重新抓取那些甚至未曾變動過的頁面上，它把這呈現為一種純粹的浪費，而一套更聰明、需付費的系統本可加以消除。

讓這件事不只是又一樁出版商抱怨的原因在於，Cloudflare是少數幾家有足夠影響力讓新預設真正站得住腳的參與者之一。由於它坐落在如此大一部分網路之前，對其開箱即用設定所做的一項變更，會悄悄地一次為大量網站改寫規則，而不必每個網站都獨自去打這場仗。執行長Matthew Prince以極為鮮明的措辭道出其中的理路，他表示，如今網際網路上的大多數流量都並非來自人類，公司必須走得更遠、行動得更快，好讓一個可持續的生態系得以浮現。換句話說，過去那套人類訪客或許會看到一則廣告或一個訂閱提示的模式，正被那些讀完頁面便逕自離去的機器掏空，而總得有人來重新設計這樁交易。

此舉並非沒有它自身的張力，而這些張力值得被點出。最明顯的一點是，它把大量權力集中在單一公司手中，因為當Cloudflare更改一項預設時，實際上就是在為一大塊網際網路制定政策，而並非每個人都會樂見一家私人基礎設施供應商扮演網路收費站的角色。此外也有實務上的疑問，因為衡量內容何時創造出價值，遠比計算頁面何時被抓取要困難得多，而大型AI公司可能會抗拒、繞過規則，或乾脆拒絕表明自己爬蟲的身分。這項政策的推出也並不均勻，它先落在免費客戶與新客戶身上，而非一次適用於所有人。但方向是明確的，而且事關重大，因為它把一樁模糊、懸而未決的怨言，也就是AI建立在他人的成果之上卻不為此付費，變成了一套有明確日期的具體機制。無論這套確切的系統最終是否勝出，Cloudflare都已讓「誰該為AI背後的內容付費」這個問題，變得再也難以繼續被忽視。