Cloudflare, इंटरनेट के सबसे बड़े इंफ़्रास्ट्रक्चर प्रदाताओं में से एक, वेब के काम करने के तरीके की एक बुनियादी धारणा को बदलने की कोशिश कर रहा है, कि AI सिस्टम उस सामग्री को मुफ़्त में खींच सकते हैं जिस पर वे बने हैं। 1 जुलाई को घोषित एक नई नीति के तहत, कंपनी AI कंपनियों को एक सरल विकल्प की ओर धकेलेगी, या तो जो सामग्री वे उपभोग करते हैं उसके लिए भुगतान करें, या उस तक पहुँच खो दें। इसकी ताक़त Cloudflare की उस स्थिति में है जो वह दुनिया की वेबसाइटों के एक बहुत बड़े हिस्से के सामने रखती है, जिससे वह ऐसे डिफ़ॉल्ट तय कर सकती है जिन्हें अकेले लागू करने में व्यक्तिगत प्रकाशक जूझते रहे हैं। कंपनी जो ढांचा इस्तेमाल कर रही है वह यह है कि वेब का पुराना सौदा, पाठक भेजे जाने के बदले क्रॉल होना, AI के इस दौर में टूट गया है, जो सामग्री तो ले लेता है पर अक्सर बदले में कुछ नहीं भेजता।
इस नीति का केंद्र यह माँग है कि AI कंपनियाँ सामान्य उद्देश्य वाले क्रॉलरों के पीछे छिपना बंद करें। Cloudflare उनसे माँग कर रहा है कि वे पारंपरिक खोज अनुक्रमण के लिए इस्तेमाल किए जाने वाले बॉट्स को AI प्रशिक्षण और AI एजेंटों के लिए इस्तेमाल किए जाने वाले बॉट्स से अलग करें, ताकि कोई वेबसाइट किसी खोज इंजन पर खोजे जाने के लिए हाँ कहती रहे, जबकि प्रशिक्षण डेटा के रूप में इस्तेमाल होने पर ना कह सके या कोई क़ीमत बता सके। इस माँग को दम देने के लिए, Cloudflare अपने डिफ़ॉल्ट बदल रहा है। 15 सितंबर 2026 से, इसकी सेटिंग्स डिफ़ॉल्ट रूप से तथाकथित मिश्रित उपयोग वाले क्रॉलरों को रोक देंगी, वे जो यह बताने से इनकार करते हैं कि वे किस उद्देश्य से काम करते हैं, विज्ञापन दिखाने वाले किसी भी पेज से। यह डिफ़ॉल्ट नए Cloudflare ग्राहकों पर, मौजूदा ग्राहकों द्वारा बनाई गई नई साइटों पर, और कंपनी के सभी मौजूदा फ़्री टियर ग्राहकों पर लागू होगा, जब तक वे इसे बंद करने का चुनाव न करें।
योजना का दूसरा हिस्सा रोकने के बजाय पैसे के बारे में है। Cloudflare पहले से ही Pay Per Crawl नामक एक सुविधा दे रहा था, जो किसी वेबसाइट को हर बार जब AI बॉट्स कोई पेज खींचते तब उनसे शुल्क वसूलने देती थी। नया क़दम, जिसे Pay Per Use कहा जाता है, भुगतान को केवल कच्चे खींचने के बजाय मूल्य से जोड़ने की कोशिश करता है। केवल तब शुल्क वसूलने के बजाय जब कोई पेज डाउनलोड होता है, इसका मक़सद किसी प्रकाशक को तब मुआवज़ा देना है जब उनकी सामग्री वास्तव में AI कंपनी के लिए कुछ उपयोगी करती है, उदाहरण के लिए जब वह किसी उत्पन्न उत्तर में दिखाई देती है या जब वह किसी पेवॉल के पीछे की प्रीमियम सामग्री खोलती है। Cloudflare ने Ceramic.ai और You.com को शुरुआती साझेदारों के रूप में नामित किया, और इन सौदों को कराने में मदद के लिए उसने Human Native नामक एक सामग्री लाइसेंसिंग बाज़ार भी ख़रीद लिया है। कंपनी अपने ही आंकड़ों की ओर इशारा करती है कि AI क्रॉलर ट्रैफ़िक का आधे से अधिक हिस्सा ऐसे पेजों को दोबारा खींचने में ख़र्च होता है जो बदले तक नहीं हैं, जिसे वह शुद्ध बर्बादी बताती है जिसे एक ज़्यादा समझदार, भुगतान वाला सिस्टम ख़त्म कर सकता है।
जो बात इसे किसी और प्रकाशक शिकायत से ऊपर उठाती है वह यह है कि Cloudflare उन गिने चुने खिलाड़ियों में से एक है जिसके पास किसी नए डिफ़ॉल्ट को वास्तव में टिकाए रखने की ताक़त है। चूँकि यह वेब के इतने बड़े हिस्से के सामने बैठा है, इसकी डिफ़ॉल्ट सेटिंग्स में एक बदलाव चुपचाप एक साथ बड़ी संख्या में साइटों के नियम फिर से लिख देता है, बिना उनमें से हर एक को अकेले यह लड़ाई लड़ने की ज़रूरत के। मुख्य कार्यकारी Matthew Prince ने अपनी दलील को साफ़ शब्दों में रखा और कहा कि अब जबकि इंटरनेट पर अधिकांश ट्रैफ़िक गैर मानवीय है, कंपनी को और आगे जाना होगा और और तेज़ी से काम करना होगा ताकि एक टिकाऊ पारिस्थितिकी तंत्र उभर सके। दूसरे शब्दों में, वह पुराना मॉडल जहाँ कोई मानव आगंतुक कोई विज्ञापन या सदस्यता का संकेत देख सकता था, ऐसी मशीनों द्वारा खोखला किया जा रहा है जो पेज पढ़ती हैं और आगे बढ़ जाती हैं, और किसी को इस लेन देन को फिर से गढ़ना होगा।
यह क़दम अपने ही तनावों से रहित नहीं है, और उन्हें नाम देना ज़रूरी है। सबसे स्पष्ट यह है कि यह बहुत सारी ताक़त एक ही कंपनी में केंद्रित कर देता है, क्योंकि जब Cloudflare कोई डिफ़ॉल्ट बदलता है, तो वह असल में इंटरनेट के एक हिस्से के लिए नीति बना रहा होता है, और हर कोई किसी निजी इंफ़्रास्ट्रक्चर प्रदाता को वेब के शुल्क घर के रूप में काम करते देख सहज नहीं होगा। व्यावहारिक सवाल भी हैं, क्योंकि यह मापना कि सामग्री कब मूल्य बनाती है, यह गिनने से कहीं कठिन है कि कोई पेज कब खींचा जाता है, और बड़ी AI कंपनियाँ विरोध कर सकती हैं, नियमों के इर्द गिर्द रास्ता निकाल सकती हैं, या बस अपने क्रॉलरों की पहचान बताने से इनकार कर सकती हैं। यह असमान रूप से भी लागू होता है, पहले सबके बजाय फ़्री और नए ग्राहकों पर उतरता है। पर दिशा साफ़ है और यह मायने रखती है, क्योंकि यह एक धुँधली, अनसुलझी शिकायत को, कि AI दूसरों के काम पर उसके लिए भुगतान किए बिना बना है, एक तारीख़ के साथ एक ठोस तंत्र में बदल देती है। चाहे यही सटीक सिस्टम जीते या नहीं, Cloudflare ने इस सवाल को कि AI के पीछे की सामग्री का भुगतान कौन करता है, नज़रअंदाज़ करते रहना कहीं अधिक कठिन बना दिया है।