डेटा सेंटर

यह क्यों मायने रखता है

गहन अध्ययन

एक एआई डेटा सेंटर केवल पारंपरिक सर्वर फार्म का बड़ा संस्करण नहीं होता। मूल प्रतिबंध गणना घनत्व से शक्ति घनत्व में बदल गया है। एक मानक उद्यम रैक 7–10 किलोवाट खर्च करता है; आठ NVIDIA H100 GPUs से भरा रैक 40–70 किलोवाट खर्च करता है, और अगली पीढ़ी के GB200 NVL72 रैक 120 किलोवाट से अधिक खर्च करते हैं। इसका मतलब है कि एक एआई डेटा सेंटर, जो एक पारंपरिक सुविधा के समान फर्श क्षेत्र के साथ होता है, 5–10 गुना बिजली क्षमता की आवश्यकता रख सकता है। इतनी बिजली के लिए व्यवस्था करना, जो अक्सर प्रति सुविधा 100+ मेगावाट होती है, अब मुख्य बाधा बन गया है, जिस कारण कंपनियां जैसे माइक्रोसॉफ्ट, अमेज़ॉन और गूगल परमाणु संयंत्रों के साथ समझौता कर रही हैं, छोटे मॉड्यूलर रिएक्टर के साथ अनुसंधान कर रही हैं, और अपने GPU क्लस्टर को फीड करने के लिए बंद कर दिए गए बिजली स्टेशनों को फिर से चालू कर रही हैं।

शीतलन की चुनौती

पारंपरिक हवा शीतलन आधुनिक एआई कार्यों के लिए असंभव है। जब आप 700 वाट प्रति GPU के हजारों GPUs को संकीर्ण जगह में भरते हैं, तो उत्पन्न गर्मी अत्यधिक होती है—एक अकेला H100 सर्वर एक स्पेस हीटर के पूर्ण शक्ति पर चलने के समान ताप भार उत्पन्न करता है। इसने उद्योग को अपने शीतलन के लिए तरल शीतलन की ओर अत्यधिक गति से धकेल दिया है। जहां शीतलक गर्म बोर्डों के माध्यम से प्रत्यक्ष चिप तक बहता है, वहां ग्राफिक्स प्रोसेसर पर स्थापित कर दिया जाता है, अब नए एआई सुविधाओं में मानक है। कुछ संचालक आगे बढ़ रहे हैं और पूर्ण डूबे शीतलन के साथ, पूरे सर्वरों को विद्युत द्वारक तरल में डूबा दिया जाता है। NVIDIA के GB200 प्रणालियां लगभग तरल शीतलन की आवश्यकता रखती हैं—कोई व्यावहारिक हवा शीतलन व्यवस्था नहीं है। यह परिवर्तन अस्तित्व में आए डेटा सेंटरों के लिए भारी अर्थ है: एक ऐसी सुविधा को जो हवा शीतलन के लिए डिज़ाइन की गई है, तरल शीतलन के समर्थन के लिए फिट करना अक्सर उठाए गए फर्श को हटाना, पाइपिंग बुनियादी ढांचा जोड़ना और बिल्डिंग की संरचनात्मक क्षमता को शीतलक भरे प्रणालियों के भार के लिए अपग्रेड करना आवश्यक होता है।

भवन के अंदर नेटवर्किंग

एक एआई डेटा सेंटर के अंदर नेटवर्क फैब्रिक में वास्तविक इंजीनियरिंग जटिलता रहती है। जब 10,000 GPUs ट्रेनिंग रन के दौरान ग्रेडिएंट अपडेट सिंक्रनाइज़ करते हैं, तो इंटरकॉनेक्ट अत्यधिक बैंडविड्थ के साथ न्यूनतम लैटेंसी और लगभग शून्य पैकेट खोने के साथ डेटा स्थानांतरण के लिए डिलीवर करना चाहिए। जो शुरू में उच्च प्रदर्शन गणना के लिए विकसित किया गया था, इन्फिनीबैंड एआई ट्रेनिंग क्लस्टरों में शासन करता है क्योंकि यह प्रति पोर्ट 400 Gb/s ऑफर करता है (800 Gb/s NDR उत्पादन में पहुंच रहा है) और RDMA जैसी विशेषताएं डेटा स्थानांतरण के लिए CPU के बिना पूरी तरह से बाईपास करता है। ईथरनेट भी अपने दम पर आ रहा है—अल्ट्रा ईथरनेट कॉन्सोर्टियम और NVIDIA के स्पेक्ट्रम-एक्स 800 GbE के साथ रोसी (RDMA ओवर कॉन्वर्

संबंधित अवधारणाएँ