NVIDIA ने आज Cosmos 3 जारी किया: फिजिकल AI के लिए एक ओपन फाउंडेशन मॉडल जो नेटिव रूप से जॉइंट एंगल्स और ग्रिपर पोजीशन आउटपुट करता है, जिसका मतलब है कि पॉलिसी ट्रेनिंग अब वीडियो प्रेडिक्शन को एक्शन में बदलने के लिए अलग हेड से नहीं गुजरती। आर्किटेक्चर एक दो-टावर Mixture-of-Transformers (MoT) है, एक विज़न-लैंग्वेज रीज़नर जो मोशन, ऑब्जेक्ट इंटरैक्शन और फिजिकल कॉन्टेक्स्ट को समझता है, और एक जनरेटर जो डिफ्यूज़न के माध्यम से भविष्य के ऑब्ज़र्वेशन और एक्शन सीक्वेंस बनाता है। आज दो साइज़ जारी होते हैं: Cosmos 3 Nano (16B पैरामीटर्स, RTX PRO 6000-क्लास वर्कस्टेशन) और Cosmos 3 Super (64B, Hopper/Blackwell डेटासेंटर)। Edge वैरिएंट आ रहा है। वज़न HuggingFace पर OpenMDW 1.1 के तहत हैं, Linux Foundation का परमिसिव लाइसेंस, ट्रेन, मॉडिफाई, रीडिस्ट्रिब्यूट।
MoT का जो डिटेल रुकने लायक है: जानकारी रीज़नर से जनरेटर तक एकतरफ़ा बहती है। रीज़नर एक ऑटोरिग्रेसिव VLM है जिसे स्वतंत्र रूप से कॉल किया जा सकता है; जनरेटर दोनों टावरों को सक्रिय करता है। यह पूरी तरह से जॉइंट सिंगल-सिस्टम आर्किटेक्चर नहीं है, यह रीज़नर-फिर-जनरेटर है जहाँ रीज़नर अकेला खड़ा होता है। एक्शन हेड नेटिव है: न्यूमेरिकल एक्शन डेटा (जॉइंट एंगल्स, ग्रिपर पोजीशन) टेक्स्ट, इमेज, वीडियो और एम्बिएंट साउंड आउटपुट के साथ रहता है। NVIDIA रिपोर्ट करता है कि Cosmos 3 ओपन वेट्स में VANTAGE-Bench (32B और 8B टियर्स), PAI-Bench, R-Bench, Physics-IQ और RoboLab में अग्रणी है। GR00T N1 या Gemini Robotics के खिलाफ़ कोई न्यूमेरिकल तुलना लॉन्च मटीरियल में नहीं दिखती, और हर लीडरबोर्ड की कंटैमिनेशन स्टोरी प्रकट नहीं की गई है। क्वांटाइज़ेशन ऑप्शन्स (BF16, FP8, NVFP4) और पोस्ट-ट्रेनिंग के लिए छह ओपन सिंथेटिक डेटा जनरेशन डेटासेट साथ में जारी होते हैं। टेक्निकल रिपोर्ट research.nvidia.com/labs/cosmos-lab/cosmos3 पर रहती है।
Cosmos Coalition इकोसिस्टम सिग्नल है: Agile Robots, Black Forest Labs, Generalist, LTX, Runway और Skild AI को-बिल्डर्स के रूप में पंक्तिबद्ध हैं। यह तंबू ह्यूमनॉइड हार्डवेयर (Agile, Skild) से मीडिया जनरेशन (BFL, Runway, LTX) होते हुए फाउंडेशन-मॉडल लेयर (Generalist) तक फैला है। NVIDIA का दांव है कि वही MoT सब्सट्रेट दोनों दुनिया को सर्व करता है, रोबोट पॉलिसियों के लिए सिंथेटिक डेटा और मीडिया के लिए हाई-फिडेलिटी वीडियो जनरेशन। रोबोटिक पर्सेप्शन पर फाउंडेशन-मॉडल ओवरले के संदेहास्पद बिल्डर्स के लिए, वे लोग जो predictive coding, SLAM और ROS2 विज़न स्टैक जैसे प्रिमिटिव्स से बनाते हैं, एकतरफ़ा MoT वास्तव में आपके कैंप के मार्केटिंग के सुझाव से ज़्यादा क़रीब है। "सीन इंटरप्रेट करना" और "अगला स्टेट जनरेट करना" को अलग करना सही डिकंपोज़िशन है; रीज़नर के स्वतंत्र रूप से कॉल किए जाने का मतलब है कि आप इसे पर्सेप्शन हेड के रूप में इस्तेमाल कर सकते हैं और अपना खुद का कंट्रोलर ला सकते हैं। OpenMDW 1.1 इसे कानूनी रूप से साफ़ बनाता है।
सोमवार सुबह, अगर आप रोबोट पॉलिसियाँ ट्रेन करते हैं: Cosmos 3 Super अब सिंथेटिक डेटा जनरेशन के लिए आपकी सबसे मज़बूत ओपन बेसलाइन है, प्योर वीडियो प्रेडिक्शन मॉडल्स से आगे क्योंकि एक्शन हेड नेटिव है। अगर आप एज या वर्कस्टेशन पर इन्फरेंस डिप्लॉय करते हैं, Cosmos 3 Nano (16B) प्रैक्टिकल टार्गेट है, Edge का इंतज़ार करें या ध्यान रखें। अगर आप प्रिमिटिव्स से बनाते हैं और फाउंडेशन-मॉडल ओवरले नहीं चाहते, रीज़नर परमिसिव लाइसेंस के तहत अकेला कॉल किया जा सकता है, इसे पर्सेप्शन बेसलाइन के रूप में ट्रीट करें, ब्लैक बॉक्स नहीं। और लीडरबोर्ड क्लेम्स पर अपना इन्फ्रा बेट लगाने से पहले, अपने वर्कलोड जैसे लोड पर अपना खुद का harness चलाएँ: जिन बेंचमार्क्स में NVIDIA यहाँ अग्रणी है, वे भी वे बेंचमार्क्स हैं जिन्हें NVIDIA ने परिभाषित करने में मदद की।