Google DeepMind ने आज Apache 2.0 के तहत Gemma 4 12B जारी किया, HuggingFace पर google/gemma-4-12B-it और Kaggle पर उपलब्ध, Unsloth से GGUF builds के साथ। रुकने योग्य आर्किटेक्चरल move: यह अलग विज़न और ऑडियो एनकोडर्स को पूरी तरह से हटा देता है। 48x48 पिक्सेल raw इमेज patches एक मैट्रिक्स गुणन के माध्यम से LLM के embedding स्पेस में प्रोजेक्ट होते हैं, बिना अटेंशन लेयर के, प्रत्येक patch स्वतंत्र रूप से प्रोसेस किया जाता है। 16 kHz raw ऑडियो 40 ms फ्रेम्स (प्रत्येक 640 मान) में काटा जाता है और टेक्स्ट टोकन्स के समान embedding स्पेस में लीनियरली प्रोजेक्ट किया जाता है, बिना फीचर एक्सट्रैक्शन के और बिना conformer लेयर्स के। विज़न एम्बेडर ओवरहेड 35M पैरामीटर्स है, मीडियम Gemma मॉडल्स में 550M की तुलना में, और ऑडियो ओवरहेड E2B/E4B में 300M conformer एनकोडर की तुलना में अनिवार्य रूप से शून्य है। टार्गेट हार्डवेयर: 16 GB VRAM या यूनिफाइड मेमोरी, कंज्यूमर GPU लैपटॉप्स और Apple Silicon Macs।
यूनिफाइड वेट स्पेस व्यावहारिक परिणाम है। एनकोडर-आधारित VLMs के साथ, आप LLM के साथ एक फ्रोज़न विज़न एनकोडर को co-tune करते हैं और प्रोजेक्शन लेयर को विश्वसनीय रखने की कोशिश करते हैं, जो LoRA या पूर्ण फाइन-ट्यूनिंग को मल्टीमॉडल व्यवहार को कितनी दूर तक स्थानांतरित कर सकता है यह सीमित करता है। Gemma 4 12B विज़न, ऑडियो और टेक्स्ट प्रोसेसिंग को एक ही पास में अपडेट करता है; एक वेट्स का सेट, एक ऑप्टिमाइज़ेशन टार्गेट। मॉडल 12B पैरामीटर्स पर डेंस decoder-only है (MoE नहीं), लेटेंसी के लिए Multi-Token Prediction drafters बेक्ड इन के साथ, और Google रिपोर्ट करता है कि 12B परफॉर्मेंस उनके 26B MoE वैरिएंट के करीब है, मेमोरी फुटप्रिंट आधे से कम पर। पूर्ण बेंचमार्क तालिकाएँ लॉन्च मटीरियल्स में नहीं हैं, जिसका मतलब है कि 26B-MoE समानता क्लेम वेंडर-प्रकाशित है और आपकी वर्कलोड से मेल खाने वाली वर्कलोड पर स्वतंत्र रिप्रोडक्शन की आवश्यकता है। वीडियो को ऑडियो के साथ फ्रेम्स फीड करके हैंडल किया जाता है; उद्धृत डेमो ने 5-मिनट Google I/O सेगमेंट का उपयोग किया, 1 FPS पर 313 फ्रेम्स के रूप में प्रोसेस किया गया, प्रति फ्रेम 70 विज़ुअल टोकन बजट के साथ।
दो इकोसिस्टम थ्रेड्स। पहला, encoder-free दिशा वह आर्किटेक्चरल उलटा है जहाँ मल्टीमॉडल LLM कार्य दो वर्षों से जा रहा है। LLaVA, Qwen-VL, Gemini-distilled ओपन कार्य, Llama विज़न एडेप्टर्स: ये सभी एक फ्रोज़न विज़न एनकोडर (आमतौर पर SigLIP या CLIP वैरिएंट) को एक प्रोजेक्शन MLP के माध्यम से LLM पर बोल्ट करते हैं, एनकोडर को मल्टीमॉडल ट्रेनिंग के दौरान फ्रोज़न रखा जाता है और प्रोजेक्शन सीखा जाता है। Gemma 4 12B कहता है: एनकोडर छोड़ें, raw सिग्नल को सीधे प्रोजेक्ट करें। यह आपको एक छोटा मॉडल देता है, सभी मोडैलिटीज़ में एक यूनिफाइड ग्रेडिएंट, और एनकोडर-co-tuning ट्रैप से आज़ादी। लागत यह है कि आप एनकोडर के hard-won रिप्रेज़ेंटेशन प्रायर्स खो देते हैं, जिसे Google दांव लगा रहा है आप LLM के अंदर सस्ता दोबारा सीख सकते हैं। क्या वह दांव स्केल पर जीवित रहता है, ओपन मल्टीमॉडल stacks डिज़ाइन करने वाले सभी के लिए मायने रखता है। दूसरा, 16 GB टार्गेट कल Mellum2 के साथ उसी दिशा है, जो अपने 2.5B-सक्रिय focal-model फ्रेमिंग के साथ, बस फाउंडेशन-मॉडल साइड से। कमोडिटी-लैपटॉप पैमाने पर ओपन-वेट्स मल्टीमॉडल (llama.cpp, MLX, vLLM, Ollama, SGLang, Unsloth, LM Studio, LiteRT-LM और Transformers लॉन्च पर सभी पुष्ट के साथ) उन builders के लिए लोकल-इन्फरेंस पथ को वास्तविक बनाता है जो इमेज और ऑडियो के लिए फ्रंटियर दरें नहीं चुका सकते थे।
सोमवार सुबह, अगर आप ऐप्स या डिवाइसेज़ पर मल्टीमॉडल AI ship कर रहे हैं: GGUF खींचें और 26B समानता क्लेम पढ़ने से पहले अपनी वास्तविक वर्कलोड पर अपना मूल्यांकन चलाएँ। encoder-free डिज़ाइन सिद्धांत में दिलचस्प है, लेकिन यह बदलता है कि फाइन-ट्यूनिंग कैसा व्यवहार करती है, इसलिए तदनुसार अपना मूल्यांकन अनुकूलित करें। अगर आप शून्य से ट्रेन कर रहे हैं या विज़न-लैंग्वेज स्टैक पर गंभीर एडेप्टर कार्य कर रहे हैं, आर्किटेक्चर पेपर (जब यह लैंड हो) आवश्यक पढ़ना है; projection-only दृष्टिकोण एक वास्तविक दांव है और ओपन वेट्स आपको अध्ययन करने देते हैं कि यह कैसे रचना करता है। अगर आप Apple Silicon या 16 GB कंज्यूमर GPU पर चलते हैं, यह अब उस लोकल-मल्टीमॉडल स्लॉट के लिए एक उम्मीदवार है जिसे आपको पहले खाली छोड़ना पड़ता था या प्रत्येक मोडैलिटी के लिए छोटे समर्पित मॉडल से भरना पड़ता था। और जैसा कि वेंडर-प्रकाशित बेंचमार्क समानताओं के साथ हमेशा होता है, समानता एक परिकल्पना है जब तक आप अपना खुद का harness नहीं चलाते।