Google DeepMind ने आज Gemma 4 के लिए Quantization-Aware Training चेकपॉइंट्स जारी किए, मानक Q4_0 फॉर्मेट और एक नए मोबाइल-ऑप्टिमाइज़्ड फॉर्मेट दोनों में। ठोस मेमोरी संख्याएँ कहानी बताती हैं: E2B BF16 पर 9.6 GB से Q4_0 पर 3.2 GB से नए मोबाइल फॉर्मेट पर लगभग 1 GB तक गिरता है, केवल-टेक्स्ट वैरिएंट 1 GB से कम में फिट होता है। E4B 15 GB BF16 से 5 GB Q4_0 तक जाता है (रिलीज़ पर मोबाइल फॉर्मेट साइज़ डिस्क्लोज़ नहीं)। QAT चेकपॉइंट्स के साथ पांच साइज़ ship: E2B, E4B, 12B, 26B A4B (active-4B Mixture-of-Experts वैरिएंट), और 31B। Q4_0 QAT लाइन llama.cpp, Ollama, LM Studio, vLLM, और MLX के साथ out of the gate काम करती है; मोबाइल फॉर्मेट LiteRT-LM और Transformers.js को टार्गेट करता है। HuggingFace संग्रह google/gemma-4-qat-q4-0 और google/gemma-4-qat-mobile पर रहते हैं।
मोबाइल फॉर्मेट वह जगह है जहाँ इंजीनियरिंग सब्सटैंस है, और यह blanket low-bit quantization नहीं है। Google का विवरण: token जनरेशन लेयर्स पर लक्षित 2-bit संपीड़न, रीज़निंग लेयर्स को अधिक प्रिसिज़न पर रखा गया। स्टैटिक एक्टिवेशन स्केलिंग कारक प्रशिक्षण के दौरान पूर्व-गणना किए जाते हैं ताकि मॉडल डिवाइस पर एक्टिवेशन-स्केलिंग ओवरहेड न दे, और channel-wise quantization विशेष रूप से चुनी गई है क्योंकि यह मोबाइल-एक्सेलेरेटर हार्डवेयर डिज़ाइन पर साफ़ मैप करती है। यह यूनिफॉर्म Q3 या Q2 quantization (जो पहले रीज़निंग क्वालिटी को collapse करती है) से substantially अलग विकल्प है। क्या यह दांव बचता है यह वर्कलोड-विशिष्ट मूल्यांकन पर निर्भर करता है, और Google ने इस रिलीज़ पर Gemma 4 QAT बेंचमार्क संख्याएँ प्रकाशित नहीं की हैं। उद्धृत ऐतिहासिक संदर्भ Gemma 3 QAT है जो PTQ बनाम Q4_0 perplexity drop को 54 प्रतिशत काटता है, जो Gemma 4 साक्ष्य के बजाय मिसाल है। नोट करने योग्य: QAT दिए गए फॉर्मेट पर साइज़ नहीं बदलता। यह उस साइज़ पर क्वालिटी सुधारता है। 9.6 GB से 1 GB से कम तक का ऑर्डर-ऑफ-मैग्निट्यूड मेमोरी ड्रॉप फॉर्मेट से आता है, ट्रेनिंग मेथड से नहीं।
रुकने योग्य दो इकोसिस्टम थ्रेड्स। पहला, यह चार दिनों में तीसरी Gemma 4 रिलीज़ है, और एक अनुक्रम के रूप में पढ़ी जाने पर वेग आपको कुछ बताता है। Google ने 3 जून को बेस 12B encoder-free मल्टीमॉडल मॉडल ship किया, 5 जून की सुबह नेटिव MTP drafter सपोर्ट और 2.2x डिकोडिंग क्लेम के साथ LiteRT-LM, और 5 जून की शाम QAT मोबाइल फॉर्मेट। यह "मॉडल, एक्सेलेरेटर, डेप्लॉयर" बहत्तर घंटे से कम में है, डेप्लॉयर move सबसे छोटे वैरिएंट को मिड-रेंज Android फ़ोन के मेमोरी envelope के अंदर डालता है। laptop-local frontier दो दिन पहले एक वास्तविक कहानी थी; आज की घोषणा इसे text generation के लिए phone-local frontier तक quietly विस्तारित करती है, और यह deployment सतह की एक अलग श्रेणी है। ऐप्स जिन्हें पहले किसी भी सार्थक जनरेशन के लिए क्लाउड राउंड-ट्रिप की आवश्यकता थी अब in-process विकल्प है। दूसरा, targeted-precision पैटर्न वह हिस्सा है जो साथ ले जाने योग्य है भले ही आप Gemma 4 कभी भी डिप्लॉय न करें। अधिकांश quantization कार्य यूनिफॉर्म रहा है, और लागत हमेशा यह रही है कि reasoning-heavy बेंचमार्क generation-token बेंचमार्क की तुलना में तेज़ी से डीग्रेड होते हैं। रीज़निंग लेयर्स को अधिक प्रिसिज़न पर रखते हुए token जनरेशन लेयर्स को 2-bit तक निचोड़ना एक शल्य चिकित्सा move है जो विषम क्वालिटी लागत का सम्मान करता है। समान deployment महत्वाकांक्षाओं वाले अन्य open-weights परिवार समान विभाजन लागू कर सकते हैं।
सोमवार सुबह, अगर आप क्लाउड राउंड-ट्रिप के बिना मोबाइल ऐप्स में LLM फीचर्स ship करना चाहते थे: 1 GB से कम E2B वैरिएंट अब एक यथार्थवादी उम्मीदवार है, इसे अपने वास्तविक वर्कलोड पर चलाएँ, फिर इस पर एक आर्किटेक्चर निर्णय पर दांव लगाएँ, और इस बात पर ध्यान दें कि क्या आपका कार्य reasoning-heavy है (जहाँ 2-bit जनरेशन लेयर्स अभी भी सही उत्तर लैंड करने के लिए पूर्ण-प्रिसिज़न रीज़निंग पर निर्भर करती हैं) या पतले रीज़निंग के साथ generation-heavy है (जहाँ फॉर्मेट अच्छी तरह काम करेगा)। यदि आप llama.cpp, MLX, या Ollama के माध्यम से एक लैपटॉप पर Gemma 4 चला रहे हैं, क्वालिटी संरक्षण क्लेम्स को देखते हुए Q4_0 QAT चेकपॉइंट पर स्विच करना no-regret अपग्रेड है; प्रतिबद्ध होने से पहले अपने बेंचमार्क पर सत्यापित करें। यदि आप अपने स्वयं के open-weights मॉडल quantize करते हैं, targeted-precision-by-layer-role पैटर्न अध्ययन करने योग्य इंजीनियरिंग सबक है, यह धारणा कि आपको हर चीज़ को समान बिट चौड़ाई पर quantize करना चाहिए, अब सक्रिय रूप से चुनौती दी जा रही है। और हमेशा की तरह वेंडर-प्रकाशित क्वालिटी क्लेम्स और कोई मॉडल-विशिष्ट बेंचमार्क के साथ, बोझ स्वतंत्र मूल्यांकन पर है; llama.cpp और मोबाइल-डिप्लॉयमेंट समुदाय अगले एक या दो सप्ताह में तुलनात्मक संख्याएँ उत्पन्न करेंगे और यही महत्वपूर्ण सत्यापन है।