Google DeepMind ने इस हफ्ते DiffusionGemma जारी किया, एक experimental open model जो वह करता है जो अधिकांश language models नहीं करते: यह text को वैसे बनाता है जैसे एक image model एक तस्वीर बनाता है। जहां एक सामान्य autoregressive LLM बाएं से दाएं एक बार में एक token लिखता है, typewriter की तरह, वहां DiffusionGemma random placeholder tokens के एक block से शुरू करता है और पूरे block को एक साथ denoise करता है, हर forward pass में 256 तक tokens, कई निखारने वाले passes करते हुए जब तक text अभिसरित न हो। चूंकि पूरा block शुरू से मौजूद है, attention bi-directional है, हर token हर दूसरे पर ध्यान दे सकता है, और model बाद के tokens देखने के बाद पहले के token को संशोधित कर सकता है, एक तरह का चलता-फिरता self-correction जो बाएं-से-दाएं paradigm नहीं कर सकता। यह Gemma 4 परिवार पर बना 26 अरब-parameter Mixture of Experts है जो हर step में 3.8 अरब activate करता है, Gemini Diffusion से लाई गई diffusion research के साथ, Apache 2.0 के तहत जारी, weights Hugging Face पर, और quantized footprint जो 18GB में फिट है।
गति सुर्खी का आंकड़ा है और यह असली है: single-user generation में एक समकक्ष autoregressive model से लगभग 4x तेज, जिसे DeepMind एक NVIDIA H100 पर 1000+ tokens प्रति सेकंड और एक उपभोक्ता RTX 5090 पर 700+ मापता है। ईमानदार चेतावनी Google खुद कहता है, दबाई नहीं गई: DiffusionGemma की समग्र output quality standard Gemma 4 से कम है, और quality-महत्वपूर्ण काम के लिए सिफारिश है कि standard Gemma 4 का उपयोग करें। तो यह एक मुफ्त upgrade नहीं है। यह एक speed-के-बदले-quality सौदा है, एक ऐसे experiment के रूप में shipped जिसे आप सच में चला सकते हैं, और इसे पढ़ने का सही तरीका इसे Gemma 4 के प्रतिस्थापन के बजाय usable weights वाला एक research artifact मानना है।
जो हिस्सा एक builder का पूरा ध्यान योग्य है वह यह है कि यह तेज क्यों है, क्योंकि यह सामान्य नियम को उलट देता है। Autoregressive decoding memory bandwidth पर bottlenecked है: हर token के लिए पूरा model पढ़ना पड़ता है, तो आप इससे सीमित हैं कि weights कितनी तेजी से चलते हैं, इससे नहीं कि chip कितनी तेजी से compute करता है। एक 256-token block को समानांतर में बनाना उसे पलट देता है, bottleneck memory bandwidth से compute पर चला जाता है, उस उच्च arithmetic intensity का दोहन करते हुए जिसे आधुनिक accelerators इस्तेमाल करने को भूखे हैं। व्यावहारिक परिणाम प्रति-सहज है: DiffusionGemma local, कम-concurrency hardware पर जीतता है, यानी एक GPU पर एक user, और यह उच्च-QPS cloud serving के लिए नहीं बना जहां batching पहले से accelerators को व्यस्त रखता है। DeepMind यह भी नोट करता है कि Apple Silicon Macs जैसी memory-bandwidth-सीमित मशीनें वही लाभ शायद न देखें। यह Hugging Face Transformers, vLLM, MLX और NVIDIA NeMo पर चलता है, llama.cpp support आने वाला है।
जिस Gemma velocity arc को हम track कर रहे हैं, उसके लिए यह एक नया axis जोड़ता है। अब तक की कहानी वही model का छोटा और तेज-quantized होना थी, laptop-local फिर phone-local। DiffusionGemma एक अलग चाल है: एक छोटा Gemma नहीं, बल्कि एक अलग तरीके से उत्पन्न किया गया, पहली बार कि image और video generation को चलाने वाला diffusion paradigm एक usable open text model के रूप में आता है जिसे आप fine-tune और run कर सकते हैं। इसका स्वाभाविक घर उन कार्यों का समूह है जहां tokens बाद में आने वाले tokens पर निर्भर हैं, code infilling, संरचित या non-linear text, यहां तक कि DeepMind द्वारा दिखाया गया एक fine-tune का Sudoku हल करने वाला खिलौना मामला, जहां बाएं-से-दाएं बिल्कुल गलत आकार है। आज यह experimental और कम-quality है। पर एक generation paradigm जो decode bottleneck को memory से compute पर पलट देता है, वह उस तरह की चीज है जो तब और मायने रखती है जब local inference वह जगह बन जाती है जहां builders सच में चलाना चाहते हैं, और यही वह lane है जिसकी ओर यह सीधा निशाना साधता है।