Google DeepMind 本週發布了 DiffusionGemma,一個實驗性開放模型,它做了大多數語言模型不做的事:它像圖像模型生成圖片那樣生成文本。普通的自迴歸 LLM 從左到右一次寫一個 token,像打字機;DiffusionGemma 則從一塊隨機佔位 token 出發,一次性對整塊去噪,每個 forward pass 多達 256 個 token,做多次精煉直到文本收斂。由於整塊從一開始就在場,注意力是雙向的,每個 token 都能關注其他每個,模型可以在看到後面的 token 之後修改前面的,這是一種從左到右範式做不到的運行中自我糾錯。它是一個建立在 Gemma 4 家族之上的 260 億參數專家混合模型,每步激活 38 億,帶有從 Gemini Diffusion 沿用的擴散研究,以 Apache 2.0 發布,權重在 Hugging Face,量化後佔用可裝入 18GB。
速度是頭條數字,而且是真的:在單用戶生成中比等效的自迴歸模型快約 4 倍,DeepMind 測得單張 NVIDIA H100 上每秒 1000+ token,消費級 RTX 5090 上 700+。誠實的注意事項由谷歌自己說出,沒有埋起來:DiffusionGemma 的整體輸出品質低於標準 Gemma 4,對品質關鍵的工作,建議改用標準 Gemma 4。所以這不是免費升級。它是一次速度換品質的交易,作為一個你真能跑起來的實驗發布,而讀它的正確方式是把它當作一個帶可用權重的研究產物,而非 Gemma 4 的替代品。
值得一個 builder 全部注意力的部分是它為什麼快,因為它顛覆了通常的規則。自迴歸解碼受記憶體頻寬瓶頸:每個 token 都要求讀取整個模型,所以你受限於權重移動多快,而不是晶片計算多快。並行生成一個 256-token 的塊把這點翻轉,瓶頸從記憶體頻寬移到算力,利用了現代加速器渴望使用的高算術強度。實際後果是反直覺的:DiffusionGemma 在本地、低並發的硬體上勝出,即一個用戶在一張 GPU 上,而它不是為高 QPS 雲端 serving 而造的,那裡批處理已經讓加速器忙起來了。DeepMind 甚至指出,像 Apple Silicon Mac 這樣受記憶體頻寬限制的機器可能看不到同樣的收益。它能跑在 Hugging Face Transformers、vLLM、MLX 和 NVIDIA NeMo 上,llama.cpp 支援即將到來。
對於我們一直追蹤的 Gemma 速度弧線,這增添了一個新軸。至今的故事是同一個模型變得更小、量化得更快,從筆電本地到手機本地。DiffusionGemma 是另一種動作:不是更小的 Gemma,而是以不同方式生成的 Gemma,這是驅動圖像和影片生成的擴散範式第一次作為一個你能微調、能運行的可用開放文本模型發布。它的天然歸宿是那一類 token 依賴於後面 token 的任務,程式碼填空、結構化或非線性文本,甚至 DeepMind 展示的一個微調模型解數獨的玩具案例,在那裡從左到右恰恰是錯誤的形狀。今天它是實驗性的、品質更低的。但一個把解碼瓶頸從記憶體翻轉到算力的生成範式,正是那種隨著本地推理成為 builder 真正想運行之處而愈發重要的東西,而這正是它直直瞄準的車道。