Google DeepMind 今天在 Apache 2.0 下發布了 Gemma 4 12B,在 HuggingFace 上可用於 google/gemma-4-12B-it 和 Kaggle,Unsloth 提供 GGUF 建構。值得停下來思考的架構 move:它完全剝離了獨立的視覺和音訊編碼器。原始的 48x48 像素圖像 patches 通過單次矩陣乘法投影到 LLM 的嵌入空間,沒有注意力層,每個 patch 獨立處理。原始 16 kHz 音訊被切片為 40 ms 影格(每影格 640 個值),線性投影到與文字 token 相同的嵌入空間,沒有特徵提取也沒有 conformer 層。視覺嵌入器開銷為 35M 參數,而中型 Gemma 模型為 550M,音訊開銷與 E2B/E4B 中的 300M conformer 編碼器相比基本為零。目標硬體:16 GB VRAM 或統一記憶體,消費級 GPU 筆電和 Apple Silicon Mac。
統一權重空間是實際的結果。使用基於編碼器的 VLM,你將凍結的視覺編碼器與 LLM 協同微調,並試圖保持投影層的忠實性,這限制了 LoRA 或完全微調可以將多模態行為移動多遠。Gemma 4 12B 在單次傳遞中更新視覺、音訊和文字處理;一組權重,一個最佳化目標。該模型在 12B 參數下是密集 decoder-only(不是 MoE),內建 Multi-Token Prediction drafters 以降低延遲,Google 報告 12B 效能接近其 26B MoE 變體,記憶體佔用不到一半。完整的基準表不在發布材料中,這意味著 26B-MoE 等價聲明是廠商發布的,需要在與你工作負載匹配的工作負載上進行獨立複現。影片通過將影格與音訊一起輸入來處理;引用的展示使用了一個 5 分鐘的 Google I/O 片段,以 1 FPS 處理為 313 影格,每影格 70 個視覺 token 預算。
兩個生態線索。首先,encoder-free 方向是多模態 LLM 工作兩年來一直走向的架構反轉。LLaVA、Qwen-VL、Gemini-distilled 開源工作、Llama 視覺適配器:所有這些都通過投影 MLP 將凍結的視覺編碼器(通常是 SigLIP 或 CLIP 變體)螺接到 LLM 上,編碼器在多模態訓練期間保持凍結,投影是學習的。Gemma 4 12B 說:跳過編碼器,直接投影原始訊號。這給你一個更小的模型,一個跨所有模態的統一梯度,以及擺脫編碼器協同微調陷阱的自由。代價是你失去了編碼器的來之不易的表示先驗,Google 押注你可以在 LLM 內更便宜地重新學習。這個押注是否在規模上存活,對所有設計開放多模態 stack 的人都很重要。其次,16 GB 目標與 Mellum2 昨天用其 2.5B-啟用 focal-model 框架走的方向相同,只是從基礎模型一側。商用筆電規模的開放權重多模態(在發布時確認了 llama.cpp、MLX、vLLM、Ollama、SGLang、Unsloth、LM Studio、LiteRT-LM 和 Transformers)使本地推論路徑對那些無法支付前沿費率以處理圖像和音訊的 builders 來說成為現實。
週一早上,如果你在應用程式或裝置上 ship 多模態 AI:拉取 GGUF 並在你的實際工作負載上執行你自己的評估,然後再閱讀 26B 等價聲明。encoder-free 設計在理論上很有趣,但它改變了微調的行為方式,因此相應地調整你的評估。如果你從頭開始訓練或在視覺語言 stack 上做認真的適配器工作,架構論文(當它落地時)是必讀;projection-only 方法是一個真正的押注,開放權重讓你學習它如何組合。如果你在 Apple Silicon 或 16 GB 消費級 GPU 上執行,這現在是你以前必須留空或用每種模態的小型專用模型填充的本地多模態槽位的候選者。和廠商發布的基準等價一樣,等價是假設,直到你執行你自己的 harness。