Google DeepMind 今天在 Apache 2.0 下发布了 Gemma 4 12B,在 HuggingFace 上可用于 google/gemma-4-12B-it 和 Kaggle,Unsloth 提供 GGUF 构建。值得停下来思考的架构 move:它完全剥离了独立的视觉和音频编码器。原始的 48x48 像素图像 patches 通过单次矩阵乘法投影到 LLM 的嵌入空间,没有注意力层,每个 patch 独立处理。原始 16 kHz 音频被切片为 40 ms 帧(每帧 640 个值),线性投影到与文本 token 相同的嵌入空间,没有特征提取也没有 conformer 层。视觉嵌入器开销为 35M 参数,而中型 Gemma 模型为 550M,音频开销与 E2B/E4B 中的 300M conformer 编码器相比基本为零。目标硬件:16 GB VRAM 或统一内存,消费级 GPU 笔记本和 Apple Silicon Mac。
统一权重空间是实际的结果。使用基于编码器的 VLM,你将冻结的视觉编码器与 LLM 协同微调,并试图保持投影层的忠实性,这限制了 LoRA 或完全微调可以将多模态行为移动多远。Gemma 4 12B 在单次传递中更新视觉、音频和文本处理;一组权重,一个优化目标。该模型在 12B 参数下是密集 decoder-only(不是 MoE),内置 Multi-Token Prediction drafters 以降低延迟,Google 报告 12B 性能接近其 26B MoE 变体,内存占用不到一半。完整的基准表不在发布材料中,这意味着 26B-MoE 等价声明是供应商发布的,需要在与你工作负载匹配的工作负载上进行独立复现。视频通过将帧与音频一起输入来处理;引用的演示使用了一个 5 分钟的 Google I/O 片段,以 1 FPS 处理为 313 帧,每帧 70 个视觉 token 预算。
两个生态线索。首先,encoder-free 方向是多模态 LLM 工作两年来一直走向的架构反转。LLaVA、Qwen-VL、Gemini-distilled 开源工作、Llama 视觉适配器:所有这些都通过投影 MLP 将冻结的视觉编码器(通常是 SigLIP 或 CLIP 变体)螺接到 LLM 上,编码器在多模态训练期间保持冻结,投影是学习的。Gemma 4 12B 说:跳过编码器,直接投影原始信号。这给你一个更小的模型,一个跨所有模态的统一梯度,以及摆脱编码器协同微调陷阱的自由。代价是你失去了编码器的来之不易的表示先验,Google 押注你可以在 LLM 内更便宜地重新学习。这个押注是否在规模上存活,对所有设计开放多模态 stack 的人都很重要。其次,16 GB 目标与 Mellum2 昨天用其 2.5B-激活 focal-model 框架走的方向相同,只是从基础模型一侧。商用笔记本规模的开放权重多模态(在发布时确认了 llama.cpp、MLX、vLLM、Ollama、SGLang、Unsloth、LM Studio、LiteRT-LM 和 Transformers)使本地推理路径对那些无法支付前沿费率以处理图像和音频的 builders 来说成为现实。
周一早上,如果你在应用程序或设备上 ship 多模态 AI:拉取 GGUF 并在你的实际工作负载上运行你自己的评估,然后再阅读 26B 等价声明。encoder-free 设计在理论上很有趣,但它改变了微调的行为方式,因此相应地调整你的评估。如果你从头开始训练或在视觉语言 stack 上做认真的适配器工作,架构论文(当它落地时)是必读;projection-only 方法是一个真正的押注,开放权重让你学习它如何组合。如果你在 Apple Silicon 或 16 GB 消费级 GPU 上运行,这现在是你以前必须留空或用每种模态的小型专用模型填充的本地多模态槽位的候选者。和供应商发布的基准等价一样,等价是假设,直到你运行你自己的 harness。