Google DeepMind 今天发布了 Gemma 4 的 Quantization-Aware Training 检查点,在标准 Q4_0 格式和新的移动优化格式中。具体的内存数字讲述了故事:E2B 从 BF16 的 9.6 GB 下降到 Q4_0 的 3.2 GB 再到新移动格式的大约 1 GB,纯文本变体放入 1 GB 以下。E4B 从 15 GB BF16 到 5 GB Q4_0(移动格式大小在发布时未披露)。五种尺寸 ship 带 QAT 检查点:E2B、E4B、12B、26B A4B(active-4B Mixture-of-Experts 变体)和 31B。Q4_0 QAT 线开箱即用支持 llama.cpp、Ollama、LM Studio、vLLM 和 MLX;移动格式针对 LiteRT-LM 和 Transformers.js。HuggingFace 集合位于 google/gemma-4-qat-q4-0 和 google/gemma-4-qat-mobile。
移动格式是工程实质所在,这不是统一的低位量化。Google 的描述:在 token 生成层上有针对性的 2-bit 压缩,推理层保持更高精度。静态激活缩放因子在训练期间预计算,以便模型不在设备上支付激活缩放的开销,channel-wise 量化是专门选择的,因为它干净地映射到移动加速器硬件设计。这是一个与统一 Q3 或 Q2 量化(首先崩溃推理质量)截然不同的选择。这个赌注是否存活取决于特定工作负载的评估,Google 在此发布中没有发布 Gemma 4 QAT 基准数字。引用的历史参考是 Gemma 3 QAT 将 Q4_0 困惑度下降减少了 54 个百分点对比 PTQ,这是先例而不是 Gemma 4 证据。值得注意:QAT 不会改变给定格式的大小。它在该大小下提高质量。从 9.6 GB 到 1 GB 以下的数量级内存下降来自格式,而不是训练方法。
两条值得停下来思考的生态线索。首先,这是四天内第三个 Gemma 4 发布,作为一个序列阅读,这种速度告诉你一些东西。Google 在 6 月 3 日发布了基础 12B encoder-free 多模态模型,6 月 5 日上午发布了带原生 MTP drafter 支持和 2.2x 解码声明的 LiteRT-LM,6 月 5 日晚上发布了 QAT 移动格式。这就是"模型、加速器、部署器"不到七十二小时,部署器移动将最小变体放入中端 Android 手机的内存范围内。两天前 laptop-local 前沿是一个真实的故事;今天的公告悄然将其扩展到文本生成的 phone-local 前沿,这是一个不同类别的部署表面。以前需要云往返才能进行任何有意义生成的应用现在有了进程内选项。其次,targeted-precision 模式是值得带走的部分,即使你从未部署 Gemma 4。大多数量化工作一直是统一的,代价一直是 reasoning-heavy 基准比 generation-token 基准下降更快。将推理层保持在更高精度,同时将 token 生成层挤压到 2-bit 是一个尊重不对称质量成本的手术性举措。其他具有类似部署野心的 open-weights 家族可以应用相同的分离。
周一早上,如果你一直想在移动应用程序中发布 LLM 功能而不需要云往返:1 GB 以下的 E2B 变体现在是一个现实的候选者,在你的实际工作负载上运行它,然后再押注架构决策,并注意你的任务是 reasoning-heavy(2-bit 生成层仍然依赖于全精度推理来落地正确答案)还是 generation-heavy 带瘦推理(格式将工作良好)。如果你通过 llama.cpp、MLX 或 Ollama 在笔记本电脑上运行 Gemma 4,在质量保留声明给定的情况下,切换到 Q4_0 QAT 检查点是无悔升级;在承诺之前在你的基准上验证。如果你量化自己的 open-weights 模型,targeted-precision-by-layer-role 模式是要研究的工程教训,你应该将所有内容量化到相同位宽的假设现在正在被积极挑战。和总是与供应商发布的质量声明和没有特定模型基准一样,负担在独立评估上;llama.cpp 和移动部署社区将在未来一两周内产生比较数字,这就是重要的验证。