Google DeepMind 本周发布了 DiffusionGemma,一个实验性开放模型,它做了大多数语言模型不做的事:它像图像模型生成图片那样生成文本。普通的自回归 LLM 从左到右一次写一个 token,像打字机;DiffusionGemma 则从一块随机占位 token 出发,一次性对整块去噪,每个 forward pass 多达 256 个 token,做多次精炼直到文本收敛。由于整块从一开始就在场,注意力是双向的,每个 token 都能关注其他每个,模型可以在看到后面的 token 之后修改前面的,这是一种从左到右范式做不到的运行中自我纠错。它是一个建立在 Gemma 4 家族之上的 260 亿参数专家混合模型,每步激活 38 亿,带有从 Gemini Diffusion 沿用的扩散研究,以 Apache 2.0 发布,权重在 Hugging Face,量化后占用可装入 18GB。
速度是头条数字,而且是真的:在单用户生成中比等效的自回归模型快约 4 倍,DeepMind 测得单张 NVIDIA H100 上每秒 1000+ token,消费级 RTX 5090 上 700+。诚实的注意事项由谷歌自己说出,没有埋起来:DiffusionGemma 的整体输出质量低于标准 Gemma 4,对质量关键的工作,建议改用标准 Gemma 4。所以这不是免费升级。它是一次速度换质量的交易,作为一个你真能跑起来的实验发布,而读它的正确方式是把它当作一个带可用权重的研究产物,而非 Gemma 4 的替代品。
值得一个 builder 全部注意力的部分是它为什么快,因为它颠覆了通常的规则。自回归解码受内存带宽瓶颈:每个 token 都要求读取整个模型,所以你受限于权重移动多快,而不是芯片计算多快。并行生成一个 256-token 的块把这点翻转,瓶颈从内存带宽移到算力,利用了现代加速器渴望使用的高算术强度。实际后果是反直觉的:DiffusionGemma 在本地、低并发的硬件上胜出,即一个用户在一张 GPU 上,而它不是为高 QPS 云端 serving 而造的,那里批处理已经让加速器忙起来了。DeepMind 甚至指出,像 Apple Silicon Mac 这样受内存带宽限制的机器可能看不到同样的收益。它能跑在 Hugging Face Transformers、vLLM、MLX 和 NVIDIA NeMo 上,llama.cpp 支持即将到来。
对于我们一直追踪的 Gemma 速度弧线,这增添了一个新轴。至今的故事是同一个模型变得更小、量化得更快,从笔记本本地到手机本地。DiffusionGemma 是另一种动作:不是更小的 Gemma,而是以不同方式生成的 Gemma,这是驱动图像和视频生成的扩散范式第一次作为一个你能微调、能运行的可用开放文本模型发布。它的天然归宿是那一类 token 依赖于后面 token 的任务,代码填空、结构化或非线性文本,甚至 DeepMind 展示的一个微调模型解数独的玩具案例,在那里从左到右恰恰是错误的形状。今天它是实验性的、质量更低的。但一个把解码瓶颈从内存翻转到算力的生成范式,正是那种随着本地推理成为 builder 真正想运行之处而愈发重要的东西,而这正是它直直瞄准的车道。