Zyphra 发布了 Zamba2-VL,一个 Apache 2.0 下的开放视觉-语言模型家族,三种尺寸:1.2B、2.7B 和 7B 参数,权重、代码和论文全部公开。感知一侧是常规的:一个预训练的 Qwen2.5-VL 视觉-transformer 编码器把图像 patch 变成 features,一个两层 MLP 适配器把它们投影到语言模型的空间,语言模型处理交错的视觉与文本 token,带单图和多图 grounding。非常规的部分是语言主干,而 Zyphra 对它的主张就是标题:这是第一个建立在一个完全开放的 state-space-加-transformer 混合模型之上的开放 VLM 家族。
架构有意地分配工作。Zamba2 主干交替使用 Mamba2 状态空间层(便宜地承担大部分计算、随序列长度近线性扩展)与共享的 transformer 注意力块(每个带自己的 LoRA 适配器,保留纯 SSM 模型往往放弃的上下文检索)。这之所以重要,是因为长输入上的延迟,而视觉让输入很快变长:单张高分辨率图像就可能增加约 3400 个视觉 token,所以几张图或一份多页文档就越过了注意力的二次方成本及其增长的 KV cache 主导 prefill 的那个点。Zamba2 代之以维持一个固定大小的循环状态,而在 32k token 的 prefill 上,Zyphra 报告 time-to-first-token 比最接近的 Transformer 基线低约一个数量级。这些模型用 Mistral v0.1 tokenizer 在 1000 亿 token 的视觉-文本与文本数据上训练。
基准讲了一个两面的故事,而诚实的读法在第二面。在 2.7B 上,Zamba2-VL 在感知为本职的地方很强:文档理解 DocVQA 拿 90.9,视觉计数 PixMoCount 拿 82.5,后者远高于同尺寸 Transformer 基线,通用感知有竞争力。在知识与推理为本职的地方它落后:MMMU 37.7、MathVista 51.0 落在同尺寸 Transformer VLM 之后,OCR 也落后。所以一个数量级的延迟收益不是免费的。你用一些推理和 OCR 质量去换长视觉上下文上快得多的首 token,而 Zyphra 点名的用例恰好对应这个形状:文档与表单提取、零售计数与库存、多页 PDF,以及端侧助手,在那里 edge-调优的 1.2B 模型和低 time-to-first-token 比最大推理更重要。
对于我们持续追踪的架构多样性这条线,即「注意力不是构建一个有能力模型的唯一方式」这一证据的缓慢累积,这是一个干净且可核查的数据点:一个开放的 SSM-transformer 混合 VLM,带着真实、可测量的延迟优势和一个被诚实界定的质量代价,代码与权重开放。注意事项说得很直白:优化 kernel 需要一块 CUDA GPU,CPU 路径慢;没有托管 API,所以你自托管;并以研究产物、而非生产服务的形式发布。但形状才是重点。随着多模态输入继续变长,更多页、更高分辨率的图像、更多视频帧,注意力在 prefill 上的二次方成本正是一个近线性状态空间主干挣到饭吃的地方,而 Zamba2-VL 是第一个让 builders 在他们自己的长上下文视觉工作负载上测量这一取舍、而非凭信任接受的开放家族。