Zyphra 發布了 Zamba2-VL,一個 Apache 2.0 下的開放視覺-語言模型家族,三種尺寸:1.2B、2.7B 和 7B 參數,權重、代碼和論文全部公開。感知一側是常規的:一個預訓練的 Qwen2.5-VL 視覺-transformer 編碼器把圖像 patch 變成 features,一個兩層 MLP 適配器把它們投影到語言模型的空間,語言模型處理交錯的視覺與文本 token,帶單圖和多圖 grounding。非常規的部分是語言主幹,而 Zyphra 對它的主張就是標題:這是第一個建立在一個完全開放的 state-space-加-transformer 混合模型之上的開放 VLM 家族。
架構有意地分配工作。Zamba2 主幹交替使用 Mamba2 狀態空間層(便宜地承擔大部分計算、隨序列長度近線性擴展)與共享的 transformer 注意力塊(每個帶自己的 LoRA 適配器,保留純 SSM 模型往往放棄的上下文檢索)。這之所以重要,是因為長輸入上的延遲,而視覺讓輸入很快變長:單張高解析度圖像就可能增加約 3400 個視覺 token,所以幾張圖或一份多頁文檔就越過了注意力的二次方成本及其增長的 KV cache 主導 prefill 的那個點。Zamba2 代之以維持一個固定大小的循環狀態,而在 32k token 的 prefill 上,Zyphra 報告 time-to-first-token 比最接近的 Transformer 基線低約一個數量級。這些模型用 Mistral v0.1 tokenizer 在 1000 億 token 的視覺-文本與文本數據上訓練。
基準講了一個兩面的故事,而誠實的讀法在第二面。在 2.7B 上,Zamba2-VL 在感知為本職的地方很強:文檔理解 DocVQA 拿 90.9,視覺計數 PixMoCount 拿 82.5,後者遠高於同尺寸 Transformer 基線,通用感知有競爭力。在知識與推理為本職的地方它落後:MMMU 37.7、MathVista 51.0 落在同尺寸 Transformer VLM 之後,OCR 也落後。所以一個數量級的延遲收益不是免費的。你用一些推理和 OCR 質量去換長視覺上下文上快得多的首 token,而 Zyphra 點名的用例恰好對應這個形狀:文檔與表單提取、零售計數與庫存、多頁 PDF,以及端側助手,在那裡 edge-調優的 1.2B 模型和低 time-to-first-token 比最大推理更重要。
對於我們持續追蹤的架構多樣性這條線,即「注意力不是構建一個有能力模型的唯一方式」這一證據的緩慢累積,這是一個乾淨且可核查的數據點:一個開放的 SSM-transformer 混合 VLM,帶著真實、可測量的延遲優勢和一個被誠實界定的質量代價,代碼與權重開放。注意事項說得很直白:優化 kernel 需要一塊 CUDA GPU,CPU 路徑慢;沒有托管 API,所以你自託管;並以研究產物、而非生產服務的形式發布。但形狀才是重點。隨著多模態輸入繼續變長,更多頁、更高解析度的圖像、更多視頻幀,注意力在 prefill 上的二次方成本正是一個近線性狀態空間主幹掙到飯吃的地方,而 Zamba2-VL 是第一個讓 builders 在他們自己的長上下文視覺工作負載上測量這一取捨、而非憑信任接受的開放家族。