Zyphra ने Zamba2-VL जारी किया, Apache 2.0 के तहत तीन आकारों में एक open vision-language model परिवार, 1.2B, 2.7B और 7B parameters, weights, code और एक paper सभी सार्वजनिक। perception पक्ष पर यह पारंपरिक है: एक pre-trained Qwen2.5-VL vision-transformer encoder image patches को features में बदलता है, एक two-layer MLP adapter उन्हें language model के space में project करता है, और language model interleaved vision और text tokens को single- और multi-image grounding के साथ process करता है। गैर-पारंपरिक हिस्सा language backbone है, और इसके बारे में Zyphra का दावा ही सुर्खी है: यह एक पूरी तरह open hybrid state-space-plus-transformer model पर बना पहला open VLM परिवार है।
architecture जानबूझकर काम बांटता है। Zamba2 backbone Mamba2 state-space परतों (जो सस्ते में अधिकांश computation उठाती हैं और sequence लंबाई के साथ near-linearly scale करती हैं) को shared transformer attention blocks (हर एक अपने LoRA adapter के साथ, जो वह in-context retrieval बनाए रखते हैं जिसे pure-SSM models अक्सर छोड़ देते हैं) के साथ alternate करता है। यह क्यों मायने रखता है, इसका कारण लंबे inputs पर latency है, और vision inputs को जल्दी लंबा कर देता है: एक ही high-resolution image लगभग 3400 vision tokens जोड़ सकती है, तो कुछ images या एक multi-page document उस बिंदु को पार कर जाते हैं जहां attention की quadratic लागत और उसका बढ़ता KV cache prefill पर हावी हो जाते हैं। Zamba2 इसके बजाय एक fixed-size recurrent state रखता है, और 32k-token prefill पर Zyphra रिपोर्ट करता है कि time-to-first-token निकटतम Transformer baseline से लगभग एक order of magnitude कम है। models को Mistral v0.1 tokenizer के साथ 100 अरब tokens के vision-text और text data पर train किया गया।
benchmarks एक दो-तरफा कहानी कहते हैं, और ईमानदार पाठ दूसरी तरफ है। 2.7B पर, Zamba2-VL वहां मजबूत है जहां काम perception है: document understanding के लिए DocVQA पर 90.9 और visual counting के लिए PixMoCount पर 82.5, बाद वाला समान-आकार Transformer baselines से कहीं ऊपर, प्रतिस्पर्धी general perception के साथ। यह वहां पीछे है जहां काम knowledge और reasoning है: MMMU पर 37.7 और MathVista पर 51.0 समान-आकार Transformer VLM से पीछे रहते हैं, और OCR भी पीछे है। तो एक order of magnitude का latency लाभ मुफ्त नहीं है। आप लंबे visual context पर बहुत तेज first-token के बदले कुछ reasoning और OCR गुणवत्ता देते हैं, और जो use cases Zyphra नामित करता है वे ठीक उसी आकार से मेल खाते हैं: document और form extraction, retail counting और inventory, multi-page PDFs, और on-device assistants, जहां edge-tuned 1.2B model और कम time-to-first-token अधिकतम reasoning से ज्यादा मायने रखते हैं।
जिस architecture-diversity धागे को हम track कर रहे हैं, यानी इस सबूत का धीमा संचय कि attention एक सक्षम model बनाने का एकमात्र तरीका नहीं है, उसके लिए यह एक साफ और जांच-योग्य data point है: एक open SSM-transformer hybrid VLM, एक असली, मापे गए latency लाभ और एक ईमानदारी-से-सीमित गुणवत्ता लागत के साथ, code और weights खुले। चेतावनियां साफ कही गई हैं: optimized kernels के लिए एक CUDA GPU चाहिए, CPU paths धीमे; कोई managed API नहीं, तो आप self-host करते हो; और यह एक research artifact के रूप में आता है, production service नहीं। पर आकार ही बात है। जैसे-जैसे multimodal inputs लंबे होते जाते हैं, अधिक pages, उच्च-resolution images, अधिक video frames, prefill पर attention की quadratic लागत ठीक वही जगह है जहां एक near-linear state-space backbone अपनी कीमत वसूलता है, और Zamba2-VL पहला open परिवार है जो builders को इस tradeoff को अपने खुद के long-context visual workloads पर मापने देता है, इसे भरोसे पर लेने के बजाय।