A Zyphra lançou o Zamba2-VL, uma família de vision-language models abertos em três tamanhos, 1,2B, 2,7B e 7B parâmetros, sob Apache 2.0 com pesos, código e um paper todos públicos. Do lado da percepção é convencional: um encoder vision-transformer Qwen2.5-VL pré-treinado transforma patches de imagem em features, um adaptador MLP de duas camadas os projeta no espaço do modelo de linguagem, e o modelo de linguagem processa os tokens vision e texto intercalados com grounding de uma e múltiplas imagens. A parte não-convencional é o backbone de linguagem, e a afirmação da Zyphra a respeito é a manchete: é a primeira família de VLM aberta construída sobre um modelo híbrido state-space-mais-transformer totalmente aberto.

A arquitetura divide o trabalho de propósito. O backbone Zamba2 alterna camadas state-space Mamba2, que carregam o grosso da computação barato e escalam quase-linearmente com o comprimento da sequência, com blocos de atenção transformer compartilhados, cada um com seu próprio adaptador LoRA, que preservam o retrieval in-context que os modelos SSM-puros tendem a abrir mão. A razão pela qual importa é a latência em inputs longos, e a visão deixa os inputs longos rápido: uma única imagem de alta resolução pode adicionar da ordem de 3400 tokens visuais, então algumas imagens ou um documento multi-página passam o ponto onde o custo quadrático da atenção e seu KV cache crescente dominam o prefill. O Zamba2 mantém um estado recorrente de tamanho fixo em vez disso, e num prefill de 32k tokens a Zyphra reporta cerca de uma ordem de magnitude menos em time-to-first-token do que a baseline Transformer mais próxima. Os modelos foram treinados sobre 100 bilhões de tokens de dados vision-texto e texto com o tokenizer Mistral v0.1.

Os benchmarks contam uma história de dois lados, e a leitura honesta está no segundo lado. A 2,7B, o Zamba2-VL é forte onde o trabalho é percepção: marca 90,9 no DocVQA para compreensão de documentos e 82,5 no PixMoCount para contagem visual, este último bem acima das baselines Transformer de mesmo tamanho, com percepção geral competitiva. Está atrás onde o trabalho é conhecimento e raciocínio: 37,7 no MMMU e 51,0 no MathVista ficam atrás dos VLM Transformer de mesmo tamanho, e o OCR fica atrás também. Então o ganho de latência de uma ordem de magnitude não é grátis. Você troca raciocínio e qualidade de OCR por um primeiro token muito mais rápido em contexto visual longo, e os use cases que a Zyphra nomeia se alinham exatamente com essa forma: extração de documentos e formulários, contagem e inventário de varejo, PDFs multi-página, e assistentes on-device, onde o modelo 1,2B edge-tunado e o baixo time-to-first-token importam mais do que o raciocínio máximo.

Para o fio de diversidade de arquitetura que seguimos rastreando, a acumulação lenta de evidência de que a atenção não é o único jeito de construir um modelo capaz, este é um data point limpo e verificável: um VLM híbrido SSM-transformer aberto com uma vantagem de latência real e medida e um custo de qualidade honestamente limitado, código e pesos abertos. As ressalvas estão ditas claramente: precisa de uma GPU CUDA para os kernels otimizados, com caminhos CPU lentos; não há API gerenciada, então você self-hosta; e chega como um artefato de pesquisa, não um serviço de produção. Mas a forma é o ponto. À medida que os inputs multimodais continuam ficando mais longos, mais páginas, imagens de maior resolução, mais frames de vídeo, o custo quadrático da atenção no prefill é exatamente onde um backbone state-space quase-linear se paga, e o Zamba2-VL é a primeira família aberta que deixa os builders medirem esse tradeoff sobre seus próprios workloads visuais de longo contexto em vez de tomá-lo na fé.