Google DeepMind lançou Gemma 4 12B hoje sob Apache 2.0, disponível no HuggingFace em google/gemma-4-12B-it e no Kaggle, com builds GGUF da Unsloth. O movimento arquitetural que vale pausar: remove por completo os codificadores separados de visão e áudio. Os patches de imagem brutos 48x48 pixels se projetam no espaço de embedding do LLM através de uma única multiplicação matricial, sem camada de atenção, cada patch processado independentemente. O áudio bruto 16 kHz é fatiado em frames de 40 ms (640 valores cada) e projetado linearmente no mesmo espaço de embedding que os tokens de texto, sem extração de features nem camadas conformer. O overhead do embedder de visão é 35M parâmetros, versus 550M nos modelos Gemma médios, e o overhead de áudio é essencialmente zero comparado ao codificador conformer 300M no E2B/E4B. Hardware alvo: 16 GB VRAM ou memória unificada, laptops GPU consumer e Macs Apple Silicon.
O espaço de pesos unificado é a consequência prática. Com VLMs encoder-based, você co-tunes um codificador de visão congelado com o LLM e tenta manter a camada de projeção fiel, o que restringe até onde LoRA ou o fine-tuning completo podem mover o comportamento multimodal. Gemma 4 12B atualiza visão, áudio e processamento de texto em uma única passagem; um conjunto de pesos, um objetivo de otimização. O modelo é denso decoder-only a 12B parâmetros (não MoE), com drafters Multi-Token Prediction integrados para latência, e Google reporta que o desempenho de 12B se aproxima da sua variante 26B MoE com menos da metade do footprint de memória. As tabelas completas de benchmark não estão nos materiais de lançamento, o que significa que o claim de equivalência 26B-MoE é vendor-published e precisa de reprodução independente na carga que iguala a sua. O vídeo é gerenciado alimentando frames junto ao áudio; o demo citado usou um segmento do Google I/O de 5 minutos processado como 313 frames a 1 FPS com um orçamento de 70 tokens visuais por frame.
Dois fios de ecossistema. Primeiro, a direção encoder-free é a inversão arquitetural de para onde o trabalho multimodal LLM tem se direcionado por dois anos. LLaVA, Qwen-VL, o trabalho open Gemini-destilado, os adaptadores de visão Llama: todos aparafusam um codificador de visão congelado (geralmente uma variante SigLIP ou CLIP) em um LLM através de um MLP de projeção, com o codificador mantido congelado durante o treinamento multimodal e a projeção aprendida. Gemma 4 12B diz: pule o codificador, projete o sinal bruto diretamente. Isso te dá um modelo menor, um gradiente unificado através de todas as modalidades, e liberdade da armadilha de co-tuning de codificador. O custo é que você perde os priors de representação hard-won do codificador, que Google aposta você pode re-aprender mais barato dentro do LLM. Se essa aposta sobrevive em escala importa para todos os que designam stacks multimodais open. Segundo, o alvo 16 GB é a mesma direção que Mellum2 ontem com seu framing focal-model 2,5B-ativo, apenas do lado foundation-model. Multimodal open-weights em escala laptop commodity (com llama.cpp, MLX, vLLM, Ollama, SGLang, Unsloth, LM Studio, LiteRT-LM e Transformers todos confirmados no lançamento) torna o path de inferência local real para builders que não podiam pagar tarifas frontier por imagem e áudio.
Segunda-feira pela manhã, se você está fazendo deploy de IA multimodal em apps ou em dispositivos: pull o GGUF e rode sua própria avaliação em sua carga real antes de ler o claim de equivalência 26B. O design encoder-free é interessante em teoria, mas muda como o fine-tuning se comporta, então adapte sua avaliação em conformidade. Se você treina do zero ou faz serious adapter work em um stack visão-linguagem, o paper de arquitetura (quando aterrissar) é leitura obrigatória; a abordagem projection-only é uma aposta real e os pesos abertos deixam você estudar como compõe. Se você roda em Apple Silicon ou uma GPU consumer 16 GB, isto é agora um candidato para o slot local-multimodal que antes você tinha que deixar vazio ou preencher com um modelo pequeno dedicado por modalidade. E como sempre com equivalências de benchmark vendor-published, a equivalência é uma hipótese até você rodar seu próprio harness.