Google Gemma 4 12B: multimodal sin codificadores, laptop 16 GB, Apache 2.0

Google DeepMind lanzó Gemma 4 12B hoy bajo Apache 2.0, disponible en HuggingFace en google/gemma-4-12B-it y en Kaggle, con builds GGUF de Unsloth. El movimiento arquitectural que vale pausar: elimina por completo los codificadores de visión y audio separados. Los parches de imagen brutos 48x48 píxeles se proyectan en el espacio de embedding del LLM mediante una sola multiplicación matricial, sin capa de atención, cada parche procesado independientemente. El audio bruto 16 kHz se corta en frames de 40 ms (640 valores cada uno) y se proyecta linealmente en el mismo espacio de embedding que los tokens de texto, sin extracción de features ni capas conformer. El overhead del embedder de visión es 35M parámetros, versus 550M en modelos Gemma medianos, y el overhead de audio es esencialmente cero comparado con el codificador conformer 300M en E2B/E4B. Hardware objetivo: 16 GB VRAM o memoria unificada, laptops GPU consumer y Macs Apple Silicon.

El espacio de pesos unificado es la consecuencia práctica. Con VLMs encoder-based, co-tunes un codificador de visión congelado con el LLM e intentas mantener la capa de proyección fiel, lo cual restringe hasta dónde LoRA o el fine-tuning completo pueden mover el comportamiento multimodal. Gemma 4 12B actualiza visión, audio y procesamiento de texto en una sola pasada; un conjunto de pesos, un objetivo de optimización. El modelo es denso decoder-only a 12B parámetros (no MoE), con drafters Multi-Token Prediction integrados para latencia, y Google reporta que el rendimiento de 12B se acerca al de su variante 26B MoE con menos de la mitad del footprint de memoria. Las tablas completas de benchmark no están en los materiales de lanzamiento, lo que significa que el claim de equivalencia 26B-MoE es vendor-published y necesita reproducción independiente en la carga que iguala la tuya. El video se maneja alimentando frames junto al audio; el demo citado usó un segmento de Google I/O de 5 minutos procesado como 313 frames a 1 FPS con un presupuesto de 70 tokens visuales por frame.

Dos hilos de ecosistema. Primero, la dirección encoder-free es la inversión arquitectural de hacia dónde el trabajo multimodal LLM se ha estado dirigiendo por dos años. LLaVA, Qwen-VL, el trabajo open Gemini-destilado, los adaptadores de visión Llama: todos atornillan un codificador de visión congelado (usualmente una variante SigLIP o CLIP) en un LLM a través de un MLP de proyección, con el codificador mantenido congelado durante el entrenamiento multimodal y la proyección aprendida. Gemma 4 12B dice: salta el codificador, proyecta la señal cruda directamente. Eso te da un modelo más pequeño, un gradiente unificado a través de todas las modalidades, y libertad de la trampa de co-tuning de codificador. El costo es que pierdes los priors de representación hard-won del codificador, que Google apuesta puedes re-aprender más barato dentro del LLM. Si esa apuesta sobrevive a escala importa para todos los que diseñan stacks multimodales open. Segundo, el objetivo 16 GB es la misma dirección que Mellum2 ayer con su framing focal-model 2,5B-activo, solo desde el lado foundation-model. Multimodal open-weights a escala laptop commodity (con llama.cpp, MLX, vLLM, Ollama, SGLang, Unsloth, LM Studio, LiteRT-LM y Transformers todos confirmados en el lanzamiento) hace real el path de inferencia local para builders que no podían pagar tarifas frontier por imagen y audio.

Lunes por la mañana, si despliegas IA multimodal en apps o en dispositivos: pull el GGUF y corre tu propia evaluación en tu carga real antes de leer el claim de equivalencia 26B. El diseño encoder-free es interesante en teoría, pero cambia cómo se comporta el fine-tuning, así que adapta tu evaluación en consecuencia. Si entrenas desde cero o haces serious adapter work en un stack visión-lenguaje, el paper de arquitectura (cuando aterrice) es lectura obligatoria; el enfoque projection-only es una apuesta real y los pesos abiertos te dejan estudiar cómo compone. Si corres en Apple Silicon o una GPU consumer 16 GB, esto es ahora un candidato para el slot local-multimodal que antes tenías que dejar vacío o llenar con un modelo pequeño dedicado por modalidad. Y como siempre con equivalencias de benchmark vendor-published, la equivalencia es una hipótesis hasta que corras tu propio harness.