Google DeepMind a sorti Gemma 4 12B aujourd'hui sous Apache 2.0, disponible sur HuggingFace à google/gemma-4-12B-it et sur Kaggle, avec des builds GGUF de Unsloth. Le move architectural qui vaut la pause : il retire entièrement les encodeurs vision et audio séparés. Les patches d'images bruts 48x48 pixels se projettent dans l'espace d'embedding du LLM via une seule multiplication matricielle, sans couche d'attention, chaque patch traité indépendamment. L'audio brut 16 kHz est tranché en frames de 40 ms (640 valeurs chacune) et projeté linéairement dans le même espace d'embedding que les tokens texte, sans extraction de features ni couches conformer. L'overhead de l'embedder vision est 35M paramètres, versus 550M dans les modèles Gemma medium, et l'overhead audio est essentiellement zéro comparé à l'encodeur conformer 300M dans E2B/E4B. Hardware cible : 16 GB VRAM ou mémoire unifiée, laptops GPU consumer et Apple Silicon Macs.

L'espace de poids unifié est la conséquence pratique. Avec les VLMs encoder-based, tu co-tunes un encodeur vision gelé avec le LLM et essaies de garder la couche de projection fidèle, ce qui contraint jusqu'où LoRA ou le fine-tuning complet peuvent bouger le comportement multimodal. Gemma 4 12B update vision, audio et processing texte en un seul pass ; un ensemble de poids, une cible d'optimisation. Le modèle est dense decoder-only à 12B paramètres (pas MoE), avec des drafters Multi-Token Prediction intégrés pour la latence, et Google rapporte que la performance du 12B approche celle de leur variante 26B MoE à moins de la moitié du footprint mémoire. Les tables de benchmark complètes ne sont pas dans les matériaux de lancement, ce qui veut dire que le claim d'équivalence 26B-MoE est vendor-published et a besoin de reproduction indépendante sur la charge qui matche la tienne. La vidéo est gérée en feedant les frames aux côtés de l'audio ; le demo cité utilisait un segment Google I/O de 5 minutes traité en 313 frames à 1 FPS avec un budget de 70 tokens visuels par frame.

Deux fils d'écosystème. Premièrement, la direction encoder-free est l'inversion architecturale d'où le travail multimodal LLM se dirige depuis deux ans. LLaVA, Qwen-VL, le travail open Gemini-distillé, les adaptateurs vision Llama : tous bolt un encodeur vision gelé (habituellement une variante SigLIP ou CLIP) sur un LLM via un MLP de projection, avec l'encodeur gardé gelé pendant l'entraînement multimodal et la projection apprise. Gemma 4 12B dit : skip l'encodeur, project le signal brut directement. Ça te donne un plus petit modèle, un gradient unifié à travers toutes les modalités, et la liberté du piège du co-tuning d'encodeur. Le coût c'est que tu perds les priors de représentation hard-won de l'encodeur, que Google parie tu peux ré-apprendre moins cher à l'intérieur du LLM. Si ce pari survit à grande échelle matter pour tous ceux qui designent des stacks multimodaux open. Deuxièmement, la cible 16 GB est la même direction que Mellum2 hier avec son framing focal-model 2,5B-actif, juste du côté foundation-model. Multimodal open-weights à l'échelle laptop commodity (avec llama.cpp, MLX, vLLM, Ollama, SGLang, Unsloth, LM Studio, LiteRT-LM et Transformers tous confirmés au lancement) rend le path d'inférence locale réel pour les builders qui ne pouvaient pas payer les taux frontier pour image et audio.

Lundi matin, si tu deploys du multimodal AI dans des apps ou sur des devices : pull le GGUF et roule ta propre évaluation sur ta charge réelle avant de lire le claim d'équivalence 26B. Le design encoder-free est intéressant en théorie, mais ça change comment le fine-tuning se comporte, donc adapte ton évaluation en conséquence. Si tu entraînes from scratch ou fais du serious adapter work sur un stack vision-language, le paper d'architecture (quand il sort) est lecture obligatoire ; l'approche projection-only est un vrai pari et les poids ouverts te laissent étudier comment ça compose. Si tu roules sur Apple Silicon ou un GPU consumer 16 GB, c'est maintenant un candidat pour le slot local-multimodal que tu devais soit laisser vide soit remplir avec un petit modèle dédié par modalité. Et comme toujours avec les équivalences de benchmark vendor-published, l'équivalence est une hypothèse jusqu'à ce que tu roules ton propre harness.