Gemma 4 QAT : 2-bit en génération, pleine précision en raisonnement, E2B sous 1 Go

Google DeepMind a livré aujourd'hui les checkpoints Quantization-Aware Training pour Gemma 4, en format Q4_0 standard et en un nouveau format optimisé pour mobile. Les chiffres de mémoire concrets racontent l'histoire : E2B passe de 9,6 Go en BF16 à 3,2 Go en Q4_0 à environ 1 Go au nouveau format mobile, la variante text-only fittant sous 1 Go. E4B passe de 15 Go BF16 à 5 Go Q4_0 (la taille mobile format pas divulguée au release). Cinq tailles ship avec checkpoints QAT : E2B, E4B, 12B, 26B A4B (la variante Mixture-of-Experts active-4B) et 31B. La ligne Q4_0 QAT marche out of the gate avec llama.cpp, Ollama, LM Studio, vLLM et MLX ; le format mobile cible LiteRT-LM et Transformers.js. Les collections HuggingFace vivent à google/gemma-4-qat-q4-0 et google/gemma-4-qat-mobile.

Le format mobile c'est là où la substance engineering est, et ce n'est pas du low-bit quantization uniforme. La description de Google : compression 2-bit ciblée sur les couches de génération de tokens, avec les couches de raisonnement gardées à précision supérieure. Les facteurs de scaling d'activation statique sont pré-calculés pendant l'entraînement pour que le modèle ne paie pas l'overhead d'activation-scaling sur device, et la quantization channel-wise est choisie spécifiquement parce qu'elle mappe proprement sur le design hardware mobile-accelerator. C'est un choix substantiellement différent que la quantization Q3 ou Q2 uniforme, qui collapse la qualité de raisonnement en premier. Si le pari survit dépend de l'évaluation spécifique à la charge, et Google n'a pas publié les chiffres benchmark Gemma 4 QAT à ce release. La référence historique citée est Gemma 3 QAT coupant le drop de perplexity Q4_0 de 54 pourcent versus PTQ, ce qui est précédent plutôt qu'évidence Gemma 4. À noter : QAT ne change pas la taille à un format donné. Ça améliore la qualité à cette taille. Le drop d'ordre de magnitude de mémoire de 9,6 Go à sous 1 Go vient du format, pas de la méthode d'entraînement.

Deux fils d'écosystème qui valent la pause. Premièrement, c'est la troisième release Gemma 4 en quatre jours, et lue comme une séquence la vélocité te dit quelque chose. Google a shippé le modèle de base 12B encoder-free multimodal le 3 juin, LiteRT-LM avec support natif des drafters MTP et le claim de décodage 2,2x le matin du 5 juin, et le format mobile QAT le soir du 5 juin. C'est "modèle, accélérateur, déployeur" en moins de soixante-douze heures, avec le move déployeur qui met la plus petite variante dans l'enveloppe mémoire d'un téléphone Android mid-range. La frontier laptop-local était une vraie histoire il y a deux jours ; l'annonce d'aujourd'hui l'étend quietly à la frontier phone-local pour la génération texte, et c'est une catégorie différente de surface de deployment. Les apps qui avaient avant besoin d'un round-trip cloud pour n'importe quelle génération signifiante ont maintenant une option in-process. Deuxièmement, le pattern targeted-precision c'est la part qui vaut la peine d'être portée même si tu deploys jamais Gemma 4. La plupart du travail de quantization a été uniforme, et le coût a toujours été que les benchmarks reasoning-heavy dégradent plus vite que les benchmarks generation-token. Garder les couches de raisonnement à précision supérieure pendant qu'on squeeze les couches de génération de tokens à 2-bit, c'est un move chirurgical qui respecte le coût asymétrique de qualité. D'autres familles open-weights avec des ambitions de deployment similaires peuvent appliquer la même séparation.

Lundi matin, si tu voulais ship des features LLM dans des apps mobiles sans le round-trip cloud : la variante E2B sous 1 Go est maintenant un candidat réaliste, fais-la rouler sur ta charge réelle avant de parier une décision d'architecture dessus, et fais attention à si ta tâche est reasoning-heavy (où les couches de génération 2-bit dépendent encore du raisonnement pleine-précision pour lander la bonne réponse) ou generation-heavy avec raisonnement mince (où le format va bien marcher). Si tu roules Gemma 4 sur un laptop via llama.cpp, MLX ou Ollama, switcher au checkpoint Q4_0 QAT est l'upgrade no-regret vu les claims de préservation de qualité ; vérifie sur ton benchmark avant de t'engager. Si tu quantizes tes propres modèles open-weights, le pattern targeted-precision-by-layer-role est la leçon engineering à étudier, l'assumption que tu devrais quantizer tout au même bit width est maintenant activement contestée. Et comme toujours avec les claims de qualité vendor-published et pas de benchmarks model-spécifiques, le burden est sur l'évaluation indépendante ; les communautés llama.cpp et mobile-deployment vont produire les chiffres comparatifs dans la prochaine semaine ou deux et c'est la validation qui matter.