Google DeepMind lanzó hoy los checkpoints Quantization-Aware Training para Gemma 4, en formato Q4_0 estándar y en un nuevo formato optimizado para móvil. Los números de memoria concretos cuentan la historia: E2B baja de 9,6 GB en BF16 a 3,2 GB en Q4_0 a aproximadamente 1 GB en el nuevo formato móvil, con la variante text-only cabiendo bajo 1 GB. E4B va de 15 GB BF16 a 5 GB Q4_0 (tamaño formato móvil no divulgado al release). Cinco tamaños ship con checkpoints QAT: E2B, E4B, 12B, 26B A4B (la variante Mixture-of-Experts active-4B) y 31B. La línea Q4_0 QAT funciona out of the gate con llama.cpp, Ollama, LM Studio, vLLM y MLX; el formato móvil apunta a LiteRT-LM y Transformers.js. Las colecciones HuggingFace viven en google/gemma-4-qat-q4-0 y google/gemma-4-qat-mobile.
El formato móvil es donde está la sustancia de engineering, y no es quantization low-bit uniforme. La descripción de Google: compresión 2-bit dirigida en las capas de generación de tokens, con las capas de razonamiento mantenidas a precisión mayor. Los factores de scaling de activación estática se pre-calculan durante el entrenamiento para que el modelo no pague el overhead de activación-scaling en device, y la quantization channel-wise se elige específicamente porque mapea limpiamente al diseño hardware mobile-accelerator. Esa es una elección sustantivamente diferente que la quantization Q3 o Q2 uniforme, que colapsa la calidad de razonamiento primero. Si la apuesta sobrevive depende de la evaluación específica de la carga, y Google no ha publicado números de benchmark Gemma 4 QAT en este release. La referencia histórica citada es Gemma 3 QAT cortando el drop de perplexity Q4_0 por 54 por ciento versus PTQ, lo cual es precedente en vez de evidencia Gemma 4. Vale notar: QAT no cambia el tamaño a un formato dado. Mejora la calidad a ese tamaño. El drop de orden de magnitud de memoria de 9,6 GB a bajo 1 GB viene del formato, no del método de entrenamiento.
Dos hilos de ecosistema que valen pausar. Primero, este es el tercer release Gemma 4 en cuatro días, y leído como una secuencia la velocidad te dice algo. Google shipeó el modelo base 12B encoder-free multimodal el 3 de junio, LiteRT-LM con soporte nativo de drafters MTP y el claim de decodificación 2,2x la mañana del 5 de junio, y el formato móvil QAT la noche del 5 de junio. Eso es "modelo, acelerador, desplegador" en menos de setenta y dos horas, con el movimiento desplegador poniendo la variante más pequeña dentro del envelope de memoria de un teléfono Android mid-range. La frontier laptop-local era una historia real hace dos días; el anuncio de hoy lo extiende quietly a la frontier phone-local para generación de texto, y esa es una categoría diferente de superficie de deployment. Las apps que previamente necesitaban un round-trip cloud para cualquier generación significativa ahora tienen una opción in-process. Segundo, el patrón targeted-precision es la parte que vale la pena llevar incluso si nunca despliegas Gemma 4. La mayoría del trabajo de quantization ha sido uniforme, y el costo siempre ha sido que los benchmarks reasoning-heavy se degradan más rápido que los benchmarks generation-token. Mantener las capas de razonamiento a precisión mayor mientras se exprimen las capas de generación de tokens a 2-bit es un movimiento quirúrgico que respeta el costo asimétrico de calidad. Otras familias open-weights con ambiciones de deployment similares pueden aplicar la misma separación.
Lunes por la mañana, si has estado queriendo shipear features LLM en apps móviles sin el round-trip cloud: la variante E2B bajo 1 GB es ahora un candidato realista, córrela a través de tu carga real antes de apostar una decisión de arquitectura, y presta atención a si tu tarea es reasoning-heavy (donde las capas de generación 2-bit aún dependen del razonamiento de precisión completa para landear la respuesta correcta) o generation-heavy con razonamiento delgado (donde el formato funcionará bien). Si corres Gemma 4 en un laptop vía llama.cpp, MLX u Ollama, cambiar al checkpoint Q4_0 QAT es el upgrade no-regret dado los claims de preservación de calidad; verifica en tu benchmark antes de comprometerte. Si quantizas tus propios modelos open-weights, el patrón targeted-precision-by-layer-role es la lección de engineering a estudiar, la asunción de que deberías quantizar todo al mismo bit width está siendo ahora activamente contestada. Y como siempre con claims de calidad vendor-published y sin benchmarks model-específicos, el burden está en la evaluación independiente; las comunidades llama.cpp y mobile-deployment producirán los números comparativos en la próxima semana o dos y esa es la validación que importa.