Google DeepMind lançou hoje os checkpoints Quantization-Aware Training para Gemma 4, em formato Q4_0 padrão e em um novo formato otimizado para móvel. Os números de memória concretos contam a história: E2B cai de 9,6 GB em BF16 a 3,2 GB em Q4_0 a aproximadamente 1 GB no novo formato móvel, com a variante text-only cabendo sob 1 GB. E4B vai de 15 GB BF16 a 5 GB Q4_0 (tamanho formato móvel não divulgado no release). Cinco tamanhos shipam com checkpoints QAT: E2B, E4B, 12B, 26B A4B (a variante Mixture-of-Experts active-4B) e 31B. A linha Q4_0 QAT funciona out of the gate com llama.cpp, Ollama, LM Studio, vLLM e MLX; o formato móvel mira LiteRT-LM e Transformers.js. As coleções HuggingFace vivem em google/gemma-4-qat-q4-0 e google/gemma-4-qat-mobile.
O formato móvel é onde está a substância de engineering, e não é quantization low-bit uniforme. A descrição do Google: compressão 2-bit direcionada nas camadas de geração de tokens, com as camadas de raciocínio mantidas em precisão maior. Os fatores de scaling de ativação estática são pré-calculados durante o treinamento para que o modelo não pague o overhead de ativação-scaling no device, e a quantization channel-wise é escolhida especificamente porque mapeia limpamente para o design hardware mobile-accelerator. Essa é uma escolha substantivamente diferente que a quantization Q3 ou Q2 uniforme, que colapsa a qualidade de raciocínio primeiro. Se a aposta sobrevive depende da avaliação específica da carga, e o Google não publicou números de benchmark Gemma 4 QAT neste release. A referência histórica citada é Gemma 3 QAT cortando o drop de perplexity Q4_0 em 54 por cento versus PTQ, o que é precedente em vez de evidência Gemma 4. Vale notar: QAT não muda o tamanho em um formato dado. Melhora a qualidade nesse tamanho. O drop de ordem de magnitude de memória de 9,6 GB a sob 1 GB vem do formato, não do método de treinamento.
Dois fios de ecossistema que valem pausar. Primeiro, este é o terceiro release Gemma 4 em quatro dias, e lido como uma sequência a velocidade te diz algo. O Google shipou o modelo base 12B encoder-free multimodal em 3 de junho, LiteRT-LM com suporte nativo de drafters MTP e o claim de decodificação 2,2x na manhã de 5 de junho, e o formato móvel QAT na noite de 5 de junho. Isso é "modelo, acelerador, despliegador" em menos de setenta e duas horas, com o movimento despliegador colocando a variante menor dentro do envelope de memória de um telefone Android mid-range. A frontier laptop-local era uma história real há dois dias; o anúncio de hoje a estende quietly à frontier phone-local para geração de texto, e essa é uma categoria diferente de superfície de deployment. As apps que previamente precisavam de um round-trip cloud para qualquer geração significativa agora têm uma opção in-process. Segundo, o padrão targeted-precision é a parte que vale a pena levar mesmo se você nunca implantar Gemma 4. A maioria do trabalho de quantization tem sido uniforme, e o custo sempre tem sido que os benchmarks reasoning-heavy degradam mais rápido que os benchmarks generation-token. Manter as camadas de raciocínio em precisão maior enquanto se espremem as camadas de geração de tokens a 2-bit é um movimento cirúrgico que respeita o custo assimétrico de qualidade. Outras famílias open-weights com ambições de deployment similares podem aplicar a mesma separação.
Segunda-feira pela manhã, se você tem querido shipar features LLM em apps móveis sem o round-trip cloud: a variante E2B sob 1 GB é agora um candidato realista, rode-a através de sua carga real antes de apostar uma decisão de arquitetura, e preste atenção se sua tarefa é reasoning-heavy (onde as camadas de geração 2-bit ainda dependem do raciocínio de precisão completa para landar a resposta correta) ou generation-heavy com raciocínio fino (onde o formato funcionará bem). Se você roda Gemma 4 em um laptop via llama.cpp, MLX ou Ollama, mudar para o checkpoint Q4_0 QAT é o upgrade no-regret dado os claims de preservação de qualidade; verifique em seu benchmark antes de se comprometer. Se você quantiza seus próprios modelos open-weights, o padrão targeted-precision-by-layer-role é a lição de engineering a estudar, a assunção de que você deveria quantizar tudo ao mesmo bit width está agora sendo ativamente contestada. E como sempre com claims de qualidade vendor-published e sem benchmarks model-específicos, o burden está na avaliação independente; as comunidades llama.cpp e mobile-deployment produzirão os números comparativos na próxima semana ou duas e essa é a validação que importa.