O Google DeepMind lançou o DiffusionGemma esta semana, um modelo aberto experimental que faz algo que a maioria dos modelos de linguagem não faz: gera texto do jeito que um modelo de imagem gera uma imagem. Onde um LLM autorregressivo normal escreve um token por vez, da esquerda para a direita, como uma máquina de escrever, o DiffusionGemma parte de um bloco de tokens placeholder aleatórios e desruidifica o bloco inteiro de uma vez, até 256 tokens por forward pass, fazendo várias passadas de refinamento até o texto convergir. Como o bloco inteiro está presente desde o início, a atenção é bi-direcional, cada token pode atender a cada outro, e o modelo pode revisar um token anterior depois de ver uns posteriores, uma espécie de autocorreção contínua que o paradigma esquerda-para-direita não consegue fazer. É um Mixture of Experts de 26 bilhões de parâmetros que ativa 3,8 bilhões por passo, construído sobre a família Gemma 4 com pesquisa de difusão trazida do Gemini Diffusion, lançado sob Apache 2.0 com os pesos no Hugging Face e uma pegada quantizada que cabe em 18GB.

A velocidade é o número de destaque e é real: cerca de 4x mais rápido que um modelo autorregressivo equivalente em geração single-user, que o DeepMind cronometra em mais de 1000 tokens por segundo num único NVIDIA H100 e mais de 700 num RTX 5090 de consumo. A ressalva honesta é dita pelo próprio Google, não enterrada: a qualidade de saída geral do DiffusionGemma é menor que o Gemma 4 padrão, e para trabalho crítico em qualidade a recomendação é usar o Gemma 4 padrão. Então não é um upgrade grátis. É uma troca velocidade-por-qualidade, lançada como um experimento que você realmente pode rodar, e a forma certa de lê-lo é como um artefato de pesquisa com pesos usáveis em vez de um substituto do Gemma 4.

A parte que merece toda a atenção de um builder é por que ele é rápido, porque inverte a regra usual. A decodificação autorregressiva é limitada pela largura de banda de memória: cada token requer ler o modelo inteiro, então você está limitado por quão rápido os pesos se movem, não por quão rápido o chip computa. Gerar um bloco de 256 tokens em paralelo vira isso, o bottleneck passa da largura de banda de memória para o compute, explorando a alta intensidade aritmética que os aceleradores modernos estão famintos para usar. A consequência prática é contraintuitiva: o DiffusionGemma ganha em hardware local de baixa concorrência, um único usuário numa GPU, e não é construído para serving na nuvem de alto QPS onde o batching já mantém os aceleradores ocupados. O DeepMind até nota que máquinas limitadas por largura de banda de memória como os Macs Apple Silicon podem não ver o mesmo ganho. Roda sobre Hugging Face Transformers, vLLM, MLX e NVIDIA NeMo, com suporte a llama.cpp a caminho.

Para o arco de velocidade do Gemma que vimos acompanhando, isso adiciona um novo eixo. A história até agora era o mesmo modelo ficando menor e mais rápido-quantizado, local-laptop depois local-telefone. O DiffusionGemma é um movimento diferente: não um Gemma menor, um gerado de forma diferente, a primeira vez que o paradigma de difusão que move a geração de imagens e vídeo é lançado como um modelo de texto aberto usável que você pode afinar e rodar. Sua casa natural é o conjunto de tarefas onde os tokens dependem de tokens que vêm depois, o code infilling, o texto estruturado ou não-linear, até o caso de brinquedo que o DeepMind mostra de um fine-tune resolvendo um Sudoku, onde esquerda-para-direita é exatamente a forma errada. É experimental e de menor qualidade hoje. Mas um paradigma de geração que vira o bottleneck de decodificação da memória para o compute é o tipo de coisa que importa mais à medida que a inferência local se torna o lugar onde os builders de fato querem rodar, e essa é a pista para a qual isto aponta direto.