Google DeepMind lanzó DiffusionGemma esta semana, un modelo abierto experimental que hace algo que la mayoría de los modelos de lenguaje no hacen: genera texto como un modelo de imagen genera una imagen. Donde un LLM autorregresivo normal escribe un token a la vez, de izquierda a derecha, como una máquina de escribir, DiffusionGemma parte de un bloque de tokens placeholder aleatorios y desruidea el bloque entero de una vez, hasta 256 tokens por forward pass, haciendo varias pasadas de refinamiento hasta que el texto converge. Como el bloque entero está presente desde el inicio, la atención es bi-direccional, cada token puede atender a cada otro, y el modelo puede revisar un token anterior después de ver unos posteriores, una especie de autocorrección continua que el paradigma izquierda-a-derecha no puede hacer. Es un Mixture of Experts de 26 mil millones de parámetros que activa 3.8 mil millones por paso, construido sobre la familia Gemma 4 con investigación de difusión traída de Gemini Diffusion, lanzado bajo Apache 2.0 con los pesos en Hugging Face y una huella cuantizada que cabe en 18GB.

La velocidad es el número estelar y es real: unas 4x más rápido que un modelo autorregresivo equivalente en generación single-user, que DeepMind cronometra en más de 1000 tokens por segundo en un solo NVIDIA H100 y más de 700 en un RTX 5090 de consumo. La salvedad honesta la enuncia Google mismo, no enterrada: la calidad de salida general de DiffusionGemma es menor que el Gemma 4 estándar, y para trabajo crítico en calidad la recomendación es usar el Gemma 4 estándar en su lugar. Así que no es un upgrade gratis. Es un intercambio velocidad-por-calidad, lanzado como un experimento que de verdad puedes correr, y la forma correcta de leerlo es como un artefacto de investigación con pesos usables en vez de un reemplazo de Gemma 4.

La parte que merece toda la atención de un builder es por qué es rápido, porque invierte la regla usual. La decodificación autorregresiva está limitada por el ancho de banda de memoria: cada token requiere leer el modelo entero, así que estás limitado por qué tan rápido se mueven los pesos, no por qué tan rápido computa el chip. Generar un bloque de 256 tokens en paralelo voltea eso, el bottleneck pasa del ancho de banda de memoria al cómputo, explotando la alta intensidad aritmética que los aceleradores modernos están hambrientos de usar. La consecuencia práctica es contraintuitiva: DiffusionGemma gana en hardware local de baja concurrencia, un solo usuario en una GPU, y no está construido para serving en la nube de alto QPS donde el batching ya mantiene ocupados a los aceleradores. DeepMind incluso nota que máquinas limitadas por ancho de banda de memoria como las Mac Apple Silicon podrían no ver la misma ganancia. Corre sobre Hugging Face Transformers, vLLM, MLX y NVIDIA NeMo, con soporte de llama.cpp en camino.

Para el arco de velocidad de Gemma que venimos siguiendo, esto agrega un nuevo eje. La historia hasta ahora era el mismo modelo haciéndose más pequeño y más rápido-cuantizado, local-laptop luego local-teléfono. DiffusionGemma es un movimiento distinto: no un Gemma más pequeño, uno generado de forma diferente, la primera vez que el paradigma de difusión que impulsa la generación de imágenes y video se lanza como un modelo de texto abierto usable que puedes afinar y correr. Su hogar natural es el conjunto de tareas donde los tokens dependen de tokens que vienen después, el code infilling, el texto estructurado o no-lineal, hasta el caso de juguete que DeepMind muestra de un fine-tune resolviendo un Sudoku, donde izquierda-a-derecha es exactamente la forma equivocada. Es experimental y de menor calidad hoy. Pero un paradigma de generación que voltea el bottleneck de decodificación de la memoria al cómputo es el tipo de cosa que importa más a medida que la inferencia local se vuelve el lugar donde los builders de verdad quieren correr, y esa es la pista hacia la que esto apunta directo.