Google lanzó hoy soporte nativo de drafters Multi-Token Prediction en LiteRT-LM, el framework de inferencia de producción open-source en github.com/google-ai-edge/LiteRT-LM. El lanzamiento de Gemma 4 12B de ayer flageó los drafters MTP como la pieza de reducción de latencia baked-in en el modelo; el número concreto llegó esta mañana. El speedup de decodificación es 1,6x en Gemma 4 E2B y 2,2x en E4B, sin degradación de calidad reclamada. End-to-end, el runtime LiteRT-LM se reporta a 1,8x a 3,7x más rápido que llama.cpp, MLX, Cactus y ONNX en prefill más decodificación para variantes Gemma 4. Las APIs se expanden más allá de las superficies Kotlin y C++ existentes para agregar Swift y JavaScript, lo que pone el runtime en los paths iOS, web y Node.js sin ports separados.
El mecanismo es speculative decoding vía un drafter MTP ligero co-entrenado con el modelo Gemma 4 primario. El speculative decoding estándar ha existido en llama.cpp, vLLM y el ecosistema MLX por dos años, pero el bottleneck siempre ha sido el data interplay entre drafter y verifier: si el drafter corre en un hardware IP diferente del modelo primario, el round trip se come el speedup. El claim de engineering específico de LiteRT-LM es enforcement de memory locality, el drafter MTP ligero Y el modelo primario se ejecutan en el mismo hardware IP (e.g., el GPU), lo cual remueve el round trip cross-IP que limita las implementaciones especulativas naive. Esa es la parte que vale la pena pausar para builders considerando si el 2,2x es reproducible en su stack: depende de si tu framework de inferencia respeta el constraint de locality o no. Números de benchmarks propios de Google; la reproducción independiente en cargas que igualan las tuyas es el siguiente paso estándar antes de apostar tu infraestructura al número.
Dos hilos de ecosistema a trackear. Primero, MTP-as-acceleration es ahora una primitiva builder concreta en vez de una curiosidad de investigación. El modelo ship con el drafter baked-in (variantes Gemma 4 mid-sized), y el framework de inferencia respeta el contrato de locality, y el speedup se publica con comparaciones a los frameworks que los builders realmente usan. Ese es el stack completo que necesitas para que una feature de speculative decoding se vuelva defaults-on en vez de expert-only. Otras familias de modelos con drafters MTP (el trabajo MTP de DeepSeek, la investigación especulativa de Meta y otros) ahora tienen un patrón de implementación de referencia a seguir. Segundo, la cohorte de comparación importa estratégicamente. LiteRT-LM se posiciona contra llama.cpp (el default open-source de inferencia local), MLX (el default Apple Silicon), Cactus (el framework de inferencia móvil) y ONNX (el estándar de serialización cross-platform). Google está nombrando los incumbents y poniendo números concretos al lado, lo cual señala que LiteRT-LM está posicionado como un contender para el slot default-local-inference en vez de un prototipo de investigación.
Lunes por la mañana, si corres Gemma 4 localmente en llama.cpp, MLX u ONNX hoy: pull LiteRT-LM y benchmark en tu carga real antes de decidir cambiar. El 2,2x es el upper bound de Google; en hardware consumer el número real está más a menudo en el rango 1,7x a 2,2x, lo cual sigue siendo meaningful pero vale medirse en tu longitud de contexto y batch size. Si shipeas Gemma 4 en apps iOS o web, las nuevas APIs Swift y JavaScript cambian lo que es factible en esas superficies, trata como una evaluación fresca en vez de apoyarte en conclusiones de framework previas. Si construyes infraestructura de inferencia para cualquier familia de modelo MTP-equipped, el patrón de enforcement de locality es la lección de engineering que vale la pena llevar a otros runtimes; drafter y verifier co-localizados en el mismo hardware IP es la parte que hace al speculative decoding rápido en práctica en vez de solo en papel. Y como siempre con benchmarks vendor contra frameworks open, los números de comparación 1,8x a 3,7x son vendor-published; la reproducción independiente por las comunidades de llama.cpp y MLX es la validación que importa.