Batching continuo
Por qué importa
El batching continuo es la razón principal por la que los servidores de inferencia modernos pueden atender a muchos usuarios con una sola GPU a un costo razonable. Benchmarks publicados por Anyscale en 2023 mostraron hasta 23 veces más rendimiento (throughput) que el batching estático, junto con menor latencia. Hoy lo usan todos los servidores de LLM serios: vLLM, Hugging Face TGI, SGLang, TensorRT-LLM de NVIDIA (que lo llama in-flight batching) y el servidor de llama.cpp.
Si llamas a una API de LLM alojada, es casi seguro que tu solicitud comparte un lote de GPU con las solicitudes de otras personas, token por token.
En profundidad
Las GPU son más eficientes cuando procesan muchas secuencias a la vez. Para un clasificador de imágenes, hacer batching es fácil: agrupas las solicitudes, las ejecutas juntas y devuelves todos los resultados. La generación de texto es más difícil, porque cada solicitud produce una cantidad distinta de tokens a lo largo de muchos pasos. Un usuario quiere diez tokens, otro quiere dos mil.
Con el batching ingenuo (estático), el servidor espera a reunir un lote y luego lo ejecuta hasta que termina la solicitud más larga. Las solicitudes cortas quedan ociosas en espacios ya terminados, y las que van llegando esperan afuera hasta que todo el lote termina. El batching continuo arregla esto tomando la decisión de planificación en cada paso de token: las secuencias terminadas salen de inmediato y las solicitudes en espera ocupan su lugar.
Cómo funciona
La idea se presentó como iteration-level scheduling en el artículo de Orca (OSDI 2022). El servidor mantiene un conjunto de secuencias activas. En cada paso:
- Ejecuta una pasada hacia adelante que produce el siguiente token para cada secuencia activa.
- Retira las secuencias que llegaron a un token de fin o a su límite de longitud.
- Admite solicitudes en espera en la capacidad liberada.
Como cada secuencia tiene su propia caché KV, secuencias en etapas completamente distintas (una en su token 5, otra en el 900) pueden compartir una misma pasada hacia adelante.
Prefill y decode
Una solicitud nueva primero debe procesar todo su prompt (prefill) antes de poder generar (decode). El prefill es pesado: un prompt de 20.000 tokens que se suma al lote puede frenar el siguiente token de todos los demás. Los servidores lo manejan con chunked prefill, que divide los prompts largos en partes procesadas a lo largo de varios pasos y mezcladas con las decodificaciones en curso. Los despliegues grandes a veces ponen el prefill y el decode en workers separados.
El límite de memoria
Cuántas secuencias caben en un lote depende menos del cómputo que de la memoria de la caché KV, que crece con cada token de cada secuencia activa. Por eso el batching continuo y PagedAttention llegaron juntos en vLLM. Asignar la caché en bloques pequeños bajo demanda, en lugar de reservar la longitud máxima para cada solicitud, permite que quepan muchas más secuencias. Cuando la memoria se acaba, un servidor puede pausar algunas secuencias y retomarlas después.
Rendimiento frente a latencia
Los lotes más grandes aumentan el total de tokens por segundo pero hacen un poco más lento cada flujo individual, ya que cada paso hace más trabajo. Con poca carga, cada usuario recibe una salida rápida. Con mucha carga, la velocidad por usuario baja y, pasado cierto punto, las solicitudes hacen cola y el tiempo hasta el primer token sube. Los operadores ajustan límites como el número máximo de secuencias simultáneas para mantenerse dentro de sus objetivos de latencia.
Qué significa en la práctica
- Si alojas tú mismo con vLLM o un servidor similar, envía las solicitudes de forma concurrente en lugar de una por una. El servidor las agrupa por ti, y el rendimiento total puede ser muchas veces mayor que con un bucle secuencial.
- Haz benchmarks con una concurrencia realista. La velocidad de una sola solicitud dice poco sobre la capacidad.
- Define
max_tokensen las solicitudes. Las generaciones largas retienen memoria en el lote. - No lo confundas con la API por lotes (Batch API) de un proveedor, que trata de trabajos asíncronos con descuento, no de la planificación de la GPU.