Batching continu
Pourquoi c'est important
Le batching continu est la principale raison pour laquelle les serveurs d'inférence modernes peuvent servir de nombreux utilisateurs avec un seul GPU à un coût raisonnable. Des benchmarks publiés par Anyscale en 2023 ont montré un débit jusqu'à 23 fois supérieur à celui du batching statique, avec une latence plus faible. Tous les serveurs de LLM sérieux l'utilisent aujourd'hui : vLLM, Hugging Face TGI, SGLang, TensorRT-LLM de NVIDIA (qui l'appelle in-flight batching) et le serveur de llama.cpp.
Si vous appelez une API de LLM hébergée, votre requête partage presque certainement un lot GPU avec les requêtes d'autres personnes, token par token.
En profondeur
Les GPU sont les plus efficaces quand ils traitent beaucoup de séquences à la fois. Pour un classifieur d'images, le batching est facile : on regroupe les requêtes, on les exécute ensemble, on renvoie tous les résultats. La génération de texte est plus difficile, car chaque requête produit un nombre différent de tokens sur de nombreuses étapes. Un utilisateur veut dix tokens, un autre en veut deux mille.
Avec le batching naïf (statique), le serveur attend d'avoir rassemblé un lot, puis l'exécute jusqu'à ce que la requête la plus longue soit terminée. Les requêtes courtes restent inactives dans des emplacements déjà terminés, et les nouvelles arrivées attendent dehors jusqu'à la fin du lot entier. Le batching continu corrige cela en prenant la décision d'ordonnancement à chaque étape de token : les séquences terminées sortent immédiatement, et les requêtes en attente prennent leur place.
Comment ça marche
L'idée a été introduite sous le nom d'iteration-level scheduling dans l'article Orca (OSDI 2022). Le serveur garde un ensemble de séquences actives. À chaque étape, il :
- Exécute une passe avant qui produit le token suivant pour chaque séquence active.
- Retire les séquences qui ont atteint un token de fin ou leur limite de longueur.
- Admet des requêtes en attente dans la capacité libérée.
Comme chaque séquence a son propre cache KV, des séquences à des stades complètement différents (l'une à son 5e token, l'autre à son 900e) peuvent partager une même passe avant.
Prefill et decode
Une nouvelle requête doit d'abord traiter tout son prompt (prefill) avant de pouvoir générer (decode). Le prefill est lourd : un prompt de 20 000 tokens qui rejoint le lot peut bloquer le token suivant de tous les autres. Les serveurs gèrent cela avec le chunked prefill, qui découpe les longs prompts en morceaux traités sur plusieurs étapes et mêlés aux décodages en cours. Les grands déploiements placent parfois le prefill et le decode sur des workers séparés.
La limite mémoire
Le nombre de séquences qui tiennent dans un lot est limité moins par le calcul que par la mémoire du cache KV, qui grandit avec chaque token de chaque séquence active. C'est pourquoi le batching continu et PagedAttention sont arrivés ensemble dans vLLM. Allouer le cache par petits blocs à la demande, au lieu de réserver la longueur maximale pour chaque requête, permet de faire tenir beaucoup plus de séquences. Quand la mémoire vient à manquer, un serveur peut mettre certaines séquences en pause et les reprendre plus tard.
Débit contre latence
Des lots plus gros augmentent le nombre total de tokens par seconde mais ralentissent un peu chaque flux individuel, puisque chaque étape fait plus de travail. Sous faible charge, chaque utilisateur reçoit une sortie rapide. Sous forte charge, la vitesse par utilisateur baisse et, passé un certain point, les requêtes font la queue et le délai avant le premier token grimpe. Les opérateurs ajustent des limites comme le nombre maximal de séquences simultanées pour rester dans leurs objectifs de latence.
Ce que cela signifie en pratique
- Si vous hébergez vous-même avec vLLM ou un serveur similaire, envoyez les requêtes en parallèle plutôt qu'une par une. Le serveur les regroupe pour vous, et le débit total peut être plusieurs fois supérieur à celui d'une boucle séquentielle.
- Mesurez les performances à un niveau de concurrence réaliste. La vitesse sur une seule requête dit peu de chose de la capacité.
- Définissez
max_tokenssur les requêtes. Les longues générations retiennent de la mémoire dans le lot. - Ne confondez pas cela avec l'API par lots (Batch API) d'un fournisseur, qui concerne des traitements asynchrones à prix réduit, pas l'ordonnancement du GPU.