Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › Batching contínuo
Infraestrutura

Batching contínuo

Também conhecido como: Continuous Batching, Dynamic Batching, In-flight Batching, Iteration-level Scheduling
Uma técnica para servir LLMs que adiciona novas requisições a um lote em execução e remove as concluídas a cada passo de geração, mantendo a GPU cheia.

Por que isso importa

O batching contínuo é o principal motivo pelo qual os servidores de inferência modernos conseguem atender muitos usuários com uma única GPU a um custo razoável. Benchmarks publicados pela Anyscale em 2023 mostraram até 23 vezes mais throughput do que o batching estático, além de latência menor. Hoje todo servidor de LLM sério usa a técnica: vLLM, Hugging Face TGI, SGLang, o TensorRT-LLM da NVIDIA (que a chama de in-flight batching) e o servidor do llama.cpp.

Se você chama uma API de LLM hospedada, é quase certo que a sua requisição está dividindo um lote de GPU com as requisições de outras pessoas, token a token.

Em profundidade

GPUs são mais eficientes quando processam muitas sequências de uma vez. Para um classificador de imagens, fazer batching é fácil: você agrupa as requisições, executa todas juntas e devolve todos os resultados. Geração de texto é mais difícil, porque cada requisição produz um número diferente de tokens ao longo de muitos passos. Um usuário quer dez tokens, outro quer dois mil.

Com o batching ingênuo (estático), o servidor espera juntar um lote e então o executa até que a requisição mais longa termine. As requisições curtas ficam ociosas em posições já concluídas, e as que chegam esperam do lado de fora até o lote inteiro acabar. O batching contínuo resolve isso tomando a decisão de escalonamento a cada passo de token: as sequências concluídas saem imediatamente, e as requisições em espera ocupam o lugar delas.

Como funciona

A ideia foi apresentada como iteration-level scheduling no artigo do Orca (OSDI 2022). O servidor mantém um conjunto de sequências ativas. A cada passo, ele:

  1. Executa um forward pass que produz o próximo token de cada sequência ativa.
  2. Remove as sequências que chegaram a um token de fim ou ao limite de comprimento.
  3. Admite requisições em espera na capacidade liberada.

Como cada sequência tem seu próprio cache KV, sequências em estágios completamente diferentes (uma no 5º token, outra no 900º) podem compartilhar o mesmo forward pass.

Prefill e decode

Uma requisição nova precisa primeiro processar todo o prompt (prefill) antes de poder gerar (decode). O prefill é pesado: um prompt de 20.000 tokens entrando no lote pode travar o próximo token de todo mundo. Os servidores lidam com isso usando chunked prefill, que divide prompts longos em pedaços processados ao longo de vários passos e misturados às decodificações em andamento. Implantações grandes às vezes colocam prefill e decode em workers separados.

O limite de memória

Quantas sequências cabem em um lote é limitado menos pela computação do que pela memória do cache KV, que cresce a cada token de cada sequência ativa. É por isso que o batching contínuo e o PagedAttention chegaram juntos no vLLM. Alocar o cache em blocos pequenos sob demanda, em vez de reservar o comprimento máximo para cada requisição, permite que caibam muito mais sequências. Quando a memória acaba, o servidor pode pausar algumas sequências e retomá-las depois.

Throughput versus latência

Lotes maiores aumentam o total de tokens por segundo, mas deixam cada fluxo individual um pouco mais lento, já que cada passo faz mais trabalho. Com carga leve, cada usuário recebe saída rápida. Com carga pesada, a velocidade por usuário cai e, a partir de certo ponto, as requisições entram em fila e o tempo até o primeiro token sobe. Os operadores ajustam limites como o número máximo de sequências simultâneas para ficar dentro das metas de latência.

O que isso significa na prática

  • Se você hospeda por conta própria com vLLM ou um servidor parecido, envie as requisições de forma concorrente, e não uma de cada vez. O servidor as agrupa para você, e o throughput total pode ser muitas vezes maior do que com um loop sequencial.
  • Faça benchmarks com uma concorrência realista. A velocidade de uma única requisição diz pouco sobre a capacidade.
  • Defina max_tokens nas requisições. Gerações longas seguram memória no lote.
  • Não confunda isso com a API em lote (Batch API) de um provedor, que trata de trabalhos assíncronos com desconto, e não do escalonamento da GPU.
← Todos os termos
ESC