Ir para o conteúdo principal
Zubnet AI › Aprender › Wiki › API em lote
Usar AI

API em lote

Também conhecido como: Batch API, Processamento em lote, Inferência em lote
Uma forma de enviar grandes quantidades de requisições a um LLM para processamento assíncrono, abrindo mão de respostas imediatas em troca de cerca de metade do preço.

Por que isso importa

Muito trabalho com LLM não precisa de resposta em segundos: rodar uma suíte de avaliação, classificar um milhão de tickets de suporte, gerar embeddings para um acervo de documentos, produzir dados sintéticos de treinamento, resumir as transcrições de ontem. Pagar preço de tempo real por esse trabalho é simplesmente desperdício.

Os trabalhos em lote também têm limites de taxa separados e bem mais altos, então não consomem a cota da qual o seu produto em produção depende. Em pipelines de dados, migrar para batch costuma ser a redução de custo mais fácil que existe.

Em profundidade

Uma API em lote (batch API) permite enviar muitas requisições de uma vez, milhares ou mais, e coletar os resultados depois em vez de esperar cada resposta em tempo real. Você envia as requisições, o provedor as processa quando tem capacidade ociosa, e você baixa as saídas quando o trabalho termina, normalmente em até 24 horas e muitas vezes bem antes.

Em troca de abrir mão do imediatismo, você ganha um grande desconto. Em 2026, OpenAI, Anthropic e Google cobram as requisições em lote com cerca de 50% de desconto sobre as tarifas padrão.

Como funciona

O fluxo é parecido entre os provedores:

  1. Prepare as requisições. Cada uma é uma requisição normal de API mais um custom_id que você escolhe.
  2. Envie o lote. A OpenAI recebe um arquivo JSONL enviado por upload, com uma requisição por linha, enquanto a API Message Batches da Anthropic recebe diretamente uma lista de requisições.
  3. Consulte o status de tempos em tempos, ou simplesmente espere.
  4. Baixe os resultados e associe-os às suas entradas pelo custom_id. Não há garantia de que os resultados voltem na ordem original.

Uma linha de um arquivo batch no estilo da OpenAI fica assim:

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

Detalhes por provedor

  • OpenAI Batch API (abril de 2024): arquivos JSONL, uma janela de conclusão de 24 horas e suporte a chat, embeddings e outros endpoints.
  • Anthropic Message Batches (outubro de 2024): até 100.000 requisições por lote, com a maioria dos lotes terminando em menos de uma hora.
  • Google Gemini oferece um modo batch pela API do Gemini e pela Vertex AI, e o Amazon Bedrock tem inferência em lote para os modelos que hospeda.

Se você roda suas próprias GPUs, normalmente não precisa de uma API em lote especial: você envia as requisições tão rápido quanto o batching contínuo do servidor conseguir processar.

Somando descontos

O preço em lote pode ser combinado com cache de prompt. Se todas as requisições compartilham um prefixo longo, como as mesmas instruções ou o mesmo documento, os tokens em cache são cobrados a uma tarifa reduzida além do desconto do lote. Os acertos de cache em lotes não são garantidos, porque as requisições são processadas em paralelo, mas colocar o conteúdo compartilhado primeiro ainda compensa.

Quando não usar

Batch é a ferramenta errada sempre que alguém, ou alguma coisa, está esperando. Isso exclui chat, a maioria dos loops de agentes (cada passo depende do anterior) e qualquer coisa com prazo apertado. A janela de 24 horas é um máximo, e embora os resultados costumem chegar antes, você não pode contar com isso.

Dicas práticas

  • Faça um piloto primeiro. Rode 50 requisições em tempo real, confira as saídas e só então envie o lote completo. Um bug de prompt multiplicado por um milhão sai caro.
  • Trate falhas parciais. Requisições individuais podem falhar ou expirar enquanto o resto dá certo. Reúna as falhas e reenvie.
  • Use saída estruturada. Sem a chance de perguntar de novo de forma interativa, você quer resultados que possa processar automaticamente.
  • Divida trabalhos enormes. Vários lotes médios são mais fáceis de monitorar e repetir do que um único gigantesco.
  • Defina max_tokens com bom senso. Saídas descontroladas são mais difíceis de perceber quando ninguém está olhando.
← Todos os termos
ESC