Saltar al contenido principal
Zubnet AI › Aprender › Wiki › API por lotes
Usar AI

API por lotes

También conocido como: Batch API, Procesamiento por lotes, Inferencia por lotes
Una forma de enviar grandes cantidades de solicitudes a un LLM para procesarlas de manera asíncrona, renunciando a respuestas inmediatas a cambio de aproximadamente la mitad del precio.

Por qué importa

Mucho del trabajo con LLM no necesita una respuesta en segundos: ejecutar una suite de evaluación, clasificar un millón de tickets de soporte, generar embeddings para un archivo de documentos, producir datos sintéticos de entrenamiento, resumir las transcripciones de ayer. Pagar precios de tiempo real por ese trabajo es simplemente un desperdicio.

Los trabajos por lotes también tienen límites de tasa separados y mucho más altos, así que no consumen la cuota de la que depende tu producto en vivo. En pipelines de datos, pasarse a batch suele ser la reducción de costos más fácil que hay.

En profundidad

Una API por lotes (batch API) te permite enviar muchas solicitudes a la vez, miles o más, y recoger los resultados después en lugar de esperar cada respuesta en tiempo real. Subes las solicitudes, el proveedor las procesa cuando tiene capacidad libre, y descargas las salidas cuando el trabajo termina, normalmente dentro de 24 horas y a menudo mucho antes.

A cambio de renunciar a la inmediatez, obtienes un gran descuento. En 2026, OpenAI, Anthropic y Google cobran las solicitudes por lotes con cerca de un 50 % de descuento sobre sus tarifas estándar.

Cómo funciona

El flujo es parecido entre proveedores:

  1. Prepara las solicitudes. Cada una es una solicitud normal a la API más un custom_id que tú eliges.
  2. Envía el lote. OpenAI recibe un archivo JSONL subido con una solicitud por línea, mientras que la API Message Batches de Anthropic recibe directamente una lista de solicitudes.
  3. Consulta el estado cada cierto tiempo, o simplemente espera.
  4. Descarga los resultados y emparéjalos con tus entradas por custom_id. No está garantizado que los resultados vuelvan en el orden original.

Una línea de un archivo batch al estilo de OpenAI se ve así:

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

Detalles por proveedor

  • OpenAI Batch API (abril de 2024): archivos JSONL, una ventana de finalización de 24 horas y soporte para chat, embeddings y otros endpoints.
  • Anthropic Message Batches (octubre de 2024): hasta 100.000 solicitudes por lote, y la mayoría de los lotes termina en menos de una hora.
  • Google Gemini ofrece un modo batch a través de la API de Gemini y Vertex AI, y Amazon Bedrock tiene inferencia por lotes para los modelos que aloja.

Si usas tus propias GPU, normalmente no necesitas una API por lotes especial: envías las solicitudes tan rápido como el batching continuo del servidor pueda manejarlas.

Acumular descuentos

El precio por lotes se puede combinar con el prompt caching. Si todas las solicitudes comparten un prefijo largo, como las mismas instrucciones o el mismo documento, los tokens en caché se cobran a una tarifa reducida además del descuento por lotes. Los aciertos de caché en los lotes no están garantizados, porque las solicitudes se procesan en paralelo, pero poner primero el contenido compartido igual rinde.

Cuándo no usarla

Batch es la herramienta equivocada siempre que alguien, o algo, esté esperando. Eso descarta el chat, la mayoría de los bucles de agentes (cada paso depende del anterior) y cualquier cosa con un plazo ajustado. La ventana de 24 horas es un máximo, y aunque los resultados suelen llegar antes, no puedes contar con eso.

Consejos prácticos

  • Haz primero un piloto. Ejecuta 50 solicitudes en tiempo real, revisa las salidas y luego envía el lote completo. Un error en el prompt multiplicado por un millón sale caro.
  • Maneja las fallas parciales. Algunas solicitudes pueden fallar o expirar mientras el resto tiene éxito. Reúne las fallas y vuelve a enviarlas.
  • Usa salida estructurada. Sin la posibilidad de volver a preguntar de forma interactiva, quieres resultados que puedas procesar automáticamente.
  • Divide los trabajos enormes. Varios lotes medianos son más fáciles de monitorear y reintentar que uno gigantesco.
  • Define max_tokens con criterio. Las salidas desbocadas son más difíciles de notar cuando nadie está mirando.
← Todos los términos
ESC