Aller au contenu principal
Zubnet AI › Apprendre › Wiki › API par lots
Utiliser l’AI

API par lots

Aussi appelé : Batch API, Traitement par lots, Inférence par lots
Une manière d'envoyer un grand nombre de requêtes LLM pour un traitement asynchrone, en échangeant des réponses immédiates contre un prix environ deux fois moindre.

Pourquoi c'est important

Une grande partie du travail fait avec des LLM n'a pas besoin d'une réponse en quelques secondes : lancer une suite d'évaluation, classer un million de tickets de support, générer des embeddings pour une archive de documents, produire des données d'entraînement synthétiques, résumer les transcriptions de la veille. Payer le tarif temps réel pour ce travail, c'est tout simplement du gaspillage.

Les traitements par lots ont aussi des limites de débit distinctes et bien plus élevées, de sorte qu'ils ne consomment pas le quota dont dépend votre produit en production. Pour les pipelines de données, passer au batch est souvent la réduction de coût la plus facile à obtenir.

En profondeur

Une API par lots (batch API) permet de soumettre beaucoup de requêtes d'un coup, des milliers ou plus, et de récupérer les résultats plus tard au lieu d'attendre chaque réponse en temps réel. Vous envoyez les requêtes, le fournisseur les traite quand il a de la capacité disponible, et vous téléchargez les sorties quand le traitement est terminé, en général sous 24 heures et souvent bien plus tôt.

En échange de l'immédiateté, vous obtenez une forte remise. En 2026, OpenAI, Anthropic et Google facturent tous les requêtes par lots environ 50 % moins cher que leurs tarifs standards.

Comment ça marche

Le déroulement est similaire d'un fournisseur à l'autre :

  1. Préparez les requêtes. Chacune est une requête d'API normale, accompagnée d'un custom_id que vous choisissez.
  2. Soumettez le lot. OpenAI prend un fichier JSONL téléversé avec une requête par ligne, tandis que l'API Message Batches d'Anthropic prend directement une liste de requêtes.
  3. Interrogez régulièrement le statut, ou attendez simplement.
  4. Téléchargez les résultats et associez-les à vos entrées grâce au custom_id. Rien ne garantit que les résultats reviennent dans l'ordre d'origine.

Une ligne d'un fichier batch au format OpenAI ressemble à ceci :

{"custom_id": "ticket-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "MODEL_NAME", "messages": [{"role": "user", "content": "Classify this ticket: ..."}]}}

Détails par fournisseur

  • OpenAI Batch API (avril 2024) : des fichiers JSONL, une fenêtre de traitement de 24 heures, et la prise en charge du chat, des embeddings et d'autres endpoints.
  • Anthropic Message Batches (octobre 2024) : jusqu'à 100 000 requêtes par lot, la plupart des lots étant terminés en moins d'une heure.
  • Google Gemini propose un mode batch via l'API Gemini et Vertex AI, et Amazon Bedrock offre l'inférence par lots pour les modèles qu'il héberge.

Si vous faites tourner vos propres GPU, vous n'avez en général pas besoin d'une API par lots dédiée : vous envoyez les requêtes aussi vite que le batching continu du serveur peut les absorber.

Cumuler les remises

Le tarif batch peut se combiner avec le prompt caching. Si toutes les requêtes partagent un long préfixe, par exemple les mêmes instructions ou le même document, les tokens mis en cache sont facturés à un tarif réduit, en plus de la remise batch. Dans les lots, les succès de cache ne sont pas garantis, car les requêtes sont traitées en parallèle, mais placer le contenu partagé en premier reste payant.

Quand ne pas l'utiliser

Le batch est le mauvais outil dès que quelqu'un, ou quelque chose, attend. Cela exclut le chat, la plupart des boucles d'agent (chaque étape dépend de la précédente) et tout ce qui a une échéance serrée. La fenêtre de 24 heures est un maximum, et même si les résultats arrivent en général plus tôt, vous ne pouvez pas compter dessus.

Conseils pratiques

  • Faites d'abord un essai pilote. Lancez 50 requêtes en temps réel, vérifiez les sorties, puis soumettez le lot complet. Un bug de prompt multiplié par un million coûte cher.
  • Gérez les échecs partiels. Des requêtes individuelles peuvent échouer ou expirer alors que les autres réussissent. Rassemblez les échecs et soumettez-les à nouveau.
  • Utilisez la sortie structurée. Sans possibilité de reposer la question de façon interactive, vous voulez des résultats que vous pouvez analyser automatiquement.
  • Découpez les très gros traitements. Plusieurs lots de taille moyenne sont plus faciles à surveiller et à relancer qu'un seul lot énorme.
  • Réglez max_tokens raisonnablement. Les sorties qui s'emballent sont plus difficiles à remarquer quand personne ne regarde.
← Tous les termes
ESC