Passerelle IA
Pourquoi c'est important
Peu d'équipes sérieuses n'utilisent qu'un seul modèle. Elles combinent des fournisseurs pour le coût, la qualité, la vitesse et la résilience. Sans passerelle, chaque application gère ses propres clés, ses relances, sa journalisation et les particularités de chaque fournisseur, et personne ne sait répondre à des questions simples comme « combien avons-nous dépensé sur quel modèle le mois dernier ? » ou « quelles applications envoient des données clients à quel fournisseur ? ».
Une passerelle centralise tout cela. Changer de modèle devient un changement de configuration plutôt qu'un changement de code, une panne chez un fournisseur déclenche un repli automatique, et la finance et la sécurité disposent d'un endroit unique pour fixer budgets et politiques.
En profondeur
Une passerelle IA (AI gateway) est un proxy placé entre votre code et les fournisseurs de LLM que vous utilisez. Vos applications envoient toutes leurs requêtes de modèle à la passerelle, dans un seul format et avec un seul jeu d'identifiants. La passerelle transmet chaque requête au bon fournisseur, qu'il s'agisse d'OpenAI, d'Anthropic, de Google, d'une plateforme cloud ou de vos propres serveurs, et renvoie la réponse.
Elle joue le rôle qu'une passerelle d'API joue pour les microservices, adapté aux problèmes particuliers des LLM : de nombreux fournisseurs aux API différentes, une facturation au token, des limites de débit, des pannes et de nouveaux modèles toutes les quelques semaines.
Ce que fait une passerelle
- API unifiée : une seule interface, en général compatible OpenAI, pour tous les fournisseurs.
- Gestion des clés : les clés des fournisseurs restent dans la passerelle. Les équipes et les applications reçoivent des clés virtuelles dont on peut limiter la portée et que l'on peut révoquer.
- Replis et relances : si un fournisseur renvoie une erreur ou ne répond pas à temps, on réessaie ou on bascule sur un modèle de secours.
- Répartition de charge : répartir le trafic entre des clés, des régions ou des déploiements pour rester sous les limites de débit.
- Budgets et limites de débit : plafonner les dépenses et l'usage par équipe, utilisateur ou projet.
- Journalisation et suivi des coûts : enregistrer chaque requête, chaque nombre de tokens et chaque coût pour l'observabilité et la facturation.
- Cache : renvoyer une réponse stockée pour des requêtes identiques, et parfois pour des requêtes sémantiquement proches.
- Garde-fous : analyser les requêtes et les réponses à la recherche de données personnelles, de secrets ou de violations de politique.
Le routage
Le routage le plus simple est une règle fixe : cette application utilise ce modèle, avec celui-là en secours. Les passerelles plus avancées routent selon le coût et la difficulté, en envoyant les requêtes faciles à un modèle bon marché et les difficiles à un modèle puissant. Le projet de recherche RouteLLM (2024) a indiqué avoir réduit les coûts de plus de 85 % sur un benchmark tout en conservant 95 % de la qualité de GPT-4, en apprenant quelles requêtes ont besoin du modèle le plus fort.
Le routage intelligent a pourtant de vrais pièges. Prédire la difficulté à partir du seul prompt est peu fiable. Des modèles différents réagissent différemment au même prompt, ce qui rend la qualité plus difficile à évaluer. Et changer de modèle au milieu d'une conversation jette le cache de prompts, ce qui peut coûter plus que ce que le routage a fait économiser.
Produits
- LiteLLM : un proxy open source et un SDK Python, le choix courant en auto-hébergement.
- OpenRouter : un service hébergé avec un seul compte et une seule facture pour des centaines de modèles.
- Portkey, Helicone et Kong AI Gateway : des passerelles axées sur l'observabilité et la gouvernance.
- Cloudflare AI Gateway et Vercel AI Gateway : des passerelles intégrées à des plateformes pour développeurs.
Les plateformes cloud comme Amazon Bedrock, Microsoft Foundry et Google Vertex AI jouent un rôle similaire au sein de leurs propres catalogues.
Compromis
- Un saut de plus : un peu de latence en plus, et un élément supplémentaire qui peut tomber. Une panne de la passerelle emporte tous les modèles avec elle.
- Retard de fonctionnalités : les nouveautés d'un fournisseur ne sont pas forcément prises en charge tout de suite, ou peuvent se perdre dans la traduction vers un format commun.
- Exposition des données : une passerelle hébergée voit tous vos prompts et toutes vos réponses. Vérifiez ses conditions de conservation et de confidentialité, ou hébergez-la vous-même.
- Une cible de grande valeur : la passerelle détient toutes les clés des fournisseurs. Sécurisez-la et surveillez-la comme n'importe quelle autre infrastructure critique.
En avez-vous besoin ?
Un projet solo qui appelle un seul modèle n'en a pas besoin. Le besoin apparaît avec le deuxième fournisseur, la deuxième équipe ou la première facture surprise. Un chemin raisonnable consiste à commencer par une fine surcouche dans votre propre code, puis à passer à une passerelle auto-hébergée ou gérée dès que vous avez besoin de clés partagées, de budgets et de replis pour plusieurs applications.