Pasarela de IA
Por qué importa
Pocos equipos serios usan un solo modelo. Combinan proveedores por costo, calidad, velocidad y resiliencia. Sin una pasarela, cada aplicación maneja sus propias claves, reintentos, registros y peculiaridades de cada proveedor, y nadie puede responder preguntas simples como «¿cuánto gastamos en qué modelo el mes pasado?» o «¿qué aplicaciones envían datos de clientes a qué proveedor?».
Una pasarela centraliza todo eso. Cambiar un modelo pasa a ser un cambio de configuración en lugar de un cambio de código, una caída en un proveedor dispara un respaldo automático, y finanzas y seguridad tienen un solo lugar donde fijar presupuestos y políticas.
En profundidad
Una pasarela de IA (AI gateway) es un proxy que se ubica entre tu código y los proveedores de LLM que usas. Tus aplicaciones envían cada solicitud de modelo a la pasarela, en un solo formato y con un solo juego de credenciales. La pasarela reenvía cada solicitud al proveedor correcto, ya sea OpenAI, Anthropic, Google, una plataforma en la nube o tus propios servidores, y devuelve la respuesta.
Cumple el papel que una pasarela de API cumple para los microservicios, adaptado a los problemas particulares de los LLM: muchos proveedores con API distintas, facturación por token, límites de tasa, caídas y modelos nuevos cada pocas semanas.
Qué hace una pasarela
- API unificada: una sola interfaz, normalmente compatible con OpenAI, para todos los proveedores.
- Gestión de claves: las claves de los proveedores se quedan en la pasarela. Los equipos y las aplicaciones reciben claves virtuales que se pueden acotar y revocar.
- Respaldos y reintentos: si un proveedor da error o se agota el tiempo de espera, se reintenta o se cambia a un modelo de respaldo.
- Balanceo de carga: repartir el tráfico entre claves, regiones o despliegues para mantenerse por debajo de los límites de tasa.
- Presupuestos y límites de tasa: poner topes de gasto y de uso por equipo, usuario o proyecto.
- Registro y seguimiento de costos: registrar cada solicitud, conteo de tokens y costo para observabilidad y facturación.
- Caché: devolver una respuesta guardada para solicitudes idénticas, y a veces para las semánticamente parecidas.
- Salvaguardas: revisar solicitudes y respuestas en busca de datos personales, secretos o violaciones de políticas.
Enrutamiento
El enrutamiento más simple es una regla fija: esta aplicación usa este modelo, con aquel otro como respaldo. Las pasarelas más avanzadas enrutan por costo y dificultad, enviando las solicitudes fáciles a un modelo barato y las difíciles a uno potente. El proyecto de investigación RouteLLM (2024) reportó haber reducido los costos en más de un 85 % en un benchmark manteniendo el 95 % de la calidad de GPT-4, al aprender qué consultas necesitan el modelo más fuerte.
Aun así, el enrutamiento inteligente tiene trampas reales. Predecir la dificultad solo a partir del prompt es poco confiable. Modelos distintos responden de forma distinta al mismo prompt, así que la calidad se vuelve más difícil de evaluar. Y cambiar de modelo en medio de una conversación desecha la caché de prompts, lo que puede costar más de lo que ahorró el enrutamiento.
Productos
- LiteLLM: un proxy de código abierto y SDK de Python, la opción autoalojada más común.
- OpenRouter: un servicio alojado con una sola cuenta y una sola factura para cientos de modelos.
- Portkey, Helicone y Kong AI Gateway: pasarelas enfocadas en observabilidad y gobernanza.
- Cloudflare AI Gateway y Vercel AI Gateway: pasarelas integradas en plataformas para desarrolladores.
Plataformas en la nube como Amazon Bedrock, Microsoft Foundry y Google Vertex AI cumplen un papel parecido dentro de sus propios catálogos.
Compromisos
- Un salto más: un poco de latencia adicional, y una cosa más que puede caerse. Una caída de la pasarela se lleva consigo todos los modelos.
- Retraso en funciones: las funciones nuevas de un proveedor pueden no estar soportadas de inmediato, o perderse en la traducción a un formato común.
- Exposición de datos: una pasarela alojada ve todos tus prompts y respuestas. Revisa sus términos de retención y privacidad, o alójala tú mismo.
- Un objetivo de alto valor: la pasarela guarda todas las claves de los proveedores. Protégela y monitoréala como cualquier otra infraestructura crítica.
¿Necesitas una?
Un proyecto individual que llama a un solo modelo no la necesita. La necesidad aparece con el segundo proveedor, el segundo equipo o la primera factura sorpresa. Un camino sensato es empezar con una capa delgada en tu propio código, y luego pasar a una pasarela autoalojada o administrada cuando necesites claves compartidas, presupuestos y respaldos entre varias aplicaciones.