Saltar al contenido principal
Zubnet AI › Aprender › Wiki › Pasarela de IA
Infraestructura

Pasarela de IA

También conocido como: AI Gateway, LLM Gateway, Enrutador de LLM, Enrutador de modelos
Una capa entre las aplicaciones y los proveedores de modelos que ofrece una sola API para muchos modelos y se encarga del enrutamiento, los respaldos, el seguimiento de costos y el control de acceso.

Por qué importa

Pocos equipos serios usan un solo modelo. Combinan proveedores por costo, calidad, velocidad y resiliencia. Sin una pasarela, cada aplicación maneja sus propias claves, reintentos, registros y peculiaridades de cada proveedor, y nadie puede responder preguntas simples como «¿cuánto gastamos en qué modelo el mes pasado?» o «¿qué aplicaciones envían datos de clientes a qué proveedor?».

Una pasarela centraliza todo eso. Cambiar un modelo pasa a ser un cambio de configuración en lugar de un cambio de código, una caída en un proveedor dispara un respaldo automático, y finanzas y seguridad tienen un solo lugar donde fijar presupuestos y políticas.

En profundidad

Una pasarela de IA (AI gateway) es un proxy que se ubica entre tu código y los proveedores de LLM que usas. Tus aplicaciones envían cada solicitud de modelo a la pasarela, en un solo formato y con un solo juego de credenciales. La pasarela reenvía cada solicitud al proveedor correcto, ya sea OpenAI, Anthropic, Google, una plataforma en la nube o tus propios servidores, y devuelve la respuesta.

Cumple el papel que una pasarela de API cumple para los microservicios, adaptado a los problemas particulares de los LLM: muchos proveedores con API distintas, facturación por token, límites de tasa, caídas y modelos nuevos cada pocas semanas.

Qué hace una pasarela

  • API unificada: una sola interfaz, normalmente compatible con OpenAI, para todos los proveedores.
  • Gestión de claves: las claves de los proveedores se quedan en la pasarela. Los equipos y las aplicaciones reciben claves virtuales que se pueden acotar y revocar.
  • Respaldos y reintentos: si un proveedor da error o se agota el tiempo de espera, se reintenta o se cambia a un modelo de respaldo.
  • Balanceo de carga: repartir el tráfico entre claves, regiones o despliegues para mantenerse por debajo de los límites de tasa.
  • Presupuestos y límites de tasa: poner topes de gasto y de uso por equipo, usuario o proyecto.
  • Registro y seguimiento de costos: registrar cada solicitud, conteo de tokens y costo para observabilidad y facturación.
  • Caché: devolver una respuesta guardada para solicitudes idénticas, y a veces para las semánticamente parecidas.
  • Salvaguardas: revisar solicitudes y respuestas en busca de datos personales, secretos o violaciones de políticas.

Enrutamiento

El enrutamiento más simple es una regla fija: esta aplicación usa este modelo, con aquel otro como respaldo. Las pasarelas más avanzadas enrutan por costo y dificultad, enviando las solicitudes fáciles a un modelo barato y las difíciles a uno potente. El proyecto de investigación RouteLLM (2024) reportó haber reducido los costos en más de un 85 % en un benchmark manteniendo el 95 % de la calidad de GPT-4, al aprender qué consultas necesitan el modelo más fuerte.

Aun así, el enrutamiento inteligente tiene trampas reales. Predecir la dificultad solo a partir del prompt es poco confiable. Modelos distintos responden de forma distinta al mismo prompt, así que la calidad se vuelve más difícil de evaluar. Y cambiar de modelo en medio de una conversación desecha la caché de prompts, lo que puede costar más de lo que ahorró el enrutamiento.

Productos

  • LiteLLM: un proxy de código abierto y SDK de Python, la opción autoalojada más común.
  • OpenRouter: un servicio alojado con una sola cuenta y una sola factura para cientos de modelos.
  • Portkey, Helicone y Kong AI Gateway: pasarelas enfocadas en observabilidad y gobernanza.
  • Cloudflare AI Gateway y Vercel AI Gateway: pasarelas integradas en plataformas para desarrolladores.

Plataformas en la nube como Amazon Bedrock, Microsoft Foundry y Google Vertex AI cumplen un papel parecido dentro de sus propios catálogos.

Compromisos

  • Un salto más: un poco de latencia adicional, y una cosa más que puede caerse. Una caída de la pasarela se lleva consigo todos los modelos.
  • Retraso en funciones: las funciones nuevas de un proveedor pueden no estar soportadas de inmediato, o perderse en la traducción a un formato común.
  • Exposición de datos: una pasarela alojada ve todos tus prompts y respuestas. Revisa sus términos de retención y privacidad, o alójala tú mismo.
  • Un objetivo de alto valor: la pasarela guarda todas las claves de los proveedores. Protégela y monitoréala como cualquier otra infraestructura crítica.

¿Necesitas una?

Un proyecto individual que llama a un solo modelo no la necesita. La necesidad aparece con el segundo proveedor, el segundo equipo o la primera factura sorpresa. Un camino sensato es empezar con una capa delgada en tu propio código, y luego pasar a una pasarela autoalojada o administrada cuando necesites claves compartidas, presupuestos y respaldos entre varias aplicaciones.

← Todos los términos
ESC