跳到主要内容
Zubnet AI › 学习 › Wiki › AI 网关
基础设施

AI 网关

别名:AI Gateway、LLM Gateway、LLM 网关、LLM 路由器、模型路由器
位于应用和模型服务商之间的一层,用一个 API 对接多个模型,并负责路由、故障回退、成本追踪和访问控制。

为什么重要

很少有认真做事的团队只用一个模型。他们会为了成本、质量、速度和韧性而混用多家服务商。没有网关的话,每个应用都要自己处理密钥、重试、日志和各家服务商的怪癖,而且没人能回答“上个月我们在哪个模型上花了多少钱?”或“哪些应用把客户数据发给了哪家服务商?”这样的简单问题。

网关把这些都集中起来。更换模型变成改配置而不是改代码,某家服务商出故障时会自动回退,财务和安全团队也有了一个统一设置预算和策略的地方。

深度解析

AI 网关是一个位于你的代码和你所用的 LLM 服务商之间的代理。你的应用把每一个模型请求都发给网关,用同一种格式、同一套凭据。网关把每个请求转发给对应的服务商,不管是 OpenAI、Anthropic、Google、某个云平台还是你自己的服务器,然后把响应返回。

它扮演的角色就像 API 网关之于微服务,只是针对 LLM 特有的问题做了调整:服务商众多且 API 各不相同、按 token 计费、速率限制、服务中断,以及每隔几周就出现的新模型。

网关做什么

  • 统一 API:一个接口对接所有服务商,通常是 OpenAI 兼容的。
  • 密钥管理:服务商的密钥留在网关里。团队和应用拿到的是虚拟密钥,可以限定范围,也可以吊销。
  • 回退和重试:如果某家服务商报错或超时,就重试或切换到备用模型。
  • 负载均衡:把流量分散到多个密钥、区域或部署上,以免超出速率限制。
  • 预算和速率限制:按团队、用户或项目给支出和用量设上限。
  • 日志和成本追踪:记录每个请求、token 数和成本,用于可观测性和计费。
  • 缓存:对完全相同的请求返回已存储的响应,有时对语义相近的请求也是如此。
  • 护栏:扫描请求和响应,检查其中是否有个人数据、密钥或违反策略的内容。

路由

最简单的路由是固定规则:这个应用用这个模型,那个模型作为备用。更高级的网关按成本和难度路由,把简单的请求发给便宜的模型,把难的请求发给强的模型。研究项目 RouteLLM(2024)报告称,通过学习哪些查询需要更强的模型,它在一项基准上把成本降低了 85% 以上,同时保持了 GPT-4 质量的 95%。

不过,智能路由确实有坑。仅凭提示来预测难度并不可靠。不同模型对同一个提示的反应不同,所以质量更难评估。而且在对话中途切换模型会丢掉提示缓存,损失可能比路由省下的还多。

产品

  • LiteLLM:开源的代理和 Python SDK,自托管的常见选择。
  • OpenRouter:一项托管服务,用一个账户和一张账单对接数百个模型。
  • Portkey、Helicone 和 Kong AI Gateway:侧重可观测性和治理的网关。
  • Cloudflare AI Gateway 和 Vercel AI Gateway:内置在开发者平台里的网关。

Amazon Bedrock、Microsoft Foundry 和 Google Vertex AI 等云平台在各自的模型目录内扮演着类似的角色。

权衡

  • 多一跳:增加一点延迟,也多了一个可能宕机的环节。网关一旦中断,所有模型都跟着不可用。
  • 功能滞后:服务商的新功能可能不会马上得到支持,或者在转换成通用格式时丢失。
  • 数据暴露:托管的网关能看到你所有的提示和响应。要查看它的数据保留和隐私条款,或者自行托管。
  • 高价值目标:网关掌握着每一家服务商的密钥。要像对待其他关键基础设施一样保护和监控它。

你需要它吗?

只调用一个模型的个人项目不需要。需求会随着第二家服务商、第二个团队或第一张意外的账单而出现。比较稳妥的路径是先在自己的代码里写一层薄薄的封装,等到需要在多个应用之间共享密钥、预算和回退时,再迁移到自托管或托管的网关。

← 所有术语
ESC