AI Gateway

AI 网关是一种位于应用与其调用的 AI 模型之间的代理。应用将每个请求发送到同一个端点，由网关处理服务提供商凭据、选择模型、重试失败请求、强制执行用量限制、提供缓存答案、筛查内容并记录每次调用。它是面向 AI 的 API 网关： 大型语言模型（LLM）请求按token定价和限额，响应通常以流式方式传输，各服务提供商的负载格式各不相同，而且还需要检查提示和答案中是否包含提示注入和泄露的个人数据。Cloudflare AI Gateway、Vercel AI Gateway 和 OpenRouter 等托管网关，以及 LiteLLM、Kong AI Gateway 和 Envoy AI Gateway 等自托管代理，通常会提供兼容 OpenAI 的 API，因此现有客户端代码只需更改基础 URL。

核心功能#

大多数网关都结合了相同的基本组件：

• 统一 API 和密钥： 一种请求格式即可适用于多个服务提供商。网关保存服务提供商凭据，并向各个团队或应用发放自己的密钥，因此无需更改服务提供商账户即可撤销访问权限或计量用量。
• 模型路由和故障回退： 每个请求都会根据规则、成本或学习型路由器选择模型；如果调用失败或受到速率限制，则会在备用模型或服务提供商上重试。
• Token 预算： 限额按每分钟 token 数和每个周期的支出计算。Azure API Management 的 llm-token-limit 策略在超出每分钟 token 限额时返回 429，在配额耗尽时返回 403；由于调用的 token 成本只有在完成后才能确定，因此并发请求可能会短暂超额。
• 语义缓存： 精确匹配缓存和基于含义的缓存会为重复或等效提示返回已存储的答案，而无需调用模型。
• 护栏： 提示和响应在传递前会经过扫描，以检查是否包含注入指令、个人数据和违反策略的内容。
• 可观测性： 每次调用都会记录其模型、token 数量、延迟和成本。OpenTelemetry GenAI 语义约定为 gen_ai.usage.input_tokens 等属性名称制定了标准，因此这些日志可用于各种监控工具。

请求会按顺序通过以下检查：

自托管模型的网关#

运行自有模型的团队需要能够理解模型服务器的网关。Kubernetes Gateway API Inference Extension 可将 Envoy Gateway 和 GKE Gateway 等网关转变为推理网关：端点选择器会读取每个模型服务器副本的指标，例如 前缀缓存状态和已加载的 LoRA 适配器，然后将每个请求发送到能够最快处理它的副本。这样可以在 vLLM 等服务器上保持 KV 缓存的高复用率；轮询负载均衡器会忽略每个副本的缓存内容，因此无法做到这一点。

相同的网关控制也适用于计算机视觉 API。Ultralytics Platform 会将这些控制应用于其共享模型 API：请求可使用任何处于启用状态的工作区 API 密钥进行身份验证，每个密钥每分钟最多可发送 20 个请求，受到限流的调用会收到带有 Retry-After 标头的 429 响应。直接发送到专用端点的请求不会经过该限流器。

AI 网关与相关术语对比#

API 网关会为任意 Web 服务处理身份验证、速率限制和路由，并统计请求数量。AI 网关还会处理 token 计量、服务提供商格式转换、流式支持和内容检查。模型服务负责运行模型并返回预测结果，网关则位于一个或多个服务端点之前。AI 智能体编排会规划跨工具和模型的多步骤工作，智能体的各次模型调用可以经过网关。模型上下文协议负责将智能体连接到工具；包括 Azure API Management 在内的一些网关会使用相同的密钥、限额和日志来管理 MCP 服务器。

网关会为每次调用增加一个网络跳点，也会成为所有 AI 功能共用的依赖项，因此生产部署会在多个区域冗余运行网关。托管网关还会看到所有提示和响应，因此会纳入数据隐私审查范围；Cloudflare AI Gateway 和 LiteLLM 等网关可以关闭提示和响应正文的存储。