AI Gateway

AI gateway 是位于应用程序与一个或多个人工智能服务之间的一层控制层。它就像 API gateway 一样，接收请求并将其转发给后端，但它增加了针对 AI 的特定控制，用于模型选择、Token 或计算使用量、安全性、隐私、成本和性能管理。它可以为云模型、自托管系统和 Ultralytics YOLO 模型服务 提供一个稳定的端点，使得生产环境中的 人工智能系统 在模型和提供商变更时更易于管理。 (learn.microsoft.com)

Link to this sectionAI Gateway 的工作原理#

网关会在发送请求至 推理引擎 前对其进行评估。根据配置的策略，它可以执行以下操作：

• 身份验证和保护请求： 根据 OWASP Top 10 for LLM Applications 以及更广泛的 数据安全 实践，应用访问控制、配额、输入验证和防御措施。
• 智能路由流量： 根据延迟、可用性、成本、区域、任务或硬件负载选择模型或端点。Kubernetes Gateway API Inference Extension 为自托管的生成式模型标准化了模型感知路由。
• 提高可靠性： 在提供商或模型不可用时，使用重试、负载均衡和 Vercel AI Gateway 模型回退 功能。
• 控制消耗： 通过诸如 Envoy Gateway 速率限制 等策略来强制执行请求、Token 或计算预算。
• Record telemetry: Capture latency, errors, model choices, and usage through observability systems using standards such as OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)

Link to this section实际应用#

• 零售视觉检测： 摄像头通过网关将产品图像提交给 YOLO26 目标检测模型。网关会对每个商店进行身份验证，限制请求量，将流量路由到最近的部署点，并将失败请求发送到备份端点，从而支持可靠的 实时推理。
• 多模型客户助手： 应用程序使用 Vercel AI Gateway 统一 API 或 Cloudflare AI Gateway 将简单问题路由到低成本模型，将复杂请求路由到能力更强的模型。日志支持成本分析、调试和 模型监控。
• 企业级 AI 访问： 组织可以使用 Azure API Management AI gateway 功能，通过集中的身份验证、配额、日志记录和内容安全策略来管理模型、工具和远程 Model Context Protocol 服务。 (learn.microsoft.com)

Link to this section计算机视觉示例#

推理代码专注于预测，而网关负责处理访问、路由、限制和遥测：

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})

此处理程序可以在 Ultralytics Platform 部署端点 后运行，其中 部署监控 会跟踪请求、延迟、错误、日志和健康检查。 (learn.microsoft.com)

Link to this sectionAI Gateway 与相关术语#

AI gateway 管理模型执行 前后 的流量，而 模型部署 是将模型投入生产，模型服务则是执行预测。推理网关更为专业，主要优化模型副本或加速器之间的路由。与此同时，AI agent 编排 负责协调多步决策和工具，而不是控制网络访问。

当前的最佳实践包括最小化记录的敏感内容、应用 数据隐私 控制、测试回退路径、跟踪每个模型的质量和成本，以及遵循 NIST 生成式 AI 风险管理框架。关于 LLM 控制平面 和 模型路由中的对抗性风险 的最新研究也强调了可审计策略和安全路由决策的重要性。 (nist.gov)