AI Gateway
Узнай, что такое AI gateway, как он маршрутизирует модели, контролирует расходы, защищает запросы и отслеживает вывод для надежных развертываний AI и Ultralytics YOLO.
Шлюз ИИ — это уровень управления, размещаемый между приложениями и одной или несколькими службами искусственного интеллекта. Подобно шлюзу API, он принимает запросы и перенаправляет их на бэкенды, но добавляет элементы управления, специфичные для ИИ, для выбора моделей, использования токенов или вычислительных ресурсов, безопасности, конфиденциальности, стоимости и производительности. Он может предоставлять одну стабильную конечную точку для облачных моделей, локальных систем и обслуживания моделей Ultralytics YOLO, что упрощает управление системами искусственного интеллекта в продакшене при изменении их моделей и провайдеров. (learn.microsoft.com)
Как работает AI Gateway#
Шлюз оценивает каждый входящий запрос перед его отправкой в механизм инференса. В зависимости от настроенных политик он может:
- Проводить аутентификацию и защищать запросы: применять элементы контроля доступа, квоты, валидацию входных данных и средства защиты на основе OWASP Top 10 для приложений на базе LLM наряду с более широкими практиками безопасности данных.
- Интеллектуально маршрутизировать трафик: выбирать модель или конечную точку на основе задержки, доступности, стоимости, региона, задачи или аппаратной нагрузки. Расширение Kubernetes Gateway API Inference Extension стандартизирует маршрутизацию с учетом моделей для локальных генеративных моделей.
- Повышать надежность: использовать повторные попытки, балансировку нагрузки и резервные копии моделей Vercel AI Gateway, когда провайдер или модель становятся недоступными.
- Контролировать потребление: применять бюджеты запросов, токенов или вычислений с помощью таких политик, как ограничение частоты запросов в Envoy Gateway.
- Записывать телеметрию: фиксировать задержку, ошибки, выбор моделей и использование с помощью систем наблюдаемости, использующих такие стандарты, как атрибуты OpenTelemetry GenAI. (gateway.envoyproxy.io)
Реальные приложения#
- Инспекция зрения в ритейле: камеры отправляют изображения продуктов через шлюз в модель обнаружения объектов YOLO26. Шлюз аутентифицирует каждый магазин, ограничивает объем запросов, направляет трафик на ближайшее развертывание и отправляет сбои на резервную конечную точку, поддерживая надежный инференс в реальном времени.
- Многомодельный помощник клиента: приложение использует унифицированный API Vercel AI Gateway или Cloudflare AI Gateway для направления простых вопросов на более дешевую модель, а сложных запросов — на более мощную. Логи поддерживают анализ затрат, отладку и мониторинг моделей.
- Корпоративный доступ к ИИ: организации могут использовать возможности шлюза ИИ Azure API Management для управления моделями, инструментами и удаленными службами Model Context Protocol посредством централизованной аутентификации, квот, ведения журналов и политик безопасности контента. (learn.microsoft.com)
Пример в области компьютерного зрения#
Код вывода (inference) остается сфокусированным на предсказаниях, в то время как gateway берет на себя доступ, маршрутизацию, ограничения и телеметрию:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Этот обработчик может работать за конечной точкой развертывания платформы Ultralytics, где мониторинг развертывания отслеживает запросы, задержку, ошибки, логи и проверки работоспособности. (learn.microsoft.com)
AI Gateway и связанные термины#
Шлюз ИИ управляет трафиком до и после выполнения модели, в то время как развертывание модели помещает модель в продакшн, а обслуживание модели выполняет предсказания. Шлюз инференса является более специализированным, оптимизируя маршрутизацию между репликами моделей или ускорителями. Между тем оркестрация ИИ-агентов координирует многоэтапные решения и инструменты, а не контролирует сетевой доступ.
Текущие передовые практики включают минимизацию регистрируемого конфиденциального контента, применение элементов управления конфиденциальностью данных, тестирование резервных путей, отслеживание качества и стоимости для каждой модели, а также соблюдение профиля управления рисками генеративного ИИ NIST. Недавние исследования плоскостей управления LLM и состязательных рисков при маршрутизации моделей также подчеркивают важность проверяемых политик и безопасных решений по маршрутизации. (nist.gov)
