AI Gateway

Шлюз ИИ — это прокси-сервер между приложениями и вызываемыми ими моделями ИИ. Приложения отправляют все запросы на одну конечную точку, а шлюз управляет учётными данными провайдеров, выбирает модель, повторяет неудачные запросы, устанавливает лимиты использования, отдаёт кешированные ответы, проверяет содержимое и записывает каждый вызов. Это специализированная для ИИ разновидность шлюза API: запросы к большим языковым моделям (LLM) тарифицируются и ограничиваются по токенам, ответы часто передаются потоком, форматы полезной нагрузки различаются у разных провайдеров, а сами запросы и ответы необходимо проверять на инъекции в промпт и утечки персональных данных. Облачные шлюзы, такие как Cloudflare AI Gateway, Vercel AI Gateway и OpenRouter, и самостоятельно размещаемые прокси, такие как LiteLLM, Kong AI Gateway и Envoy AI Gateway, обычно предоставляют API, совместимый с OpenAI, поэтому существующему клиентскому коду достаточно изменить базовый URL.

Основные функции#

Большинство шлюзов объединяют одни и те же компоненты:

• Единый API и ключи: Один формат запросов поддерживает множество провайдеров. Шлюз хранит учётные данные провайдеров и выдаёт собственные ключи каждой команде или приложению, поэтому доступ можно отозвать или учитывать его использование, не меняя учётные записи провайдеров.
• Маршрутизация моделей и резервные варианты: Каждый запрос направляется к модели, выбранной по правилам, стоимости или обучаемым маршрутизатором; при сбое или ограничении частоты запрос повторяется с резервной моделью или у другого провайдера.
• Лимиты токенов: Лимиты учитывают число токенов в минуту и расходы за период. Политика llm-token-limit в Azure API Management возвращает 429 при превышении лимита токенов в минуту и 403 при исчерпании квоты. Одновременные запросы могут ненадолго превысить лимит, поскольку стоимость запроса в токенах становится известна лишь после его завершения.
• Семантическое кеширование: Кеши точных совпадений и совпадений по смыслу возвращают сохранённые ответы на повторные или эквивалентные запросы без обращения к модели.
• Защитные механизмы: Запросы и ответы проверяются на внедрённые инструкции, персональные данные и нарушения политик до того, как пройдут дальше.
• Наблюдаемость: Каждый вызов записывается вместе с моделью, числом токенов, задержкой и стоимостью. Семантические соглашения OpenTelemetry для GenAI стандартизируют названия атрибутов, например gen_ai.usage.input_tokens, поэтому эти журналы совместимы с инструментами мониторинга разных производителей.

Запрос проходит эти проверки в следующем порядке:

Шлюзы для самостоятельно размещённых моделей#

Командам, которые запускают собственные модели, нужен шлюз, поддерживающий серверы моделей. Расширение Inference Extension для Kubernetes Gateway API превращает шлюзы, такие как Envoy Gateway и GKE Gateway, в шлюзы инференса: средство выбора конечной точки получает метрики с каждой реплики сервера модели, включая состояние кеша префиксов и сведения о загруженных адаптерах LoRA, а затем направляет каждый запрос реплике, которая обработает его быстрее. Это повышает эффективность повторного использования KV-кеша на серверах, таких как vLLM. Балансировщик нагрузки с циклическим распределением этого обеспечить не может, поскольку не учитывает, какие данные кешированы на каждой реплике.

Те же принципы работы шлюзов применяются и к API компьютерного зрения. Ultralytics Platform использует их перед своим общим API моделей: запросы проходят аутентификацию по любому активному ключу API рабочей области, для каждого ключа действует ограничение в 20 запросов в минуту, а запросы, превышающие лимит, получают ответ 429 с заголовком Retry-After. Запросы, отправленные напрямую к выделенной конечной точке, обходят этот ограничитель.

Шлюз ИИ и похожие термины#

Шлюз API обеспечивает аутентификацию, ограничивает частоту запросов и маршрутизирует запросы любого веб-сервиса, учитывая их количество. Шлюз ИИ дополнительно учитывает токены, преобразует запросы для разных провайдеров, поддерживает потоковую передачу и проверяет содержимое. Обслуживание моделей запускает модель и возвращает прогнозы, а шлюз размещается перед одной или несколькими конечными точками обслуживания. Оркестрация ИИ-агентов планирует многоэтапную работу с инструментами и моделями, а отдельные вызовы моделей агентом могут проходить через шлюз. Протокол контекста модели связывает агентов с инструментами, а некоторые шлюзы, включая Azure API Management, управляют серверами MCP с помощью тех же ключей, лимитов и журналов.

Шлюзы добавляют сетевой переход к каждому вызову и становятся общей зависимостью для всех функций ИИ, поэтому в производственной среде их запускают с резервированием в разных зонах. Облачные шлюзы видят каждый запрос и ответ, поэтому на них распространяются проверки конфиденциальности данных; при этом шлюзы, такие как Cloudflare AI Gateway и LiteLLM, позволяют отключить хранение текстов запросов и ответов.