AI Gateway

AI 게이트웨이는 애플리케이션과 애플리케이션이 호출하는 AI 모델 사이에 위치하는 프록시입니다. 애플리케이션은 모든 요청을 하나의 엔드포인트로 전송하고, 게이트웨이는 제공업체 자격 증명을 관리하고 모델을 선택하며, 실패를 재시도하고, 사용량 제한을 적용하고, 캐시된 답변을 제공하며, 콘텐츠를 검사하고, 각 호출을 기록합니다. 이는 API 게이트웨이의 AI 특화 형태입니다. 대규모 언어 모델(LLM) 요청은 토큰 단위로 요금이 책정되고 제한되며, 응답은 스트리밍되는 경우가 많고, 페이로드 형식은 제공업체마다 다르며, 프롬프트와 답변 자체도 프롬프트 인젝션과 개인 데이터 유출 여부를 검사해야 합니다. Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter 같은 호스팅 게이트웨이와 LiteLLM, Kong AI Gateway, Envoy AI Gateway 같은 자체 호스팅 프록시는 일반적으로 OpenAI 호환 API를 제공하므로 기존 클라이언트 코드에서는 기본 URL만 바꾸면 됩니다.

핵심 기능#

대부분의 게이트웨이는 다음과 같은 동일한 기본 구성 요소를 결합합니다:

• 통합 API 및 키: 하나의 요청 형식으로 여러 제공업체를 지원합니다. 게이트웨이는 제공업체 자격 증명을 보관하고 각 팀이나 애플리케이션에 자체 키를 발급하므로, 제공업체 계정에 접근하지 않고도 액세스를 취소하거나 사용량을 계량할 수 있습니다.
• 모델 라우팅 및 대체 경로: 각 요청은 규칙, 비용 또는 학습된 라우터에 따라 선택된 모델로 전달되며, 호출이 실패하거나 속도 제한에 걸리면 백업 모델 또는 제공업체를 통해 재시도합니다.
• 토큰 예산: 제한은 분당 토큰 수와 기간별 지출액을 계산합니다. Azure API Management의 llm-token-limit 정책은 분당 토큰 제한을 초과하면 429를 반환하고 할당량이 소진되면 403을 반환합니다. 요청의 토큰 비용은 완료될 때까지 알 수 없으므로 동시 요청으로 인해 잠시 제한을 초과할 수 있습니다.
• 시맨틱 캐싱: 정확히 일치하거나 의미가 유사한 캐시를 사용해 반복되거나 동등한 프롬프트에 대해 모델을 호출하지 않고 저장된 답변을 반환합니다.
• 가드레일: 프롬프트와 응답이 전달되기 전에 삽입된 지시, 개인 데이터, 정책 위반 여부를 검사합니다.
• 관측 가능성: 모든 호출을 모델, 토큰 수, 지연 시간, 비용과 함께 기록합니다. OpenTelemetry GenAI 시맨틱 규약은 gen_ai.usage.input_tokens과 같은 속성 이름을 표준화하므로 이러한 로그를 여러 모니터링 도구에서 사용할 수 있습니다.

요청은 다음 순서로 검사를 통과합니다:

자체 호스팅 모델용 게이트웨이#

자체 모델을 실행하는 팀에는 모델 서버를 이해하는 게이트웨이가 필요합니다. Kubernetes Gateway API 추론 확장은 Envoy Gateway 및 GKE Gateway와 같은 게이트웨이를 추론 게이트웨이로 전환합니다. 엔드포인트 선택기는 각 모델 서버 복제본의 메트릭(예: 접두사 캐시 상태 및 로드된 LoRA 어댑터)을 확인하고, 각 요청을 가장 빠르게 처리할 수 있는 복제본으로 전송합니다. 이를 통해 vLLM과 같은 서버에서 KV 캐시 재사용률을 높게 유지할 수 있습니다. 각 복제본의 캐시 상태를 고려하지 않는 라운드 로빈 로드 밸런서는 이를 수행할 수 없습니다.

동일한 게이트웨이 제어는 컴퓨터 비전 API에도 적용됩니다. Ultralytics Platform은 공유 모델 API 앞에 이러한 제어를 적용합니다. 요청은 활성 상태인 워크스페이스 API 키로 인증하며, 각 키에는 분당 20건의 요청 제한이 적용됩니다. 제한된 호출에는 Retry-After 헤더가 포함된 429 응답이 반환됩니다. 전용 엔드포인트로 직접 전송된 요청은 이 제한을 우회합니다.

AI 게이트웨이와 관련 용어 비교#

API 게이트웨이는 모든 웹 서비스의 인증, 속도 제한, 라우팅을 처리하고 요청 수를 집계합니다. AI 게이트웨이는 토큰 계량, 제공업체 형식 변환, 스트리밍 지원, 콘텐츠 검사를 추가합니다. 모델 서빙은 모델을 실행하고 예측을 반환하며, 게이트웨이는 하나 이상의 서빙 엔드포인트 앞에 위치합니다. AI 에이전트 오케스트레이션은 도구와 모델을 활용하는 다단계 작업을 계획하며, 에이전트의 개별 모델 호출은 게이트웨이를 거칠 수 있습니다. 모델 컨텍스트 프로토콜은 에이전트를 도구에 연결하며, Azure API Management를 포함한 일부 게이트웨이는 동일한 키, 제한, 로그를 사용해 MCP 서버를 관리합니다.

게이트웨이는 모든 호출에 네트워크 홉을 하나 추가하고 모든 AI 기능이 공유하는 의존성이 되므로, 프로덕션 배포에서는 여러 영역에 걸쳐 중복 실행됩니다. 호스팅 게이트웨이는 모든 프롬프트와 응답을 볼 수 있으므로 데이터 프라이버시 검토 범위에 포함됩니다. Cloudflare AI Gateway 및 LiteLLM과 같은 게이트웨이에서는 프롬프트와 응답 본문 저장을 비활성화할 수 있습니다.