AI Gateway
AI gateway là proxy nằm giữa ứng dụng và model AI, hợp nhất API của các nhà cung cấp, đồng thời bổ sung định tuyến, cơ chế dự phòng, ngân sách token, caching và logging.
AI gateway là một proxy nằm giữa các ứng dụng và model AI mà ứng dụng gọi. Ứng dụng gửi mọi yêu cầu đến một endpoint, còn gateway xử lý thông tin xác thực của nhà cung cấp, chọn model, thử lại khi có lỗi, áp dụng giới hạn sử dụng, cung cấp câu trả lời đã lưu trong bộ nhớ đệm, sàng lọc nội dung và ghi lại từng lệnh gọi. Đây là dạng API gateway chuyên biệt cho AI: các yêu cầu mô hình ngôn ngữ lớn (LLM) được tính giá và giới hạn theo token, phản hồi thường được truyền phát trực tiếp, định dạng payload khác nhau tùy nhà cung cấp, còn prompt và câu trả lời cần được kiểm tra để phát hiện prompt injection và dữ liệu cá nhân bị rò rỉ. Các gateway lưu trữ như Cloudflare AI Gateway, Vercel AI Gateway và OpenRouter, cùng các proxy tự lưu trữ như LiteLLM, Kong AI Gateway và Envoy AI Gateway, thường cung cấp API tương thích với OpenAI, do đó mã client hiện có chỉ cần thay đổi URL cơ sở.
Chức năng cốt lõi#
Hầu hết gateway kết hợp các thành phần cơ bản giống nhau:
- API và khóa thống nhất: Một định dạng yêu cầu dùng được với nhiều nhà cung cấp. Gateway lưu thông tin xác thực của nhà cung cấp và cấp khóa riêng cho từng nhóm hoặc ứng dụng, nhờ đó có thể thu hồi quyền truy cập hoặc đo lường mức sử dụng mà không cần thay đổi tài khoản nhà cung cấp.
- Định tuyến model và phương án dự phòng: Mỗi yêu cầu được gửi đến một model được chọn theo quy tắc, chi phí hoặc bộ định tuyến đã học; nếu lệnh gọi thất bại hoặc bị giới hạn tốc độ, hệ thống sẽ thử lại với model hoặc nhà cung cấp dự phòng.
- Ngân sách token: Giới hạn tính số token mỗi phút và mức chi tiêu theo từng kỳ. Chính sách
llm-token-limitcủa Azure API Management trả về 429 khi vượt giới hạn token mỗi phút và 403 khi hết hạn mức; các yêu cầu đồng thời có thể tạm thời vượt giới hạn vì chỉ biết chi phí token của một lệnh gọi khi lệnh gọi đó hoàn tất. - Bộ nhớ đệm ngữ nghĩa: Bộ nhớ đệm khớp chính xác và theo ý nghĩa trả về câu trả lời đã lưu cho các prompt lặp lại hoặc tương đương mà không cần gọi model.
- Guardrail: Prompt và phản hồi được quét để tìm chỉ thị bị chèn, dữ liệu cá nhân và nội dung vi phạm chính sách trước khi được chuyển tiếp.
- Khả năng quan sát: Mỗi lệnh gọi được ghi nhật ký kèm model, số lượng token, độ trễ và chi phí. Các quy ước ngữ nghĩa GenAI của OpenTelemetry chuẩn hóa tên thuộc tính như
gen_ai.usage.input_tokens, nhờ đó những nhật ký này tương thích với nhiều công cụ giám sát.
Một yêu cầu lần lượt đi qua các bước kiểm tra sau:
Gateway cho model tự lưu trữ#
Các nhóm tự chạy model cần một gateway hiểu được model server. Phần mở rộng Inference của Kubernetes Gateway API biến các gateway như Envoy Gateway và GKE Gateway thành gateway suy luận: bộ chọn endpoint đọc chỉ số từ từng bản sao model server, chẳng hạn trạng thái prefix cache và các adapter LoRA đang được tải, rồi gửi từng yêu cầu đến bản sao có thể xử lý nhanh nhất. Cách này duy trì mức tái sử dụng KV cache cao trên các server như vLLM; bộ cân bằng tải luân phiên không làm được điều đó vì không xét đến dữ liệu đã lưu trong cache của từng bản sao.
Các biện pháp kiểm soát tương tự của gateway cũng áp dụng cho API thị giác máy tính. Ultralytics Platform đặt các biện pháp này trước API model dùng chung: yêu cầu xác thực bằng bất kỳ API key workspace nào còn hoạt động, mỗi key bị giới hạn ở 20 yêu cầu mỗi phút và các lệnh gọi bị giới hạn nhận phản hồi 429 kèm header Retry-After. Yêu cầu gửi thẳng đến endpoint chuyên dụng sẽ bỏ qua giới hạn đó.
AI gateway và các thuật ngữ liên quan#
API gateway xử lý xác thực, giới hạn tốc độ và định tuyến cho mọi dịch vụ web, đồng thời đếm số yêu cầu. AI gateway bổ sung tính toán token, chuyển đổi giữa các nhà cung cấp, hỗ trợ truyền phát và kiểm tra nội dung. Phục vụ model chạy model và trả về dự đoán; gateway nằm phía trước một hoặc nhiều endpoint phục vụ model. Điều phối tác tử AI lập kế hoạch cho các tác vụ nhiều bước trên nhiều công cụ và model; từng lệnh gọi model của tác tử có thể đi qua gateway. Model Context Protocol kết nối tác tử với công cụ; một số gateway, bao gồm Azure API Management, quản lý các MCP server bằng cùng hệ thống khóa, giới hạn và nhật ký.
Gateway bổ sung một chặng mạng cho mỗi lệnh gọi và trở thành một phụ thuộc dùng chung cho mọi tính năng AI, vì vậy các hệ thống triển khai production chạy chúng dự phòng trên nhiều vùng. Gateway lưu trữ cũng nhìn thấy mọi prompt và phản hồi, khiến chúng thuộc phạm vi đánh giá về quyền riêng tư dữ liệu; các gateway như Cloudflare AI Gateway và LiteLLM có thể tắt việc lưu trữ nội dung prompt và phản hồi.
