AI Gateway
Tìm hiểu AI gateway là gì, cách nó điều hướng các model, kiểm soát chi phí, bảo vệ yêu cầu và giám sát inference để triển khai AI và Ultralytics YOLO một cách tin cậy.
AI gateway là một lớp kiểm soát được đặt giữa các ứng dụng và một hoặc nhiều dịch vụ trí tuệ nhân tạo. Giống như một API gateway, nó nhận các yêu cầu và chuyển tiếp chúng đến các backend, nhưng nó bổ sung các kiểm soát dành riêng cho AI như lựa chọn model, mức sử dụng token hoặc tính toán, độ an toàn, quyền riêng tư, chi phí và hiệu suất. Nó có thể cung cấp một endpoint ổn định cho các cloud model, các hệ thống tự lưu trữ và dịch vụ Ultralytics YOLO model, giúp việc quản lý các hệ thống trí tuệ nhân tạo trong môi trường production trở nên dễ dàng hơn khi các model và nhà cung cấp của chúng thay đổi. (learn.microsoft.com)
Link to this sectionCách hoạt động của AI Gateway#
Gateway đánh giá từng yêu cầu đến trước khi gửi yêu cầu đó tới một inference engine. Tùy thuộc vào các chính sách được cấu hình, nó có thể:
- Xác thực và bảo vệ các yêu cầu: Áp dụng các kiểm soát truy cập, hạn ngạch, xác thực đầu vào và các cơ chế phòng thủ dựa trên OWASP Top 10 for LLM Applications, cùng với các thực tiễn bảo mật dữ liệu rộng rãi hơn.
- Định tuyến lưu lượng thông minh: Chọn một model hoặc endpoint dựa trên độ trễ, tính khả dụng, chi phí, khu vực, tác vụ hoặc tải phần cứng. Tiêu chuẩn Kubernetes Gateway API Inference Extension chuẩn hóa việc định tuyến nhận biết model cho các generative model tự lưu trữ.
- Cải thiện độ tin cậy: Sử dụng thử lại, cân bằng tải và Vercel AI Gateway model fallbacks khi một nhà cung cấp hoặc model không khả dụng.
- Kiểm soát mức tiêu thụ: Thực thi các hạn mức về yêu cầu, token hoặc tính toán thông qua các chính sách như Envoy Gateway rate limiting.
- Ghi lại telemetry: Thu thập độ trễ, lỗi, lựa chọn model và mức sử dụng thông qua các hệ thống khả năng quan sát sử dụng các tiêu chuẩn như OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)
Link to this sectionCác ứng dụng trong thực tế#
- Kiểm tra thị giác trong bán lẻ: Các camera gửi hình ảnh sản phẩm qua một gateway tới YOLO26 object detection model. Gateway xác thực từng cửa hàng, giới hạn lưu lượng yêu cầu, định tuyến lưu lượng truy cập tới triển khai gần nhất và gửi các lỗi tới một endpoint dự phòng, hỗ trợ real-time inference đáng tin cậy.
- Trợ lý khách hàng đa model: Một ứng dụng sử dụng Vercel AI Gateway unified API hoặc Cloudflare AI Gateway để định tuyến các câu hỏi đơn giản tới một model chi phí thấp và các yêu cầu phức tạp tới một model có năng lực cao hơn. Nhật ký hỗ trợ phân tích chi phí, gỡ lỗi và giám sát model.
- Truy cập AI cho doanh nghiệp: Các tổ chức có thể sử dụng các tính năng AI gateway của Azure API Management để quản lý các model, công cụ và các dịch vụ Model Context Protocol từ xa thông qua xác thực tập trung, hạn ngạch, ghi nhật ký và các chính sách an toàn nội dung. (learn.microsoft.com)
Link to this sectionVí dụ về thị giác máy tính#
Mã suy luận vẫn tập trung vào việc dự đoán trong khi gateway xử lý việc truy cập, định tuyến, giới hạn và telemetry:
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})Bộ xử lý này có thể chạy đằng sau một Ultralytics Platform deployment endpoint, nơi giám sát triển khai theo dõi các yêu cầu, độ trễ, lỗi, nhật ký và kiểm tra tình trạng. (learn.microsoft.com)
Link to this sectionAI Gateway so với các thuật ngữ liên quan#
Một AI gateway quản lý lưu lượng trước và sau khi thực thi model, trong khi model deployment đưa một model vào môi trường production và model serving thực hiện các dự đoán. Một inference gateway mang tính chuyên biệt hơn, tối ưu hóa việc định tuyến giữa các bản sao model hoặc các bộ tăng tốc. Trong khi đó, AI agent orchestration điều phối các quyết định và công cụ đa bước thay vì kiểm soát truy cập mạng.
Các thực tiễn tốt nhất hiện nay bao gồm giảm thiểu nội dung nhạy cảm được ghi nhật ký, áp dụng các kiểm soát quyền riêng tư dữ liệu, kiểm tra các lộ trình dự phòng, theo dõi chất lượng và chi phí trên mỗi model, và tuân thủ NIST Generative AI Risk Management Profile. Các nghiên cứu gần đây về LLM control planes và rủi ro đối nghịch trong định tuyến model cũng nhấn mạnh tầm quan trọng của các chính sách có thể kiểm tra và các quyết định định tuyến bảo mật. (nist.gov)
