AI Gateway

AI gateway, uygulamalar ile bir veya daha fazla yapay zeka servisi arasına yerleştirilen bir kontrol katmanıdır. Bir API gateway gibi istekleri alır ve arka uçlara iletir; ancak model seçimi, token veya hesaplama kullanımı, güvenlik, gizlilik, maliyet ve performans için yapay zeka odaklı kontroller ekler. Bulut modelleri, kendi kendine barındırılan sistemler ve Ultralytics YOLO model sunumu için tek ve istikrarlı bir uç nokta sağlayarak, modeller ve sağlayıcılar değiştikçe üretim yapay zeka sistemlerinin yönetilmesini kolaylaştırır. (learn.microsoft.com)

Link to this sectionAI Gateway Nasıl Çalışır#

Gateway, her gelen isteği bir çıkarım motoruna göndermeden önce değerlendirir. Yapılandırılmış politikalara bağlı olarak şunları yapabilir:

• İsteklerin kimliğini doğrula ve koru: OWASP Top 10 for LLM Applications ve daha geniş kapsamlı veri güvenliği uygulamalarıyla birlikte erişim kontrolleri, kotalar, girdi doğrulama ve savunma mekanizmaları uygula.
• Trafiği akıllıca yönlendir: Gecikme, kullanılabilirlik, maliyet, bölge, görev veya donanım yüküne göre bir model veya uç nokta seç. Kubernetes Gateway API Inference Extension, kendi kendine barındırılan üretken modeller için modele duyarlı yönlendirmeyi standartlaştırır.
• Güvenilirliği artır: Bir sağlayıcı veya model kullanılamaz hale geldiğinde yeniden denemeler, yük dengeleme ve Vercel AI Gateway model yedekleme özelliklerini kullan.
• Tüketimi kontrol et: Envoy Gateway hız sınırlama gibi politikalar aracılığıyla istek, token veya hesaplama bütçelerini zorunlu kıl.
• Record telemetry: Capture latency, errors, model choices, and usage through observability systems using standards such as OpenTelemetry GenAI attributes. (gateway.envoyproxy.io)

Link to this sectionGerçek Dünya Uygulamaları#

• Perakende Görsel Denetim: Kameralar, ürün görsellerini bir gateway aracılığıyla bir YOLO26 nesne algılama modeline gönderir. Gateway, her mağazanın kimliğini doğrular, istek hacmini sınırlandırır, trafiği en yakın dağıtıma yönlendirir ve hataları yedek bir uç noktaya göndererek güvenilir gerçek zamanlı çıkarımı destekler.
• Çok Modelli Müşteri Asistanı: Bir uygulama, basit soruları düşük maliyetli bir modele ve karmaşık istekleri daha yetenekli bir modele yönlendirmek için Vercel AI Gateway birleşik API veya Cloudflare AI Gateway kullanır. Günlükler, maliyet analizi, hata ayıklama ve model izlemeyi destekler.
• Enterprise AI Access: Organizations can use Azure API Management AI gateway capabilities to govern models, tools, and remote Model Context Protocol services through centralized authentication, quotas, logging, and content-safety policies. (learn.microsoft.com)

Link to this sectionBilgisayarlı Görü Örneği#

Çıkarım kodu tahmine odaklanmaya devam ederken, gateway erişimi, yönlendirmeyi, sınırları ve telemetriyi yönetir:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})

This handler could run behind an Ultralytics Platform deployment endpoint, where deployment monitoring tracks requests, latency, errors, logs, and health checks. (learn.microsoft.com)

Link to this sectionAI Gateway ve İlgili Terimler#

Bir AI gateway, model yürütme öncesinde ve sonrasında trafiği yönetirken, model dağıtımı bir modeli üretime alır ve model sunumu tahminleri çalıştırır. Bir çıkarım gateway'i, model kopyaları veya hızlandırıcılar arasındaki yönlendirmeyi optimize ederek daha uzmanlaşmış bir işlev görür. Bu arada, AI ajan orkestrasyonu, ağ erişimini kontrol etmek yerine çok adımlı kararları ve araçları koordine eder.

Güncel en iyi uygulamalar arasında günlüğe kaydedilen hassas içeriği en aza indirmek, veri gizliliği kontrollerini uygulamak, yedek yolları test etmek, model başına kaliteyi ve maliyeti izlemek ve NIST Generative AI Risk Management Profile kılavuzunu takip etmek yer alır. LLM kontrol düzlemleri ve model yönlendirmedeki düşmanca riskler üzerine yapılan son araştırmalar da denetlenebilir politikaların ve güvenli yönlendirme kararlarının önemini vurgulamaktadır. (nist.gov)