AI Gateway

Yapay zekâ ağ geçidi, uygulamalar ile bir veya daha fazla yapay zekâ hizmeti arasına yerleştirilen bir kontrol katmanıdır. API ağ geçidi gibi istekleri alır ve arka uçlara iletir; ancak model seçimi, token veya işlem kullanımı, güvenlik, gizlilik, maliyet ve performans için yapay zekâya özgü kontroller ekler. Bulut modelleri, kendi barındırdığın sistemler ve Ultralytics YOLO model sunumu için tek ve kararlı bir uç nokta sağlayabilir; böylece modelleri ve sağlayıcıları değiştikçe üretim yapay zekâ sistemlerini yönetmek kolaylaşır. (learn.microsoft.com)

Yapay Zekâ Ağ Geçidi Nasıl Çalışır#

Ağ geçidi, her gelen isteği bir çıkarım motoruna göndermeden önce değerlendirir. Yapılandırılan politikalara bağlı olarak şunları yapabilir:

• İstekleri doğrulama ve koruma: Erişim denetimlerini, kotaları, girdi doğrulamasını ve OWASP LLM Uygulamaları için En İyi 10 temelindeki savunmaları, daha kapsamlı veri güvenliği uygulamalarıyla birlikte uygular.
• Trafiği akıllıca yönlendirme: Gecikme süresine, kullanılabilirliğe, maliyete, bölgeye, göreve veya donanım yüküne göre bir model ya da uç nokta seçer. Kubernetes Gateway API Inference Extension, kendi barındırdığın üretken modeller için model farkındalıklı yönlendirmeyi standartlaştırır.
• Güvenilirliği artırma: Bir sağlayıcı veya model kullanılamaz hâle geldiğinde yeniden denemeleri, yük dengelemeyi ve Vercel AI Gateway model geri dönüşlerini kullanır.
• Tüketimi kontrol etme: Envoy Gateway rate limiting gibi politikalar aracılığıyla istek, token veya işlem bütçelerini uygular.
• Telemetri kaydı: Gözlemlenebilirlik sistemleri aracılığıyla gecikme süresini, hataları, model seçimlerini ve kullanımı; OpenTelemetry GenAI attributes gibi standartları kullanarak yakalar. (gateway.envoyproxy.io)

Gerçek Dünya Uygulamaları#

• Perakende Görüntü Denetimi: Kameralar, ürün görüntülerini bir ağ geçidi üzerinden bir YOLO26 nesne algılama modeline gönderir. Ağ geçidi her mağazanın kimliğini doğrular, istek hacmini sınırlar, trafiği en yakın dağıtıma yönlendirir ve hataları bir yedek uç noktaya göndererek güvenilir gerçek zamanlı çıkarımı destekler.
• Çok Modelli Müşteri Asistanı: Bir uygulama, basit soruları daha düşük maliyetli bir modele ve karmaşık istekleri daha yetenekli bir modele yönlendirmek için Vercel AI Gateway birleşik API'sini veya Cloudflare AI Gateway'i kullanır. Günlükler maliyet analizi, hata ayıklama ve model izleme için destek sağlar.
• Kurumsal Yapay Zekâ Erişimi: Kuruluşlar, modelleri, araçları ve uzak Model Context Protocol hizmetlerini merkezi kimlik doğrulama, kotalar, günlük kaydı ve içerik güvenliği politikaları aracılığıyla yönetmek için Azure API Management AI gateway özelliklerini kullanabilir. (learn.microsoft.com)

Bilgisayarlı Görü Örneği#

Çıkarım kodu tahmin işlemine odaklanmaya devam ederken ağ geçidi erişimi, yönlendirmeyi, sınırları ve telemetrinin yönetimini üstlenir:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model.predict("https://ultralytics.com/images/bus.jpg")
detections = len(results[0].boxes)
print({"detections": detections})

Bu işleyici, dağıtım izleme istekleri, gecikme süresini, hataları, günlükleri ve sistem durumu kontrollerini takip eden bir Ultralytics Platform dağıtım uç noktasının arkasında çalışabilir. (learn.microsoft.com)

Yapay Zekâ Ağ Geçidi ve İlgili Terimler#

Yapay zekâ ağ geçidi, model yürütmesinden önce ve sonra trafiği yönetirken model dağıtımı bir modeli üretime alır ve model sunumu tahminleri gerçekleştirir. Çıkarım ağ geçidi daha özelleşmiştir; model replikaları veya hızlandırıcılar arasındaki yönlendirmeyi optimize eder. Buna karşılık yapay zekâ ajanı orkestrasyonu, ağ erişimini kontrol etmek yerine çok adımlı kararları ve araçları koordine eder.

Güncel en iyi uygulamalar arasında günlüğe kaydedilen hassas içeriği en aza indirmek, veri gizliliği kontrollerini uygulamak, geri dönüş yollarını test etmek, model bazında kaliteyi ve maliyeti takip etmek ve NIST Üretken Yapay Zekâ Risk Yönetimi Profilini izlemek yer alır. LLM kontrol düzlemleri ve model yönlendirmedeki hasmâne riskler üzerine yapılan güncel araştırmalar da denetlenebilir politikaların ve güvenli yönlendirme kararlarının önemini vurgular. (nist.gov)