AI Gateway

Yapay zekâ ağ geçidi, uygulamalarla uygulamaların çağırdığı yapay zekâ modelleri arasında duran bir vekil sunucudur. Uygulamalar her isteği tek bir uç noktaya gönderir; ağ geçidi ise sağlayıcı kimlik bilgilerini yönetir, modeli seçer, başarısız istekleri yeniden dener, kullanım sınırlarını uygular, önbelleğe alınmış yanıtları sunar, içeriği denetler ve her çağrıyı kaydeder. Bu, API ağ geçidinin yapay zekâya özgü biçimidir: büyük dil modeli (LLM) istekleri belirteçlere göre ücretlendirilir ve sınırlandırılır, yanıtlar genellikle akış hâlinde iletilir, yük biçimleri sağlayıcıya göre değişir ve istemlerle yanıtların istem enjeksiyonu ile sızdırılmış kişisel veriler açısından denetlenmesi gerekir. Cloudflare AI Gateway, Vercel AI Gateway ve OpenRouter gibi barındırılan ağ geçitleri ile LiteLLM, Kong AI Gateway ve Envoy AI Gateway gibi kendi sunucunda barındırılan vekil sunucular genellikle OpenAI uyumlu bir API sunar; bu nedenle mevcut istemci kodunda yalnızca temel URL değiştirilir.

Temel İşlevler#

Çoğu ağ geçidi aynı temel bileşenleri bir araya getirir:

• Birleşik API ve anahtarlar: Tek bir istek biçimi birçok sağlayıcıyı kapsar. Ağ geçidi, sağlayıcı kimlik bilgilerini saklar ve her ekibe veya uygulamaya kendi anahtarlarını verir; böylece sağlayıcı hesaplarına dokunmadan erişim iptal edilebilir veya ölçülebilir.
• Model yönlendirme ve yedekler: Her istek, kurallara, maliyete veya öğrenilmiş bir yönlendiriciye göre seçilen bir modele gider; başarısız olan veya hız sınırına takılan çağrı yedek bir model ya da sağlayıcı üzerinden yeniden denenir.
• Belirteç bütçeleri: Sınırlar, dakika başına belirteç sayısını ve dönem başına harcamayı takip eder. Azure API Management'ın llm-token-limit ilkesi, dakika başına belirteç sınırı aşıldığında 429, kota tükendiğinde ise 403 döndürür. Bir çağrının belirteç maliyeti ancak çağrı bittiğinde bilindiğinden eşzamanlı istekler kısa süreliğine sınırı aşabilir.
• Anlamsal önbelleğe alma: Tam eşleşmeye ve anlama dayalı önbellekler, bir modeli çağırmadan yinelenen veya eşdeğer istemler için saklanan yanıtları döndürür.
• Güvenlik kuralları: İstemler ve yanıtlar, iletilmeden önce enjekte edilmiş talimatlar, kişisel veriler ve ilke ihlalleri açısından taranır.
• Gözlemlenebilirlik: Her çağrı; modeli, belirteç sayılarını, gecikmeyi ve maliyeti içerecek şekilde kaydedilir. OpenTelemetry GenAI anlamsal kuralları, gen_ai.usage.input_tokens gibi öznitelik adlarını standartlaştırır; böylece bu günlükler farklı izleme araçlarıyla çalışır.

Bir istek bu denetimlerden sırayla geçer:

Kendi Sunucunda Barındırılan Modeller için Ağ Geçitleri#

Kendi modellerini çalıştıran ekiplerin model sunucularını anlayan bir ağ geçidine ihtiyacı vardır. Kubernetes Gateway API Inference Extension, Envoy Gateway ve GKE Gateway gibi ağ geçitlerini çıkarım ağ geçitlerine dönüştürür: uç nokta seçici, her model sunucusu replikasından önek önbelleği durumu ve hangi LoRA bağdaştırıcılarının yüklü olduğu gibi ölçümleri okur, ardından her isteği en hızlı yanıt verebilecek replikaya gönderir. Bu, vLLM gibi sunucularda KV önbelleğinin yeniden kullanımını artırır. Her replikada önbelleğe alınanları dikkate almayan, dönüşümlü bir yük dengeleyici bunu yapamaz.

Aynı ağ geçidi denetimleri bilgisayarlı görü API'leri için de geçerlidir. Ultralytics Platform, bu denetimleri paylaşılan model API'sinin önüne koyar: istekler etkin herhangi bir çalışma alanı API anahtarıyla kimlik doğrulaması yapar, her anahtar dakikada 20 istekle sınırlandırılır ve hız sınırına takılan çağrılar Retry-After başlığı içeren 429 yanıtı alır. Doğrudan özel bir uç noktaya gönderilen istekler bu sınırlayıcıyı atlar.

Yapay Zekâ Ağ Geçidi ve İlgili Terimler#

Bir API ağ geçidi, herhangi bir web hizmeti için kimlik doğrulamayı, hız sınırlarını ve yönlendirmeyi yönetir; istekleri sayar. Yapay zekâ ağ geçidi ise belirteç hesaplaması, sağlayıcılar arasında çeviri, akış desteği ve içerik denetimi ekler. Model sunumu, modeli çalıştırıp tahminleri döndürür; ağ geçidi ise bir veya daha fazla sunum uç noktasının önünde durur. Yapay zekâ ajanı orkestrasyonu, araçlar ve modeller arasında çok adımlı işleri planlar; ajanın tek tek model çağrıları bir ağ geçidinden geçebilir. Model Bağlamı Protokolü, ajanları araçlara bağlar. Azure API Management dâhil bazı ağ geçitleri, MCP sunucularını aynı anahtarlar, sınırlar ve günlüklerle yönetir.

Ağ geçitleri her çağrıya bir ağ adımı ekler ve her yapay zekâ özelliğinin paylaştığı bir bağımlılık hâline gelir; bu nedenle üretim dağıtımlarında farklı bölgelerde yedekli olarak çalıştırılır. Barındırılan ağ geçitleri ayrıca her istemi ve yanıtı görür; bu da onları veri gizliliği incelemelerinin kapsamına sokar. Cloudflare AI Gateway ve LiteLLM gibi ağ geçitlerinde istem ve yanıt gövdelerinin saklanması devre dışı bırakılabilir.