Model Routing

Model yönlendirme, gelen her istek için dağıtılmış birkaç AI modelinden hangisinin isteği işleyeceğini seçme yöntemidir. Bir yönlendirici isteği ve bazı tasarımlarda daha düşük maliyetli bir modelin ilk yanıtını inceler, ardından kalite hedefini en düşük maliyetle veya en düşük çıkarım gecikmesiyle karşılayan adaya iletir. Kolay istekler küçük ve hızlı bir modele gider; yalnızca ihtiyaç duyan girdiler daha büyük bir modele ulaşır. Model fiyatları büyük ölçüde değiştiği için tasarruf önemli olabilir: FrugalGPT çalışmasında Stanford'dan Lingjiao Chen, Matei Zaharia ve James Zou, popüler büyük dil modeli (LLM) API'lerinin ücretlerinin yaklaşık iki büyüklük mertebesi kadar farklı olduğunu buldu. Öğrenilmiş kademeli sistemleri, GPT-4 doğruluğunu yüzde 98'e varan daha düşük maliyetle yakaladı.

Yönlendirme Stratejileri#

Yönlendiriciler, karar verirken hangi bilgilere sahip olduklarına göre farklılık gösterir:

• Kural tabanlı yönlendirme: Görev, giriş dili, dosya türü veya müşteri katmanı gibi açık istek alanları modeli belirler. Kurallar öngörülebilirdir ve denetlenmesi kolaydır; belirli bir girdinin ne kadar zor olduğunu değerlendiremezler.
• Öğrenilmiş yönlendirme: Küçük bir sınıflandırıcı, herhangi bir büyük model çalışmadan önce daha zayıf bir modelin yanıtının yeterince iyi olup olmayacağını tahmin eder. Isaac Ong ve LMSYS ile UC Berkeley'deki çalışma arkadaşlarının 2024'te geliştirdiği RouteLLM, Chatbot Arena'daki insan tercih verileriyle bu tür yönlendiricileri eğitti ve bazı senaryolarda yanıt kalitesini düşürmeden maliyetleri yarıdan fazla azalttı.
• Kademeli sistemler: Önce en ucuz model yanıt verir; yanıtın güven düzeyi veya bir puanlama modelinin kararı eşiğin altında kalırsa istek daha üst modele aktarılır. Kademeli sistemler zor girdilerde ikinci bir çağrının maliyetini üstlenir ve kararı ilk yanıtı gördükten sonra verir.

Yönlendirme ürünlerde de kullanılmaya başladı. OpenAI, GPT-5 modelini Ağustos 2025'te ChatGPT'de kullanıma sunduğunda, gerçek zamanlı bir yönlendirici her mesaj için hızlı bir model ile daha derin bir akıl yürütme modeli arasında seçim yaptı; konuşma türünü, karmaşıklığını, araç gereksinimlerini ve "bunu iyice düşün" gibi açık niyetleri dikkate aldı. Bulut platformları da Amazon Bedrock akıllı istem yönlendirme gibi yönetilen yönlendiriciler sunuyor. Bu yönlendiriciler, her istem için yanıt kalitesini tahmin edip aynı aileden iki model arasında seçim yapıyor.

Görüntü İşleme için Güven Kademesi#

Aynı fikir, model dağıtımı kapsamında nesne algılama için de geçerlidir. YOLO26 tek bir API üzerinden beş farklı boyutta sunulur; boyut aralığı, CPU'da ONNX ile görüntü başına 40.9 COCO mAP ve 38.9 ms değerlerine sahip YOLO26n'den 57.5 mAP ve 525.8 ms değerlerine sahip YOLO26x'e kadar uzanır; böylece kademeli bir sistem nano modeli her görüntüde çalıştırabilir ve yalnızca güven düzeyi düşük tespitlerin bulunduğu görüntüleri ekstra büyük modele gönderebilir:

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
small_model = YOLO("yolo26n.pt")
large_model = YOLO("yolo26x.pt")

# Every image goes to the small model first
results = small_model(source)
route = "yolo26n"

# Escalate when the small model finds nothing or is unsure about any detection
confidences = results[0].boxes.conf
if len(confidences) == 0 or confidences.min() < 0.5:
    results = large_model(source)
    route = "yolo26x"

print(f"answered by {route}: {len(results[0].boxes)} objects")

Çıktı, son yanıtı üreten modeli belirtir. 0,5 eşiğini yükseltmek, daha fazla görüntünün YOLO26x'e gönderilmesine yol açar; böylece ortalama hassasiyet ile görüntü başına ortalama maliyet arasındaki dengeyi belirler. Bu değer, dağıtımdan alınan eğitimde kullanılmayan görüntüler üzerinde ayarlanır.

İlgili Terimler#

Model yönlendirme sıklıkla yakın kavramlarla karıştırılır:

• Yük dengeleme: Yükü paylaşmak için istekleri tek bir modelin aynı kopyalarına dağıtır. Her kopya aynı yanıtı verir.
• Uzman karışımı: Tek bir modelin içindeki bir geçitleme ağı, her belirteci birkaç uzman katmanına yönlendirir; uzmanlar geçitleme ağıyla birlikte eğitilir.
• Model topluluğu: Aynı girdi üzerinde birkaç modeli çalıştırıp çıktılarını birleştirir; bu da istek başına maliyeti artırır.
• AI ağ geçidi: Uygulamalar ile model sağlayıcıları arasındaki altyapı katmanıdır; genellikle yönlendiriciyi kimlik doğrulama, hız sınırları ve günlük kaydıyla birlikte barındırır.
• AI ajanı orkestrasyonu: Bir görevin her adımını hangi ajanın veya aracın işleyeceğini seçer; bu adımların her biri kendi model yönlendirme kararını verebilir.

Yönlendiriciler, en güçlü modeli her zaman çağırma temel çizgisine karşı temsili trafik üzerinde değerlendirilir. RouteLLM, yönlendiricinin koruduğu kalite farkı oranını, zayıf ve güçlü model arasındaki kalite farkının ne kadarını koruduğunu, güçlü modele gönderilen çağrıların her oranında ölçer. Üretim ortamında model izleme, gelen trafikteki değişim üçünü de etkilediğinden, her rota için üst modele aktarma oranını, gecikmeyi ve istek başına maliyeti izler.