Compound AI Systems

Bileşik yapay zekâ sistemi; tek bir modele yapılan tek bir çağrı yerine, bir görevi birbiriyle etkileşen çeşitli bileşenlerle çözen bir uygulamadır. Bu bileşenler arasında birden fazla model çağrısı, bilgi getiriciler, harici araçlar, kurallar ve insan incelemesi yer alabilir. Berkeley, Stanford, Databricks ve diğer gruplardan Matei Zaharia ve çalışma arkadaşları, eğilimden Şubat 2024 tarihli bir Berkeley Yapay Zekâ Araştırmaları gönderisinde söz ederek son teknoloji sonuçların giderek yekpare modellerden çok sistemlerden geldiğini savundu. Örnekleri arasında, büyük dil modellerini (LLM'ler) kullanarak bir milyona kadar aday program üreten, ardından bunları filtreleyip puanlayan AlphaCode 2; olimpiyat geometrisi problemlerini çözmek için bir LLM'yi sembolik çıkarım motoruyla birleştiren AlphaGeometry ve modeli web'de gezinme, Python çalıştırma veya görüntü oluşturma zamanının geldiğine karar veren ChatGPT bulunur. Aynı gönderide, Databricks verilerine atıfla LLM uygulamalarının %60'ının bir tür getirimle zenginleştirilmiş üretim (RAG) kullandığı, %30'unun ise çok adımlı zincirlerden yararlandığı belirtilir.

Daha Büyük Modeller Yerine Neden Sistemler Kurulur?#

• Daha düşük maliyetle kalite artışı: Örnekleme, oylama ve doğrulama, daha büyük bir model eğitmekten daha düşük maliyetle doğruluğu artırabilir. Google, CoT@32 ile MMLU kıyaslamasında Gemini Ultra'nın %90.04 elde ettiğini bildirdi. Bu yöntemde 32 düşünce zinciri yanıtı örneklenir ve yeterli sayıda yanıt aynı fikirde olduğunda çoğunluk yanıtı döndürülür. Beş örnekli istem kullanan GPT-4 ise %86.4 elde etmiştir.
• Güncel veriler: Bir modelin bilgisi, eğitim kesim noktasında sona erer. Bir bilgi getirici veya vektör veri tabanı, sorgu sırasında güncel, özel ya da erişim denetimli bilgiler sağlar.
• Denetim ve güven: Filtreler, yapay zekâ koruma önlemleri, atıflar ve doğrulama adımları, davranışı kısıtlamayı tek bir modele istem verip uyacağını ummaktan daha kolay hâle getirir.
• Maliyet hedefleri: Model yönlendirme, kolay istekleri küçük modellere, zor istekleri ise büyük modellere gönderir; böylece her uygulama kalite, gecikme ve fiyat arasında kendi dengesini seçebilir.

Tek bir istek akışı bu dört fikrin tümünü birleştirebilir:

Bilgisayarlı Görüde Bileşik Sistemler#

Üretim ortamındaki görü uygulamaları neredeyse varsayılan olarak bileşiktir: bir algılayıcı nesneleri bulur, bir izleyici bu nesneleri kareler boyunca ilişkilendirir, geometrik kurallar konumları olaylara dönüştürür; depolama ve uyarılar da bu olayları işler. Ultralytics Solutions, çeşitli bu tür sistemleri bir YOLO26 modeli etrafında paketler: nesne sayımı, algılamayı, çoklu nesne takibini ve her izleme kimliğini girişte veya çıkışta yalnızca bir kez sayan bir çizgi ya da bölge denetimini birleştirir. Güvenlik alarm sistemi ise görünür alandaki algılama sayısı belirlenen eşiğe ulaşınca bir kareyi e-postayla gönderir. Daha küçük işlem hatları da aynı düzeni izler: bir model, ayrı mantık bileşenlerinin işleyeceği yapılandırılmış gözlemler üretir:

from ultralytics import YOLO

# # Algılama bileşeni: algılayıcı, pikselleri yapılandırılmış gözlemlere dönüştürür
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
detections = results[0].summary()

# # Politika bileşeni: belirlenimci kurallar, güvenilir algılamaları kabul eder ve belirsiz olanları işaretler
accepted = [d["name"] for d in detections if d["confidence"] >= 0.5]
uncertain = [d["name"] for d in detections if d["confidence"] < 0.5]

# # Yönlendirme bileşeni: belirsiz sonuçlar, sonraki otomasyon adımlarına değil bir kişiye gönderilir
action = "human review" if uncertain else "auto-approve"
print({"accepted": accepted, "uncertain": uncertain, "action": action})

Yazdırılan karar, incelemeyi yapan kişinin modeli yeniden eğitmeden okuyup değiştirebileceği kurallardan gelir. Ayrıca etkin öğrenme döngüsünde insanlara yönlendirilen belirsiz görüntülerin etiketlenmesi, sonraki model için eğitim verisi sağlar.

Bileşik Sistemleri Oluşturma ve İşletme#

Bileşenler boyunca hatalar çarpılarak artar: her biri zamanın %90'ında doğru sonuç veren üç aşama, uçtan uca yalnızca yaklaşık %73 oranında doğru sonuç üretir. Bu nedenle ekipler, her parçayı tek başına ölçmek yerine tüm sistemi sabit bir görev paketinde ölçer. Arama motorları ve kurallar gibi gradyanlarla eğitilemeyen bileşenler başka eniyileyicilere ihtiyaç duyar. DSPy gibi çerçeveler, bir işlem hattındaki tüm istemleri uçtan uca tek bir metriğe göre ayarlar. Üretim ortamında gözlemlenebilirlik izleri, her isteği tüm model çağrıları ve araçlar boyunca takip eder. Sürümleme ve model izleme gibi makine öğrenimi operasyonları (MLOps) uygulamaları da her bileşen için geçerlidir; çünkü bir bileşendeki güncelleme, sonraki bileşenin girdilerini fark edilmeden değiştirebilir.

Bileşik Yapay Zekâ ve İlgili Terimler#

• Model toplulukları: Aynı girdi için birkaç modelin tahminini tek bir çıktıda birleştirir; bu nedenle topluluk, bileşik bir sistemin içerebileceği düzenlerden biridir.
• Ajan tabanlı iş akışları: Modelin çalışma zamanında kontrol akışına karar vererek araçları ve adımları seçtiği bileşik sistemlerdir. Birçok bileşik sistem, bu tür kararlar içermeyen sabit işlem hatları kullanır.
• Uzmanlar karışımı (MoE): Tokenları, parçaları birlikte eğitilen tek bir modelin içindeki uzman alt ağlara yönlendirir. Bileşik sistemler ise istekleri ayrı ayrı oluşturulup dağıtılan bileşenlere yönlendirir.