AI Agent Orchestration

Yapay zekâ ajanı orkestrasyonu, birden çok yapay zekâ ajanı, model ve araçtan oluşan bir sistemin koordinasyon katmanıdır. Her görevin hangi bileşen tarafından ele alınacağına, her bileşene hangi bağlamın verileceğine, bunların hangi sırayla çalışacağına, işi birbirlerine nasıl devredeceklerine ve sonuçlarının nasıl birleştirilip denetleneceğine karar verir. Orkestratör, sabit kontrol akışına sahip sıradan bir kod, çalışma zamanında planlama ve görev devri yapan bir LLM ya da ikisinin birleşimi olabilir. Arama ajanı, kodlama ajanı ve bir bilgisayarlı görü modeli gibi uzmanları bir araya getirerek hiçbir büyük dil modeli (LLM) çağrısının tek başına tamamlayamayacağı görevleri yerine getiren tek bir sistem oluşturan şey orkestrasyondur.

Orkestrasyon Katmanı Ne Yapar?#

• Yönlendirme: Her alt görevi, genellikle kolay adımlar için küçük ve hızlı bir modele, zor adımlar içinse en gelişmiş modele olmak üzere, göreve en uygun ajan veya modele gönderir.
• Bağlam yönetimi: Her ajana yalnızca ihtiyaç duyduğu talimatları, dosyaları ve önceki sonuçları verir. Ayrı bağlam pencerelerinde çalışan alt ajanlar derinlemesine araştırma yapıp kısa bir özet döndürebilir; böylece baş ajanının bağlamını doldurmazlar.
• Yapılandırılmış devirler: Sonraki adımın biçime güvenebilmesi için sonuçları sabit şemalı JSON gibi doğrulanmış veriler olarak ajanlar arasında aktarır.
• Hata yönetimi: Başarısız adımları yeniden dener, zaman aşımlarını ve bütçeleri uygular, önemli sonuçlar doğurabilecek eylemlerden önce insan onayı için duraklar.
• Gözlemlenebilirlik: Hataların bulunup yeniden oynatılabilmesi için her çağrının, araç sonucunun ve kararın izini kaydeder.

Yaygın Orkestrasyon Kalıpları#

Çoğu sistem birkaç tekrarlayan orkestrasyon kalıbını bir arada kullanır:

• Sıralı işlem hatları: Her ajan önceki ajanın çıktısı üzerinde sabit bir sırayla çalışır; örneğin taslak hazırlama, gözden geçirme ve ardından çeviri.
• Eşzamanlı dallanma: Birkaç ajan aynı girdi üzerinde paralel çalışır; bir toplayıcı sonuçlarını birleştirir veya oylamayla seçer.
• Orkestratör-çalışanlar: Baş ajan, çalışma zamanında görevi alt görevlere böler, bunları çalışan ajanlara devreder ve dönen sonuçları sentezler. Bu hiyerarşik kalıp, adımları önceden listelenemeyen açık uçlu görevlere uygundur.
• Devir: Bir ajan, örneğin bir önceliklendirme ajanının faturalandırma sorusunu faturalandırma ajanına aktarması gibi, tüm konuşmayı daha uygun bir uzmana devreder.
• Grup sohbeti ve tartışma: Ajanlar, bir moderatörün gözetiminde ortak bir konu dizisinde sırayla söz alır, birbirlerinin katkılarını eleştirir ve bu katkıların üzerine yeni fikirler ekler.
• Değerlendirici-optimize edici: Bir ajan sonuç üretir, diğeri bunu ölçütlere göre değerlendirir; sonuç onaylanana kadar bu döngü sürer.

LangGraph, OpenAI Agents SDK, Google's Agent Development Kit ve AutoGen ile Semantic Kernel'in ardılı olan Microsoft Agent Framework gibi çerçeveler, bu kalıpları ortak durum bilgisine sahip ajan ve araç grafiklerine dönüştürür. İki açık protokol, bu bileşenleri birbirine bağlar: Model Bağlamı Protokolü (MCP), ajanları araçlara ve verilere bağlar; Ajanlar Arası (A2A) protokolü ise farklı satıcıların geliştirdiği ajanların birbirlerine görev devretmesini sağlar.

Orkestrasyon ve İlgili Terimler#

• Ajan tabanlı iş akışları: İş akışı, LLM çağrıları ile araçların önceden tanımlanmış tek bir dizisidir. Orkestrasyon, birçok ajan ve iş akışının daha geniş kapsamlı koordinasyonudur; kodla veya çalışma zamanında plan yapan bir LLM tarafından yürütülebilir.
• Ajan Karışımı (MoA): Birkaç modelin aynı istemi yanıtladığı ve bir birleştirici modelin tek, iyileştirilmiş bir yanıt oluşturduğu belirli bir eşzamanlılık kalıbıdır. Genel orkestrasyon ise genellikle farklı alt görevleri farklı ajanlara atar.
• Bileşik yapay zekâ sistemleri: Modelleri, getiricileri ve araçları bir araya getiren sistemler için kullanılan genel terimdir. Orkestrasyon, böyle bir sistemin içindeki kontrol mantığıdır.
• Kubernetes ve konteyner orkestrasyonu: Konteynerleri makineler arasında planlar ve ölçeklendirir. Ajan orkestrasyonu, akıl yürütme ve araç adımlarını koordine eder; ajan platformları da çoğu zaman altta konteyner orkestratörleri üzerinde çalışır.

Görsel Modellerin Orkestrasyonu#

Görsel sistemler, modelleri işçi olarak kullanarak aynı kalıpları uygular: hızlı bir nesne algılayıcı her görüntüde çalışır ve hangi görüntülerin daha yavaş bir uzmana gönderilmeye değer olduğuna karar verir. Ultralytics Platform Agents, bu iş akışlarını görsel olarak oluşturur; bir YOLO26 bloğunu algılama sayılarını veya güven aralıklarını denetleyen Gate bloklarına, oradan da görsel-dil modeli, veri kümesi, Slack ve webhook bloklarına bağlar. Böylece “YOLO → VLM Monitor” iş akışı, VLM'den bir sahneyi yalnızca YOLO bir kişi algıladığında açıklamasını ister. Python'daki aynı yönlendirme, görüntüyü yalnızca algılayıcı kişi bulduğunda bir poz tahmini işçisine gönderir:

from ultralytics import YOLO

# Worker models: a general detector and a pose specialist
detector = YOLO("yolo26n.pt")
pose_worker = YOLO("yolo26n-pose.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Orchestrator step 1: run the detector and read its findings
detections = detector(image)[0]
people = int((detections.boxes.cls == 0).sum())

# Orchestrator step 2: route to the pose worker only when people are present
if people:
    poses = pose_worker(image)[0]
    print(f"{people} people detected, {len(poses.keypoints)} poses estimated")
else:
    print("No people detected, pose worker skipped")

Algılayıcının sonucu, ikinci modelin çalışıp çalışmayacağına karar verir; pahalı modellerin ihtiyaç duymayan görüntüler üzerinde çalışmasını engelleyen eşik kontrollü işlem hatları bu şekilde kurulur.

Gerçek Dünya Uygulamaları#

• Üretim: Bir sensör alarm verdiğinde orkestratör, kamera karelerini kusur denetimi yapan bir ajana gönderir ve bir LLM ajanından bakım kayıtlarını aramasını ister; ardından her iki bulguyu bir onarım talebinde birleştirir.
• Belge işleme: Taranmış sayfalar, tablo ve alanları çıkaran nesne algılama ve OCR işçilerine gönderilir; bir akıl yürütme modeli çıkarılan değerleri ilkelerle karşılaştırır ve güven düzeyi düşük sayfalar bir insan denetçiye iletilir.
• Ajan tabanlı kodlama: Bir kodlama ajanı, kod tabanında arama yapmak, testleri çalıştırmak ve değişiklik farkını incelemek için alt ajanlar başlatır; böylece ana değişiklik üzerinde çalışırken kendi bağlamını boş tutar.
• Müşteri hizmetleri: Bir önceliklendirme ajanı talebi belirler ve ilgili araçlara ve izinlere sahip faturalandırma, teknik destek veya iade ajanlarına devreder.

Maliyetler ve Hata Türleri#

Orkestrasyon, kapasiteyi daha fazla token ve karmaşıklık karşılığında artırır. Anthropic'in çok ajanlı araştırma sisteminde, Claude Sonnet 4 alt ajanlarını yöneten Claude Opus 4 lider ajanı, şirket içi bir araştırma değerlendirmesinde tek bir Claude Opus 4 ajandan %90,2 daha iyi performans gösterdi. Ancak çok ajanlı çalıştırmalar, sohbet etkileşimlerine kıyasla yaklaşık 15 kat fazla token kullandı; bu nedenle bu yaklaşımın getirisi esas olarak paralel parçalara bölünebilen geniş kapsamlı görevlerde ortaya çıkar. Koordinasyon yeni hata olasılıkları da yaratır: ajanlar talimatlarını yanlış okuyabilir, birbirlerinden bilgi saklayabilir veya görev denetlenmeden durabilir. Çok ajanlı LLM sistemlerinin neden başarısız olduğunu inceleyen bir çalışma, yedi çerçeveden alınmış, açıklama eklenmiş 1.600'den fazla iz kaydını; sistem tasarımı sorunları, ajanlar arası uyumsuzluk ve görev doğrulama başlıkları altında gruplandırılmış 14 hata türüne ayırdı.