Large Action Models (LAM)

Büyük eylem modeli (LAM), bir isteği metin yanıtı yerine API çağrıları, tıklamalar ve tuş vuruşları gibi yazılımların uygulayabileceği eylemler dizisine dönüştürmek üzere eğitilmiş bir AI modelidir. Çoğu LAM, bir büyük dil modeli (LLM) olarak başlar ve sonraki eylemi güvenilir biçimde seçene, argümanlarını doldurana ve bir adım başarısız olduğunda toparlanana kadar kaydedilmiş görev izleriyle ince ayar görür; böylece bir AI ajanın karar verme çekirdeği olur. Rabbit girişimi, CEO Jesse Lyu'nun R1 el cihazını tanıttığı ve LAM'ini insanların uygulamaları kullanmasını izleyerek çalışmayı öğrenen bir model olarak sunduğu Ocak 2024'te terimi yaygınlaştırdı. Araştırma grupları artık bu adı, eyleme geçme konusunda eğitilen ve kıyaslanan modeller için kullanıyor; bunların öne çıkan örneği Salesforce'un xLAM ailesi: 1 milyar parametreden 8x22B uzman karışımına (MoE) kadar beş model. Eylül 2024 tarihli makalelerinde, bu modellerin Berkeley Function Calling Leaderboard'da GPT-4 ve Claude 3'ü geride bırakarak ilk sırada olduğu bildirildi.

Büyük Eylem Modelleri Nasıl Eğitilir?#

Aralık 2024'te yayımlanan Microsoft makalesi Büyük Eylem Modelleri: Başlangıçtan Uygulamaya, Microsoft Word'ü kullanan bir model için tüm süreci belgeliyor. Mistral-7B'den başlayan ekip, modeli dört aşamada eğitti: isteklerin adımlara nasıl ayrıldığını öğreten görev planı ön eğitimi; GPT-4o ile kaydedilmiş uzman izlerinden öğrenme; modelin uzmanın başaramadığı görevleri denediği ve başarılı denemelerini yeni eğitim verileri olarak sakladığı kendi kendini geliştiren keşif; ve öğrenilmiş bir ödül modeli karşısında pekiştirmeli öğrenme. Microsoft'un Windows GUI ajanı UFO içinde çalışan bitmiş model, canlı Word görevlerinin %71,0'ını ortalama 30,42 saniyede tamamladı. Pencere denetimlerinin aynı metin açıklaması verilen GPT-4o, görevlerin %63,0'ını tamamladı ve 86,42 saniye sürdü; daha yüksek başarıya ancak ekran görüntüleri eklendiğinde ulaştı ve görev başına 96,48 saniye harcadı.

Çalışma zamanında LAM, görev tamamlanana kadar bir döngüyü tekrarlar: isteği ve mevcut durumu okur, bir eylem seçer, çalıştırıcıya eylemi uygulatır ve sonucu gözlemler.

API'ler ve Arayüzler Üzerinden Eylemler#

Bir uygulama API sunuyorsa model işlev çağrıları üretir: ajan çalıştırıcısının doğrulayıp çalıştırdığı, JSON şemasıyla eşleşen argümanlara sahip adlandırılmış bir işlem. Yazılım yalnızca grafik arayüz sunuyorsa model, bilgisayar kullanım ajanı gibi çalışır; erişilebilirlik ağacından bir denetim seçer veya temellendirme yoluyla ekran görüntüsünde yerini bulur, ardından tıklayıp yazı yazar. API eylemleri daha hızlı ve doğrulanması daha kolay olduğundan ajanlar mevcut olduklarında bunları tercih eder, eski yazılımlarda ise ekrana başvurur. Görü, bir API eylemi daha hâline gelir: Ultralytics Platform özel uç noktasına dağıtılan bir YOLO26 modeli, görüntü dosyası veya URL içeren tek bir POST isteğine nesne algılama sonuçlarını JSON olarak döndürür; bu da modelin diğer araçlardan okuduğu türden yapılandırılmış çıktıdır.

LAM'ler ve İlgili Terimler#

• LLM: Metin üretmek üzere eğitilmiş bir modeldir. LAM genellikle çıktısı yürütülebilir bir eylem olacak şekilde ek eğitim almış bir LLM'dir; genel modeller işlev çağırma ve bilgisayar kullanma yetenekleri kazandıkça aradaki çizgi bulanıklaşır.
• AI ajanı: Genellikle bir ajan tabanlı iş akışı olarak oluşturulan model, çalıştırıcı, araçlar, bellek ve izinlerden oluşan eksiksiz sistemdir. LAM, sistemin içindeki her eyleme karar veren modeldir.
• Ajan tabanlı RAG: Bir soruyu yanıtlamadan önce arama yapmak ve bilgi toplamak için araç çağrıları kullanır. LAM'in gerçekleştirdiği eylemler; e-posta gönderme, belge düzenleme veya form doldurma gibi bir sistemin durumunu değiştirir.
• Görsel-dil-eylem (VLA) modelleri: Bedensel AI alanındaki robotik karşılığıdır; kamera görüntülerini ve talimatları Gemini Robotics gibi motor komutlarına dönüştürür. Google DeepMind'ın Temmuz 2023'te yayımlanan RT-2 modeli, bir görsel-dil modeline robot eylemlerini metin belirteçleri olarak üretmesi için ince ayar yaparak bu yaklaşımı gösterdi.