Tree of Thoughts (ToT)

Düşünce Ağacı (ToT), bir büyük dil modelinin (LLM) bir kısmi çözüm ağacında arama yaparak problem çözdüğü bir istem mühendisliği çerçevesidir. Model her adımda düşünce adı verilen birkaç olası sonraki adım önerir ve ortaya çıkan her durumun ne kadar umut vadettiğini puanlar. Ardından bir arama algoritması hangi dalların genişletileceğine, korunacağına veya terk edileceğine karar verir. İlk belirteçten başlayarak tek bir akıl yürütme çizgisine bağlı kalan düşünce zinciri isteminin aksine ToT ileriye bakabilir ve geri adım atabilir. Princeton Üniversitesi ve Google DeepMind'dan Shunyu Yao ve çalışma arkadaşları, yöntemi NeurIPS 2023'te sunulan Düşünce Ağacı: Büyük Dil Modelleriyle Kasıtlı Problem Çözme makalesinde tanıttı. Aynı ay Jieyi Long, bir LLM ile Sudoku çözmek için benzer bir ağaç arama sistemi önerdi. 24 Oyunu bulmacasında ToT, GPT-4'ün başarı oranını düşünce zinciri istemiyle elde edilen %4'ten %74'e çıkardı.

Düşünce Ağacı Nasıl Çalışır?#

Yao ve çalışma arkadaşları ToT'yi dört tasarım tercihiyle tanımlar:

• Düşüncelere ayırma: Tek bir adımın ne olduğu. 24 Oyunu'nda bir düşünce tek bir denklem, yaratıcı metin üretiminde metin için bir plan, bulmacada ise yerleştirilecek tek bir sözcüktür.
• Düşünce oluşturucu: Adayların nasıl üretildiği. Model, açık uçlu adımlara uygun biçimde birkaç düşünceyi birbirinden bağımsız örnekleyebilir veya seçeneklerin sınırlı olduğu durumlarda yinelenenleri önlemek için tek bir istemde farklı seçeneklerden oluşan bir liste önerebilir.
• Durum değerlendirici: İlerlemenin nasıl yargılandığı. Model, her durumu bağımsız olarak, örneğin hedefe ulaşma olasılığını "kesin", "olabilir" veya "imkânsız" diye değerlendirir ya da birkaç durum arasından en iyisine oy verir. Bu değerlendirmeler, klasik aramada elle yazılmış bir puanlama işlevinin üstlendiği rolü yerine getirerek arama sezgiseli işlevi görür.
• Arama algoritması: Ağacın nasıl keşfedildiği. Genişlik öncelikli arama her düzeyde en iyi b durumu tutar. Derinlik öncelikli arama ise en umut verici dalı izler, değerlendiricinin elediği durumları budar ve geri adım atar.

Örnek: 24 Oyunu#

24 Oyunu'nda, her sayıyı bir kez kullanarak dört sayıyı +, -, x ve / işlemleriyle birleştirip 24 elde etmek gerekir. ToT çözümü, her biri iki sayıyı birleştiren bir denklem olan üç adıma ayırır. 4 9 10 13 girdisi için bir öneri istemi şu adayları listeler:

13 - 9 = 4 (left: 4 4 10)
10 - 4 = 6 (left: 6 9 13)
4 + 9 = 13 (left: 10 13 13)
4 x 13 = 52 (left: 9 10 52)

Ardından değer istemi, kalan sayı kümelerinin 24'e ulaşıp ulaşamayacağını sorar. "4 4 10" kesin sonuç verir; çünkü (10 - 4) x 4 = 24. "6 9 13" de kesin sonuç verir; çünkü (13 - 9) x 6 = 24. "10 13 13" ve "9 10 52" ise imkânsızdır. Bu nedenle arama yalnızca ilk iki dalı genişletir. İlk dal izlenirse 10 - 4 = 6 (kalan: 4 6), ardından 4 x 6 = 24 elde edilir.

Makalede 100 zor oyun üzerinde yapılan deneylerde genişlik öncelikli arama, her adımda en iyi 5 durumu tuttu ve her durumu üç kez değerlendirdi. GPT-4 kullanan ToT oyunların %74'ünü çözdü. Doğrudan istemde bu oran %7,3; düşünce zincirinde %4,0; öz tutarlılıkla birleştirilmiş düşünce zincirinde ise %9,0 oldu. Örneklenen 100 düşünce zinciri arasındaki en iyi sonuç bile yalnızca %49'a ulaştı; her adımda tek bir durum tutan ToT ise %45'e ulaştı.

Düşünce Ağacının Yeri#

ToT; ilk tercihlerin sonraki adımları kısıtladığı ve yanlış bir ilk adımı düzeltmenin zor olduğu bulmacalar, planlama ve çok adımlı matematik problemlerinde yararlıdır. 5x5 mini bulmacalarda budama kullanan derinlik öncelikli ToT, sözcüklerin %60'ını doğru doldurdu ve 20 oyundan 4'ünü çözdü. Bunun bedeli hesaplamadır: ağacın her düzeyinde birkaç üretim ve değerlendirme çağrısı gerekir. Bu nedenle tek bir yanıt için onlarca veya daha fazla model çağrısı ve tek bir düşünce zincirinden çok daha fazla belirteç gerekebilir; buna karşılık çıkarım gecikmesi de artar.

Aynı üret, değerlendir ve genişlet döngüsü, hiperparametre ayarı gibi otomatik deney aramalarında çok daha büyük ölçekte görülür. Ultralytics Platform AutoTrain içinde Ask AI; görüntü boyutları 640, 800 ve 960 gibi tek bir ayarı değişen birkaç Ultralytics YOLO modelini eğitebilir, tamamlanan çalıştırmaları doğrulama mAP50-95 değerlerine göre karşılaştırabilir ve en iyi sonuca dayanarak bir sonraki deneyi önerebilir.

Düşünce Ağacı ve İlgili Yöntemler#

• Düşünce zinciri istemi: Her düzeyde tek dalı olan bir ağaca denk, tek bir akıl yürütme yolu.
• ReAct istemi: Akıl yürütmeyi arama veya araç çağrısı gibi dış ortamdaki eylemlerle iç içe geçirir ve bu eylemlerin döndürdüğü sonuçlara göre ilerler. ToT ise modelin kendi aday düşünceleri üzerinde arama yapar.
• Öz tutarlılık: Birkaç tam düşünce zinciri örnekler ve aradaki kısmi adımları değerlendirmeden son yanıtlar üzerinde çoğunluk oyu alır.
• Düşünce Grafiği: Ağacı, düşüncelerin birleştirilip iyileştirilebildiği bir grafa geneller ve ToT'ye kıyasla %31'den fazla daha düşük maliyetle sıralama kalitesinde %62 iyileşme bildirmiştir.
• Monte Carlo ağaç araması (MCTS): AlphaGo'nun arkasındaki arama algoritmasıdır; yeni dalları keşfetmekle iyi dallardan yararlanmayı dengeler ve düşünceler üzerinde genişlik öncelikli ya da derinlik öncelikli aramanın yerini alabilir.
• Akıl yürütme modelleri: Takviyeli öğrenmeyle tek bir üretimde uzun akıl yürütme izleri yazacak şekilde eğitilir; ToT ise dallanma ve geri izleme işlemlerini sıradan bir modelin etrafında çalışan harici bir arama programıyla gerçekleştirir.