Chain-of-Thought Prompting

Düşünce zinciri (CoT) istemleme, bir büyük dil modelinin (LLM) son yanıtını vermeden önce ara akıl yürütme adımlarını yazdığı bir istem mühendisliği tekniğidir. Model, bir sorudan doğrudan "9" yanıtına atlamak yerine "23 - 20 = 3 ve 3 + 6 = 9" yazar ve yanıtı en son belirtir. Google'dan Jason Wei ve çalışma arkadaşları, bu tekniği 2022'de Chain-of-Thought Prompting Elicits Reasoning in Large Language Models makalesinde tanıttı. İstemde çözümlü sekiz örnek verildiğinde PaLM 540B, önceki en iyi sonuç olan ve ayrı eğitilmiş bir doğrulayıcıyla eşleştirilmiş ince ayarlı GPT-3 modelinin %55'lik puanını aşarak, ilkokul matematiğine yönelik sözel problemlerin kıyaslaması GSM8K'de %17,9'dan %56,9'a yükseldi.

Düşünce Zinciri İstemleme Nasıl Çalışır#

Bir LLM, her seferinde bir belirteç üretir ve her belirteç sabit sayıda ağ katmanından geçer. Yanıtı birkaç adıma bağlı bir soruda model, yanıtın ilk belirtecini yazmadan önce tüm bu işi yapmak zorundadır. Model adımları yazdığında, her ara sonuç bağlam penceresine girer ve sonraki tüm belirteçleri etkiler. Böylece daha zor problemler, yanıt görünmeden önce daha fazla belirteç ve daha fazla hesaplama gerektirir.

Az örnekli CoT'de, her biri bir sorunun ardından çözümlü bir yanıtın geldiği birkaç örnek isteme eklenir; model de az örnekli öğrenmenin bir örneği olarak, istemdeki örneklerden bu biçimi taklit edip yeni soruyu yanıtlar. Wei ve çalışma arkadaşlarının makalesindeki Şekil 1'deki bu konuşma, biçimi gösterir. İlk yanıt isteme eklenmiş örnektir; ikincisi modelin yanıtıdır:

Q: Roger has 5 tennis balls. He buys 2 more cans of tennis balls. Each can has 3 tennis balls. How many tennis balls does he have now?
A: Roger started with 5 balls. 2 cans of 3 tennis balls each is 6 tennis balls. 5 + 6 = 11. The answer is 11.

Q: The cafeteria had 23 apples. If they used 20 to make lunch and bought 6 more, how many apples do they have?
A: The cafeteria had 23 apples originally. They used 20 to make lunch. So they had 23 - 20 = 3. They bought 6 more apples, so they have 3 + 6 = 9. The answer is 9.

Aynı örnek "The answer is 11." olarak kısaltıldığında model, kafeterya sorusuna "The answer is 27." yanıtını verdi.

Sıfır örnekli CoT'de örnek kullanılmaz. Takeshi Kojima ve çalışma arkadaşları, sorunun sonuna "Let's think step by step" eklemenin yazılı bir akıl yürütme zincirini başlatmaya yettiğini buldu: InstructGPT (text-davinci-002) ile bu ifade, sıfır örnekli doğruluğu MultiArith kıyaslamasında %17,7'den %78,7'ye, GSM8K'de ise %10,4'ten %40,7'ye çıkardı. Sonuçlar Large Language Models are Zero-Shot Reasoners makalesinde bildirildi.

Düşünce Zinciri Ne Zaman Faydalıdır#

Kazanımlar model ölçeğine ve göreve bağlıdır. Wei ve çalışma arkadaşları, CoT'yi ölçekle ortaya çıkan bir yetenek olarak tanımlar: iyileşmeler yalnızca yaklaşık 100 milyar parametreli modellerde görülürken daha küçük modeller "akıcı ancak mantıksız düşünce zincirleri üretti" ve standart istemlerden daha düşük puan aldı. En büyük kazanımlar, aritmetik, sağduyu ve sembolik akıl yürütmedeki çok adımlı problemlerde görüldü. Tek adımlı aritmetik problemlerinden oluşan SingleOp'ta değişim olumsuzdu veya çok küçüktü.

Birkaç zincirden örnekleme yapmak, tek bir zincire kıyasla sonuçları iyileştirir. Öz tutarlılık yönteminde Xuezhi Wang ve çalışma arkadaşları, çekirdek veya sıcaklık örneklemesi ile çeşitli akıl yürütme yolları örnekler ve en çok yolun üzerinde uzlaştığı yanıtı tutar. Bu yöntem, GSM8K doğruluğunu tek bir açgözlü zincire kıyasla 17,9 yüzde puanı artırdı. Her ek zincir üretilen belirteç sayısını artırır; dolayısıyla CoT ve öz tutarlılık, doğruluk karşılığında çıkarım gecikmesi ve maliyet arasında ödünleşir.

Görüntü-dil işlem hatları, görüntü kanıtlarıyla aynı örüntüyü kullanır. Ultralytics Platform Agents içinde bir LLM bloğu, yukarı akıştaki YOLO26 algılamalarıyla birlikte bir görüntü alır; böylece oradaki bir düşünce zinciri istemi, sahne hakkındaki kararını vermeden önce bir görüntü-dil modelinin algılanan nesneleri tek tek incelemesini sağlayabilir.

Akıl Yürütme Modelleri ve Sadakat#

Eylül 2024'te yayımlanan OpenAI'nin o1'i gibi akıl yürütme modelleri, her yanıttan önce uzun bir düşünce zinciri üretmek üzere pekiştirmeli öğrenme ile eğitilir; dolayısıyla bu davranış artık isteme bağlı değildir. OpenAI'nin akıl yürütme için en iyi uygulamaları, bu modellerle "adım adım düşün" yönergelerinden kaçınmalarını geliştiricilere söyler; çünkü bu tür istemler yardımcı olmayabilir ve bazen performansı düşürebilir.

Yazılı bir zincir, yanıtın açıklaması gibi de görünür; bu nedenle onu açıklanabilir yapay zekâ olarak yorumlamak caziptir. Miles Turpin ve çalışma arkadaşları, Dil Modelleri Düşündüklerini Her Zaman Söylemez makalesinde bunun asıl nedeni yanlış yansıtabileceğini gösterdi: doğru seçeneğin her zaman "(A)" olduğu şekilde az örnekli örnekler yeniden sıralandığında GPT-3.5 ve Claude 1.0, yanıtlarını "(A)" yönünde değiştirdi ve sıralamadan söz etmeden bu yanıtları gerekçelendiren zincirler yazdı. Bunun gibi yanlılığa yol açan özellikler, 13 BIG-Bench Hard görevinde doğruluğu %36'ya varan oranlarda düşürdü. Makul görünen ancak yanlış olan zincirler, LLM'lerdeki halüsinasyonların kaynaklarından biridir.

Düşünce Zinciri ve İlgili Teknikler#

• İstem zincirleme: Bir görevi birkaç model çağrısına böler ve kod, her çıktıyı sonraki isteme aktarır. CoT ise tek bir çağrının içinde gerçekleşir.
• Düşünce Ağacı (ToT): Her noktada birkaç olası adım üretir, bunları puanlar ve CoT tek bir yolu izlerken geri izleme yaparak ortaya çıkan ağaçta arama yapar.
• ReAct istemleme: Akıl yürütme adımlarını arama veya araç çağrısı gibi eylemlerle iç içe geçirir ve sonuçları zincire geri besler.
• Doğrulama Zinciri (CoVe): Modelin bir yanıt taslağı hazırlamasını, kendine doğrulama soruları sormasını, bu soruları bağımsız olarak yanıtlamasını ve taslağı gözden geçirmesini sağlar.
• Gizil akıl yürütme: Ara akıl yürütme adımlarını yazılı belirteçler yerine modelin gizli durumlarında gerçekleştirir; bu nedenle görünür bir zincir oluşmaz.