Tree of Thoughts (ToT)

شجرة الأفكار (ToT) إطار عمل لـهندسة الموجّهات، يحل فيه نموذج لغة كبير (LLM) مسألةً من خلال البحث في شجرة من الحلول الجزئية. وفي كل خطوة، يقترح النموذج عدة خطوات تالية مرشحة تُسمى أفكارًا، ويقيّم مدى جدوى كل حالة ناتجة، ثم تحدد خوارزمية بحث الفروع التي ينبغي توسيعها أو الاحتفاظ بها أو التخلي عنها. وبخلاف التلقين بتسلسل الأفكار، الذي يلتزم بمسار استدلال واحد منذ الرمز الأول، تستطيع ToT استشراف النتائج والتراجع. وقد قدمها شونيو ياو وزملاؤه في جامعة برينستون وGoogle DeepMind في بحث شجرة الأفكار: حل المشكلات بتأنٍ باستخدام نماذج اللغة الكبيرة، الذي عُرض في NeurIPS 2023؛ وفي الشهر نفسه اقترح جييي لونغ نظام بحث شجريًا مشابهًا لحل السودوكو باستخدام LLM. وفي لغز لعبة 24، رفعت ToT معدل نجاح GPT-4 من 4% باستخدام التلقين بتسلسل الأفكار إلى 74%.

آلية عمل شجرة الأفكار#

يعرّف ياو وزملاؤه ToT من خلال أربعة خيارات تصميمية:

• تجزئة الأفكار: تحديد ماهية الخطوة الواحدة. ففي لعبة 24، تكون الفكرة معادلة واحدة؛ وفي توليد النصوص الإبداعي، تكون خطة للمقطع؛ وفي الكلمات المتقاطعة، تكون كلمة واحدة توضع في مكانها.
• مولّد الأفكار: كيفية إنشاء الخيارات المرشحة. إما أن يأخذ النموذج عينات من عدة أفكار مستقلة، وهو ما يلائم الخطوات المفتوحة، أو يقترح قائمة خيارات متميزة في موجّه واحد، ما يجنب التكرار حين تكون الخيارات محدودة.
• مقيّم الحالة: كيفية الحكم على التقدم. يقيّم النموذج كل حالة على حدة، مثل تصنيفها إلى "مؤكد" أو "محتمل" أو "مستحيل" بلوغ الهدف، أو التصويت لأفضل حالة من بين عدة حالات. وتؤدي هذه التقييمات دور الاستدلال الإرشادي للبحث، وهو الدور الذي تؤديه دالة تسجيل مكتوبة يدويًا في البحث الكلاسيكي.
• خوارزمية البحث: كيفية استكشاف الشجرة. يحتفظ البحث بعرض المستوى بأفضل b حالات في كل مستوى، بينما يتبع البحث بعمق الفرع الأكثر وعدًا، ويحذف الحالات التي يستبعدها المقيّم، ويتراجع عند الحاجة.

مثال: لعبة 24#

تعطي لعبة 24 أربعة أعداد يجب جمعها باستخدام العمليات + و- وx و/ للحصول على 24، مع استخدام كل عدد مرة واحدة. وتقسم ToT الحل إلى ثلاث خطوات، تتكون كل منها من معادلة تدمج عددين. وبالنسبة إلى المدخل 4 9 10 13، يسرد موجّه الاقتراحات خيارات مرشحة مثل:

13 - 9 = 4 (left: 4 4 10)
10 - 4 = 6 (left: 6 9 13)
4 + 9 = 13 (left: 10 13 13)
4 x 13 = 52 (left: 9 10 52)

ثم يسأل موجّه التقييم عما إذا كان لا يزال بالإمكان الوصول إلى 24 باستخدام كل مجموعة متبقية. فالمجموعة "4 4 10" مؤكدة، إذ إن (10 - 4) x 4 = 24، وكذلك "6 9 13"، إذ إن (13 - 9) x 6 = 24؛ أما "10 13 13" و"9 10 52" فمستحيلتان، لذا لا يوسّع البحث إلا الفرعين الأولين. ويؤدي اتباع الفرع الأول إلى 10 - 4 = 6 (المتبقي: 4 6)، ثم 4 x 6 = 24.

في تجارب البحث على 100 لعبة صعبة الواردة في البحث، احتفظ البحث بعرض المستوى بأفضل 5 حالات في كل خطوة، مع تقييم كل حالة ثلاث مرات. وحلت ToT باستخدام GPT-4 نسبة 74% من الألعاب، مقارنةً بـ7.3% للتلقين المباشر، و4.0% لتسلسل الأفكار، و9.0% لتسلسل الأفكار مع الاتساق الذاتي. وحتى أفضل 100 سلسلة أفكار مأخوذة بالعينات لم تتجاوز 49%، فيما بلغت النسبة 45% عند احتفاظ ToT بحالة واحدة في كل خطوة.

موضع شجرة الأفكار ضمن الأساليب الأخرى#

تفيد ToT في المسائل التي تقيّد فيها الخيارات المبكرة الخيارات اللاحقة ويصعب إصلاح خطوة أولى خاطئة، مثل الألغاز والتخطيط والرياضيات متعددة الخطوات. ففي الكلمات المتقاطعة المصغرة ذات شبكة 5x5، أكمل ToT بالبحث بعمق مع التقليم 60% من الكلمات على نحو صحيح، وحل 4 ألعاب من أصل 20. لكن ثمة كلفة حسابية: فكل مستوى في الشجرة يتطلب عدة استدعاءات للتوليد والتقييم، لذا قد تتطلب إجابة واحدة عشرات الاستدعاءات للنموذج أو أكثر، وعددًا أكبر بكثير من الرموز مقارنةً بسلسلة واحدة، مع ما يرافق ذلك من زمن استجابة الاستدلال.

تظهر الحلقة نفسها، المتمثلة في التوليد والتقييم والتوسيع، على نطاق أوسع بكثير في البحث الآلي عن التجارب، مثل ضبط المعلمات الفائقة. ففي التدريب التلقائي على منصة Ultralytics، يستطيع Ask AI تدريب عدة نماذج Ultralytics YOLO تختلف في إعداد واحد، مثل أحجام الصور 640 و800 و960، ومقارنة عمليات التشغيل المنتهية حسب قيمة التحقق mAP50-95، واقتراح التجربة التالية استنادًا إلى أفضل نتيجة.

شجرة الأفكار والأساليب ذات الصلة#

• التلقين بتسلسل الأفكار: مسار استدلال واحد، يعادل شجرة ذات فرع واحد في كل مستوى.
• التلقين بأسلوب ReAct: يدمج الاستدلال بالأفعال في بيئة خارجية، مثل عمليات البحث أو استدعاءات الأدوات، ويتقدم بناءً على ما تعيده تلك الأفعال. أما ToT فتبحث في أفكار النموذج المرشحة نفسه.
• الاتساق الذاتي: يأخذ عينات من عدة سلاسل مكتملة، ويعتمد تصويت الأغلبية على الإجابات النهائية من دون تقييم الخطوات الجزئية أثناء الطريق.
• Graph of Thoughts: يعمّم الشجرة إلى رسم بياني يمكن فيه أيضًا دمج الأفكار وتحسينها، وقد أبلغ عن جودة فرز أفضل بنسبة 62% من ToT وبتكلفة أقل بأكثر من 31%.
• Monte Carlo tree search (MCTS): خوارزمية البحث التي تقف وراء AlphaGo، وتوازن بين استكشاف فروع جديدة واستغلال الفروع الجيدة، ويمكن أن تحل محل البحث بالعرض أو العمق عبر الأفكار.
• نماذج الاستدلال: تُدرَّب بالتعلّم المعزز لكتابة مسارات استدلال طويلة في توليد واحد، بينما يحصل ToT على التفرّع والتراجع عبر برنامج بحث خارجي يعمل حول نموذج عادي.