Latent Reasoning

الاستدلال الكامن هو استدلال يجريه النموذج في حالاته المخفية، أي المتجهات المستمرة داخل الشبكة العصبية، بدلًا من إجرائه عبر الرموز المكتوبة. باستخدام التلقين بسلسلة الأفكار، يكتب نموذج اللغة الكبير (LLM) كل خطوة وسيطة كنص ثم يقرأها مجددًا؛ أما في الاستدلال الكامن، فتبقى الخطوات الوسيطة على هيئة متجهات ولا تُفكّ شيفرة إلا للإجابة. ويشمل المصطلح أمرين: الاستدلال الضمني الذي يحدث داخل أي تمريرة أمامية واحدة، مثل حل سؤال من خطوتين من دون ذكر الحقيقة الواصلة بينهما، والأساليب التي تدرّب النماذج على التفكير في فضاء مستمر، مثل Coconut من Meta المنشور في ديسمبر 2024، ونماذج العمق التكراري من عام 2025.

لماذا يكون الاستدلال في الفضاء الكامن#

لا تنقل الخطوة المكتوبة إلى الأمام سوى قدر ضئيل من المعلومات. كل رمز هو اختيار واحد من مفردات تضم عشرات الآلاف من الكلمات، بينما تحتوي الحالة المخفية حتى في المحوّل الصغير على مئات أو آلاف الأرقام التي يمكنها ترميز عدة نتائج جزئية في آن واحد. كما أن كتابة الخطوات تستغرق وقتًا: فكل رمز استدلال يتطلب تمريرة أمامية كاملة، لذا تضيف سلسلة التفكير الطويلة زمن استجابة الاستدلال وتكلفة الخدمة. وتفيد الحسابات المخفية الإضافية حتى من دون كلمات. وجد باحثون في Google وجامعة Carnegie Mellon عام 2023 أن تدريب نموذج يضم مليار معلمة باستخدام رموز «توقف» قابلة للتعلّم، تمنحه تمريرات أمامية إضافية قبل الإجابة، حقق زيادة بنسبة 18% في درجة المطابقة التامة على معيار الإجابة عن الأسئلة SQuAD.

Coconut: سلسلة الأفكار المستمرة#

قدّم باحثون في Meta وUC San Diego نموذج Coconut في تدريب نماذج اللغة الكبيرة على الاستدلال في فضاء كامن مستمر. بين رمزي بدء الفكرة وإنهائها، يُعيد النموذج إدخال آخر حالة مخفية مباشرةً بوصفها تضمين الإدخال التالي بدلًا من فك شيفرتها إلى كلمة. استخدم Coconut نموذج GPT-2 من OpenAI، وتعمل الحلقة نفسها على النموذج المدرّب مسبقًا:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

تزيد أربع خطوات استدلالية طول التسلسل من 8 إلى 12 موضعًا من دون إنتاج أي نص، وتمرر كل خطوة إلى التمريرة الأمامية التالية 768 عددًا بفاصلة عائمة، بينما لا تمرر الخطوة المكتوبة إلا رمزًا واحدًا من أصل 50,257، أي نحو 15.6 بتًا من المعلومات. يضبط Coconut نموذج GPT-2 ضبطًا دقيقًا عبر هذه الحلقة، باستخدام منهج تدريجي يستبدل خطوات الاستدلال المكتوبة بأفكار مستمرة مرحلةً تلو الأخرى. في ProsQA، وهي مهمة استدلال منطقي تتطلب التخطيط، بلغ النموذج دقة 97.0% بمتوسط توليد 14.2 رمزًا، مقابل 77.5% و49.4 رمزًا لسلسلة الأفكار. وفي مسائل الرياضيات GSM8K، جاءت نتيجته دون سلسلة الأفكار: 34.1% مقابل 42.9%، مع توليد نحو ثلث عدد الرموز. ووجد المؤلفون أن فكرة مستمرة واحدة يمكن أن ترمز إلى عدة خطوات تالية محتملة، ما يتيح للنموذج استكشاف البدائل بأسلوب البحث بالعرض أولًا، وهو ما لا تتيحه سلسلة مكتوبة تلتزم برمز واحد في كل مرة.

مقاربات أخرى#

تعيد نماذج العمق التكراري استخدام كتلة الطبقات نفسها مرات عديدة. درّب Jonas Geiping وزملاؤه عام 2025 نموذجًا يضم 3.5 مليار معلمة على 800 مليار رمز، ويكرر كتلة تكرارية أثناء الاستدلال؛ وظلت درجاته على معايير الاستدلال ترتفع مع زيادة عدد التكرارات، حتى بلغت حسابات مكافئة لنموذج يضم 50 مليار معلمة، من دون كتابة أي رمز إضافي. وهذا يجعل التكرار وسيلة لتوسيع نطاق الحوسبة وقت الاختبار، وهو أحد محاور قوانين التوسع التي تُبلَغ عادةً بتوليد سلاسل تفكير أطول. تدرّب أساليب سلسلة التفكير الضمنية النموذج على حلول مفصلة، ثم تزيل الخطوات المكتوبة تدريجيًا: فقد علّم الاستدخال التدريجي الذي وضعه Yuntian Deng وYejin Choi وStuart Shieber نموذج GPT-2 Small حل ضرب أعداد من 9 خانات بدقة تصل إلى 99% من دون خطوات وسيطة.

تمتد الفكرة إلى ما هو أبعد من النص. تتنبأ نماذج المفاهيم الكبيرة (LCMs) من Meta بتضمين الجملة التالية بدلًا من الرمز التالي، وتتنبأ بنى التنبؤ بالتضمين المشترك (JEPA) بالأجزاء المفقودة من الصور والفيديو في الفضاء الكامن بدلًا من وحدات البكسل، كما تمرر أنظمة الذكاء الاصطناعي المتجسد، مثل Helix من Figure، متجهًا كامنًا لا نصًا من نموذج الرؤية واللغة (VLM) إلى السياسة التي تحرّك الروبوت. وتحمل الكواشف النوع نفسه من الحالات المخفية: ففي Ultralytics YOLO26، يشغّل model.embed() وضع التنبؤ حتى الطبقة السابقة لرأس الكشف فحسب، ثم يحسب متوسط التجميع لخريطة السمات لتحويلها إلى متجه واحد لكل صورة، بدلًا من الصناديق وتسميات الفئات.

قابلية التفسير والسلامة#

تمنح سلسلة الأفكار المكتوبة البشر وأنظمة المراقبة الآلية سجلًا يمكن قراءته، ويمكن فحص نماذج الاستدلال التي تستدل بالنص بحثًا عن علامات التلاعب بالمكافآت أو الخداع قبل أن تتصرف. ووصفت ورقة موقف نُشرت في يوليو 2025 لباحثين من OpenAI وGoogle DeepMind وAnthropic وMeta ومجموعات أخرى قابلية مراقبة سلسلة الأفكار بأنها فرصة هشة لـسلامة الذكاء الاصطناعي، وحذرت من أن بنيات الاستدلال الكامن قد تزيلها. ولا يمكن قراءة الخطوات الكامنة إلا بصورة غير مباشرة، باستخدام أدوات قابلية التفسير الآلي مثل المجسّات وعدسة اللوغيت والمشفّرات التلقائية المتناثرة (SAEs)؛ وفي ورقة Coconut، أدى فك شيفرة فكرة مستمرة عبر رأس نموذج اللغة إلى توزيع احتمالها على عدة قيم وسيطة محتملة.