Latent Reasoning

Gizil akıl yürütme, bir modelin yazılı belirteçler yerine sinir ağının içindeki sürekli vektörler olan gizli durumlarında gerçekleştirdiği akıl yürütmedir. Düşünce zinciri istemi kullanıldığında, bir büyük dil modeli (LLM) her ara adımı metin olarak yazar ve sonra bu metni okur; gizil akıl yürütmede ise ara adımlar vektör olarak kalır ve yalnızca yanıt çözümlenir. Terim iki şeyi kapsar: bağlantıyı sağlayan olguyu adlandırmadan iki adımlı bir soruyu çözmek gibi, tek bir ileri geçiş sırasında gerçekleşen örtük akıl yürütmeyi ve modelleri sürekli uzayda düşünmek üzere eğiten yöntemleri. Meta'nın Aralık 2024'te yayımladığı Coconut ve 2025'te geliştirilen yinelemeli derinlik modelleri bu yöntemler arasındadır.

Gizil Uzayda Neden Akıl Yürütülür?#

Yazılı bir adım çok az bilgi aktarır. Her belirteç, on binlerce sözcük dağarcığı seçeneğinden biridir; küçük bir transformatör modelindeki gizli durum ise aynı anda birkaç ara sonucu kodlayabilen yüzlerce veya binlerce sayı içerir. Adımları yazmak da zaman alır: her akıl yürütme belirteci tam bir ileri geçiş gerektirir; bu nedenle uzun bir düşünce zinciri çıkarım gecikmesini ve sunum maliyetini artırır. Sözcükler olmadan yapılan ek gizli hesaplamalar da fayda sağlar. Google ve Carnegie Mellon Üniversitesi'ndeki araştırmacılar 2023'te, yanıt vermeden önce ek ileri geçişler yapmasını sağlayan öğrenilebilir "duraklama" belirteçleriyle 1 milyar parametreli bir modeli eğitmenin, SQuAD soru yanıtlama kıyaslamasında tam eşleşme puanını yüzde 18 artırdığını buldu.

Coconut: Sürekli Düşünce Zinciri#

Meta ve UC San Diego'daki araştırmacılar Coconut'u Sürekli Gizil Uzayda Akıl Yürütmek için Büyük Dil Modellerini Eğitme başlıklı çalışmada tanıttı. Model, özel düşünce başlangıç ve bitiş belirteçleri arasında son gizli durumunu bir sözcüğe çözümlenmek yerine doğrudan sonraki girdi gömüsüne aktarır. Coconut, OpenAI'ın GPT-2 modelini kullandı ve aynı döngü önceden eğitilmiş modelde şöyle çalışır:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Dört akıl yürütme adımı, hiçbir metin üretmeden diziyi 8 konumdan 12 konuma çıkarır ve her adım bir sonraki ileri geçişe 768 kayan noktalı sayı aktarır. Yazılı bir adım ise 50.257 belirteçten birini, yani yaklaşık 15,6 bit bilgiyi aktarırdı. Coconut, yazılı akıl yürütme adımlarını her aşamada birer birer sürekli düşüncelerle değiştiren bir müfredatla GPT-2'yi bu döngü üzerinden ince ayarlar. Planlama gerektiren bir mantıksal akıl yürütme görevi olan ProsQA'da, ortalama 14,2 belirteç üretirken yüzde 97,0 doğruluğa ulaştı; düşünce zincirinin sonuçlarıysa yüzde 77,5 doğruluk ve 49,4 belirteçti. GSM8K matematik problemlerinde, yaklaşık üçte bir kadar belirteç üretirken düşünce zincirinin gerisinde kaldı: yüzde 34,1'e karşı yüzde 42,9. Yazarlar, tek bir sürekli düşüncenin aynı anda birkaç olası sonraki adımı kodlayabildiğini ve modelin, her seferinde tek bir belirtece bağlanan yazılı bir zincirin yapamadığı biçimde seçenekleri genişlik öncelikli olarak keşfetmesini sağladığını buldu.

Diğer Yaklaşımlar#

Yinelemeli derinlik modelleri aynı katman bloğunu birçok kez kullanır. Jonas Geiping ve çalışma arkadaşları 2025'te 800 milyar belirteç üzerinde 3,5 milyar parametreli bir model eğitti. Bu model, çıkarım sırasında yinelemeli bir bloğu döngüyle çalıştırıyor ve akıl yürütme kıyaslamalarındaki puanları, 50 milyar parametreli bir modele eşdeğer hesaplama miktarına kadar, daha fazla yinelemeyle yükselmeye devam ediyordu; üstelik tek bir ek belirteç bile yazmıyordu. Böylece yineleme, genellikle daha uzun düşünce zincirleri oluşturarak ulaşılan ölçeklendirme yasalarının bir boyutu olan test zamanı hesaplamasını ölçeklendirmenin bir yolu hâline geliyor. Örtük düşünce zinciri yöntemleri, bir modeli çözümlenmiş örnekler üzerinde eğitir ve sonra yazılı adımları aşamalı olarak kaldırır: Yuntian Deng, Yejin Choi ve Stuart Shieber'in adım adım içselleştirme yöntemi, GPT-2 Small modeline ara adımlar olmadan 9 basamaklı çarpma işlemlerini yüzde 99'a varan doğrulukla çözmeyi öğretti.

Bu fikir metnin ötesine uzanır. Meta'nın büyük kavram modelleri (LCM) sonraki belirteç yerine sonraki cümle gömmesini tahmin eder; ortak gömme tahmin mimarileri (JEPA) görüntü ve videoların eksik kısımlarını pikseller yerine gizil uzayda tahmin eder. Figure'ın Helix'i gibi bedenselleştirilmiş AI sistemleri ise robotu hareket ettiren politikaya bir görsel-dil modelinden (VLM) metin değil, gizil bir vektör aktarır. Algılayıcılar da aynı tür gizli durumu barındırır: Ultralytics YOLO26 içinde model.embed(), tahmin modunu yalnızca algılama kafasından önceki katmana kadar çalıştırır ve özellik haritasının ortalamasını alarak her görüntü için tek bir vektör üretir; bunun yerine kutu ve sınıf etiketleri döndürmez.

Yorumlanabilirlik ve Güvenlik#

Yazılı bir düşünce zinciri, insanların ve otomatik izleme sistemlerinin okuyabileceği bir kayıt sunar; metinle akıl yürüten akıl yürütme modelleri, harekete geçmeden önce ödül manipülasyonu veya aldatma belirtileri açısından denetlenebilir. OpenAI, Google DeepMind, Anthropic, Meta ve diğer gruplardan araştırmacıların Temmuz 2025 tarihli bir görüş yazısı, bu düşünce zinciri izlenebilirliğini AI güvenliği için kırılgan bir fırsat olarak nitelendirdi ve gizil akıl yürütme mimarilerinin bu olanağı ortadan kaldırabileceği uyarısında bulundu. Gizil adımlar ancak sondalar, logit merceği ve seyrek otomatik kodlayıcılar (SAE) gibi mekanistik yorumlanabilirlik araçlarıyla dolaylı olarak okunabilir; Coconut makalesinde sürekli bir düşüncenin dil modeli kafası üzerinden çözümlenmesi, olasılığını birkaç olası ara değere dağıttı.