Reasoning Models

Akıl yürütme modeli, son yanıtını vermeden önce uzun bir iç düşünce zinciri üretmek üzere eğitilmiş bir büyük dil modelidir (LLM); böylece zor problemlere daha fazla hesaplama gücü ayırabilir. OpenAI bu kategoriyi 12 Eylül 2024'te o1 ile tanıttı: 2024 AIME matematik yarışmasında GPT-4o, problemleri ortalama %12 oranında çözerken o1, problem başına tek örnekle %74'ünü, 64 örnek üzerinden uzlaşma oylamasıyla %83'ünü ve öğrenilmiş bir puanlama işlevi 1.000 örneği yeniden sıraladığında %93'ünü çözdü. o1 ayrıca GPQA bilim kıyaslamasında insan doktora uzmanlarının doğruluğunu da geride bıraktı. DeepSeek-R1, Google'ın Gemini düşünme modelleri, Anthropic'in genişletilmiş düşünme özelliğine sahip Claude'u ve Alibaba'nın Qwen3'ü onu izledi; günümüzdeki birçok model, bir ayara bağlı olarak hızlı yanıt veren veya uzun uzun düşünen hibrit modellerdir.

Akıl Yürütme Modelleri Nasıl Eğitilir#

Düşünce zinciri yönlendirmesi, bir modelden ara adımları yazmasını istemenin yanıtlarını iyileştirdiğini 2022'de gösterdi. Akıl yürütme modelleri, yanıtları otomatik olarak denetlenebilen problemler üzerinde pekiştirmeli öğrenme (RL) yoluyla bu davranışı öğrenir; bu yaklaşıma doğrulanabilir ödüllerle pekiştirmeli öğrenme (RLVR) denir. DeepSeek, yöntemi Ocak 2025'te yayımladığı DeepSeek-R1 makalesinde açıkladı. R1-Zero modeli, DeepSeek-V3 temel modelinden başladı ve yalnızca doğru son yanıt ile doğru çıktı biçimi için ödüllendirilen Grup Göreli Politika Optimizasyonu (GRPO) ile eğitildi:

Adım adım örnek verilmemesine rağmen R1-Zero'nun AIME 2024'teki pass@1 doğruluğu %15,6'dan %71,0'a, çoğunluk oylamasıyla da %86,7'ye yükseldi. Modelin yanıtları eğitim sırasında uzadı ve model kendi adımlarını yeniden kontrol edip gözden geçirmeye başladı; yazarların "aha anı" dediği an buydu. Yayımlanan DeepSeek-R1, okunabilirlik için önce birkaç bin özenle seçilmiş uzun akıl yürütme örneğiyle eğitildi ve AIME 2024'te %79,8'e ulaştı; DeepSeek, akıl yürütme izlerini daha küçük Qwen ve Llama modellerine damıttı. Her adımı puanlayan bir süreç ödül modeli (PRM), bu sonuç ödüllerine başlıca alternatiftir; ancak DeepSeek, büyük ölçekli eğitiminde PRM'lerin ve Monte Carlo ağaç aramasının işe yaramadığını bildirdi.

Test Sırasında Hesaplama#

Bir akıl yürütme modelinin doğruluğu, düşünmeye ayırdığı belirteç sayısıyla artar; bu, model boyutu ve eğitim verisinin yanı sıra ölçekleme yasalarının ikinci bir boyutudur. API'ler bunu akıl yürütme çabası veya düşünme bütçesi olarak sunar; birkaç yanıtı paralel olarak örnekleyip oylayarak ya da kısmi çözümleri bir doğrulayıcıyla arayarak doğruluk daha da artırılabilir. Bunun bedeli gecikme ve belirteçlerdir: zor bir problem, yanıtın ilk sözcüğünden önce binlerce gizli akıl yürütme belirteci tüketebilir. Ultralytics LLM arayüzü, istek bağımsız değişkenlerini OpenAI SDK'sına değiştirmeden iletir; böylece algılanan bir sahne bilinçli bir yanıt gerektirdiğinde YOLO26 işlem hattı, Responses API üzerinden bir akıl yürütme modeline reasoning={"effort": "high"} iletebilir.

Nisan 2025'te yayımlanan OpenAI o3 ve o4-mini, düşünce zincirini görüntülere de genişletti; model görüntü üzerinde akıl yürütürken fotoğrafı kırpabiliyor, yakınlaştırabiliyor ve döndürebiliyordu. Bu görsel akıl yürütme, küçük metinler, grafikler ve karmaşık sahneler hakkındaki görsel soru yanıtlamaya (VQA) yardımcı olur.

Sınırlamalar#

Akıl yürütme modelleri basit soruları gereğinden fazla düşünüp doğrudan yanıtın yeterli olacağı yerlerde belirteç harcar; ayrıca bazı kolay görevlerde hâlâ öngörülemez biçimde başarısız olurlar. Bu örüntü pürüzlü zekâ olarak bilinir. Denetlenebilir yanıtlar üzerindeki pekiştirmeli öğrenme sonuçları ödüllendirdiğinden, model denetleyiciyi geçen kestirme yollar öğrenebilir; bu da bir tür ödül manipülasyonudur. Yazılı düşünce zinciri, hesaplamanın da kusurlu bir kaydıdır: Nisan 2025'te yayımlanan bir Anthropic çalışmasında, yanıtlarını değiştiren bir ipucu verilen modeller, Claude 3.7 Sonnet'te yalnızca %25, DeepSeek-R1'de ise %39 oranında ipucundan söz etti.

Akıl Yürütme Modelleri ve İlgili Terimler#

• Düşünce zinciri yönlendirmesi: Herhangi bir LLM'den çıkarım sırasında adımlarını yazmasını ister; akıl yürütme modelleri, kendiliğinden üretmek üzere eğitildikleri bu davranışı sergiler.
• Sistem 2 düşünmesi: Alanın akıl yürütme modellerinin yaptıklarını açıklamak için ödünç aldığı, yavaş ve dikkatli akıl yürütmeyi ifade eden psikoloji terimi.
• Gizil akıl yürütme: Yazılı belirteçler yerine gizli durum vektörlerinde yürütülen ve okunabilir bir iz bırakmayan akıl yürütme.
• Düşünce ağacı: Modelin her dalı kendi değerlendirmesiyle yönlendirdiği, dallanan düşünce zincirleri üzerinde açık bir arama.