Monte Carlo Tree Search (MCTS)

Monte Carlo Tree Search (MCTS) is a heuristic search algorithm used for complex decision-making processes, primarily within machine learning and artificial intelligence. As outlined in its Wikipedia definition, MCTS combines the precision of tree search algorithms with the power of random sampling (Monte Carlo simulations) to evaluate the most promising moves in a given state space. Originally popularized by its success in complex board games, the algorithm is now a foundational component of modern AI agents and advanced reasoning systems, including cutting-edge Large Language Models (LLMs).

Link to this sectionMonte Carlo Ağaç Araması Nasıl Çalışır?#

MCTS, en umut verici eylemleri keşfederek artımlı bir şekilde bir arama ağacı oluşturur. Bir Markov Karar Süreci altında çalışan algoritma, hesaplama bütçesi veya süre sınırı dolana kadar dört sürekli aşamayı tekrarlar:

1. Seçim: Kök düğümden başlayan algoritma, keşif (yeni yollar deneme) ve sömürü (geçmişte yüksek ödüller getiren yolları tercih etme) arasında denge kuran alt düğümleri seçerek ağaçta aşağı doğru ilerler. Ağaçlar için Uygulanan Üst Güven Sınırı (UCT) formülü, bu takası yönetmek için kullanılan standart bir yöntemdir.

2. Genişletme: Seçilen düğüm simülasyonu sonlandırmadığı sürece, arama ağacını keşfedilmemiş durumlara doğru genişletmek için bir veya daha fazla alt düğüm eklenir.

3. Simülasyon (Rollout): Sonucu tahmin etmek için yeni genişletilmiş düğümden senaryonun sonuna kadar hızlı ve genellikle rastgeleleştirilmiş bir simülasyon çalıştırılır.

4. Geriye Yayılım: Simülasyonun sonucu ağaçta yukarı doğru yayılır; gelecekteki seçimlere bilgi sağlamak amacıyla tüm geçilen düğümlerin başarı istatistikleri ve değerleri güncellenir.

Link to this sectionYapay Zekada Gerçek Dünya Uygulamaları#

Kapsamlı bir Monte Carlo Ağaç Araması yöntemleri anketi, algoritmanın devasa ve hesaplama açısından içinden çıkılamaz arama uzaylarındaki problemleri çözmedeki çok yönlülüğünü vurgulamaktadır.

• Oyun Oynama: MCTS, Google DeepMind'ın AlphaGo'yu desteklemek için kullanmasıyla küresel bir tanınırlık kazandı ve Go oyununda bir dünya şampiyonunu yenen ilk yapay zekayı oluşturdu. MCTS'yi sinir ağlarıyla eşleştiren sistem, geleneksel kaba kuvvet araması için çok geniş olan tahta durumlarını etkili bir şekilde değerlendirebiliyordu.
• LLM Reasoning and Agentic AI: In 2024 and 2025, researchers increasingly integrated MCTS with LLMs to enhance "System 2" thinking and logic capabilities. For example, recent research on automated heuristic design demonstrates how MCTS helps LLMs navigate complex optimizations. Similarly, combining MCTS with LLMs vastly improves performance in knowledge base question answering and mathematical reasoning by evaluating multiple potential logical paths before committing to an answer. Organizations like OpenAI leverage search-based inference mechanisms in their advanced models, such as OpenAI's o1, to drastically improve problem-solving accuracy.
• Robotik ve Otonom Planlama: MCTS, gelecekteki durumları simüle etmek ve karmaşık fiziksel ortamlarda güvenle gezinmek için lojistik ve rota optimizasyonu, otonom araçlar ve robotik eylem gruplama alanlarında kullanılır.

Link to this sectionMCTS ve İlgili Kavramlar#

MCTS'yi tam olarak anlamak için onu ilgili yapay zeka tekniklerinden ayırt etmek faydalıdır:

• Takviyeli Öğrenme (RL): RL, modelleri zaman içinde küresel bir politika öğrenmeleri için eğitirken, MCTS tipik olarak belirli bir durumdan en iyi anlık eylemi bulmak için gerçek zamanlı çıkarım sırasında kullanılan bir planlama algoritmasıdır. Bununla birlikte, ikisi sıklıkla birleştirilir; RL modelleri MCTS düğümleri için sezgisel değer sağlayabilir.
• Düşünce Ağacı (ToT): ToT, özellikle LLM'ler için tasarlanmış bir yönlendirme çerçevesidir. Her düğümün bir "düşünce"yi temsil ettiği bir ağaç olarak dil üretimini yapılandırarak MCTS'den büyük ölçüde esinlenir. MCTS, ToT ve benzeri çerçevelerin üzerine inşa edildiği daha geniş algoritmik temeldir.

Link to this sectionGörüntü Yapay Zekasını MCTS'ye Entegre Etme#

Somutlaştırılmış yapay zeka veya otonom sistemlerde, görsel algı genellikle bir MCTS düğümü için durum değerlendirici görevi görür. Ultralytics YOLO26 aracılığıyla bir ajan, simülasyon aşamasında sezgisel bir puan hesaplamak için bir ortamı hızla değerlendirebilir.

İşte bir MCTS rollout'u sırasında basit bir düğüm ödülünü hesaplamak için bir Ultralytics YOLO modelini nasıl kullanabileceğinizi gösteren kavramsal bir örnek.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for state evaluation
model = YOLO("yolo26n.pt")


def evaluate_mcts_state(image_state):
    # Run inference to evaluate the visual environment
    results = model(image_state, verbose=False)

    # Example heuristic: Reward the MCTS path if an 'obstacle' is successfully avoided
    # Assume class 0 is 'obstacle'. Reward is 1 if path is clear, 0 if blocked.
    obstacle_detected = any(box.cls == 0 for box in results[0].boxes)
    return 0 if obstacle_detected else 1


# Simulate a rollout step
reward = evaluate_mcts_state("path_simulation_view.jpg")
print(f"MCTS Rollout Reward: {reward}")

Bu tür akıllı ajanları ölçeklendirmek isteyen geliştiriciler için Ultralytics Platform, temel görüntü modellerini eğitmek ve dağıtmak için sağlam araçlar sunar. Bu, PyTorch ve TensorFlow gibi standart matematiksel kütüphaneler veya makine öğrenimi çerçeveleri kullanılarak oluşturulan karmaşık arama mimarilerine hızlı ve güvenilir algıyı entegre etmeyi önemli ölçüde kolaylaştırır.