Monte Carlo Tree Search (MCTS)

Monte Carlo Tree Search (MCTS), karmaşık karar alma süreçleri, öncelikle makine öğrenimi ve yapay zeka alanında kullanılan bir sezgisel arama algoritmasıdır. Wikipedia tanımında belirtildiği gibi MCTS, belirli bir durum uzayındaki en umut vadeden hamleleri değerlendirmek için ağaç arama algoritmalarının hassasiyetini rastgele örnekleme gücüyle (Monte Carlo simülasyonları) birleştirir. Karmaşık masa oyunlarındaki başarısıyla ilk başta popülerleşen bu algoritma, günümüzde son teknoloji ürünü Large Language Models (LLMs) dahil olmak üzere modern AI agents ve gelişmiş akıl yürütme sistemlerinin temel bir bileşenidir.

Monte Carlo Ağaç Araması Nasıl Çalışır?#

MCTS, en umut vadeden eylemleri keşfederek artımlı bir şekilde bir arama ağacı oluşturur. Bir Markov Decision Process altında çalışan algoritma, bir hesaplama bütçesine veya zaman sınırına ulaşılana kadar sürekli dört aşamayı tekrarlar:

1. Seçim: Kök düğümden başlayan algoritma, keşif (yeni yollar deneme) ve sömürü (geçmişte yüksek ödüller getiren yolları tercih etme) arasında denge kuran alt düğümleri seçerek ağaçta aşağı doğru ilerler. Ağaçlar için Uygulanan Üst Güven Sınırı (UCT) formülü, bu takası yönetmek için kullanılan standart bir yöntemdir.

2. Genişletme: Seçilen düğüm simülasyonu sonlandırmadığı sürece, arama ağacını keşfedilmemiş durumlara doğru genişletmek için bir veya daha fazla alt düğüm eklenir.

3. Simülasyon (Rollout): Sonucu tahmin etmek için yeni genişletilmiş düğümden senaryonun sonuna kadar hızlı ve genellikle rastgeleleştirilmiş bir simülasyon çalıştırılır.

4. Geriye Yayılım: Simülasyonun sonucu ağaçta yukarı doğru yayılır; gelecekteki seçimlere bilgi sağlamak amacıyla tüm geçilen düğümlerin başarı istatistikleri ve değerleri güncellenir.

Yapay Zekada Gerçek Dünya Uygulamaları#

Kapsamlı bir survey of Monte Carlo Tree Search methods, devasa ve hesaplamalı olarak çözülmesi zor arama uzaylarına sahip problemleri çözmedeki çok yönlülüğünü vurgulamaktadır.

• Oyun Oynama: Google DeepMind, Go oyununda bir insan dünya şampiyonunu alt eden ilk yapay zekayı oluşturmak için bunu kullandığında MCTS küresel çapta tanınırlık elde etti. MCTS'yi neural networks ile eşleştirerek sistem, geleneksel kaba kuvvet araması için çok geniş olan tahta durumlarını etkili bir şekilde değerlendirebildi.
• LLM Akıl Yürütme ve Agentic AI: 2024 ve 2025 yıllarında araştırmacılar, "Sistem 2" düşünme ve mantık yeteneklerini geliştirmek için MCTS'yi LLM'lerle giderek daha fazla entegre ettiler. Örneğin, son research on automated heuristic design, MCTS'nin LLM'lerin karmaşık optimizasyonlarda gezinmesine nasıl yardımcı olduğunu göstermektedir. Benzer şekilde, MCTS'yi LLM'lerle birleştirmek, bir yanıta karar vermeden önce birden fazla potansiyel mantıksal yolu değerlendirerek knowledge base question answering ve mathematical reasoning performansını büyük ölçüde artırır. OpenAI gibi kuruluşlar, problem çözme doğruluğunu büyük ölçüde artırmak için OpenAI's o1 gibi gelişmiş modellerinde tabanlı arama inference mechanisms kullanmaktadır.
• Robotik ve Otonom Planlama: MCTS, gelecekteki durumları simüle etmek ve karmaşık fiziksel ortamlarda güvenli bir şekilde gezinmek için logistics and routing optimization, autonomous vehicles ve robotik action chunking alanlarında kullanılır.

MCTS ve İlgili Kavramlar#

MCTS'yi tam olarak anlamak için onu ilgili yapay zeka tekniklerinden ayırt etmek faydalıdır:

• Reinforcement Learning (RL): RL, küresel bir politika öğrenmek için modelleri zaman içinde eğitirken, MCTS tipik olarak belirli bir durumdan en iyi anlık eylemi bulmak için real-time inference sırasında kullanılan bir planlama algoritmasıdır. Bununla birlikte, ikisi sıklıkla birleştirilir; RL modelleri, MCTS düğümleri için sezgisel değer sağlayabilir.
• Tree of Thoughts (ToT): ToT, LLM'ler için açıkça tasarlanmış bir ipucu verme çerçevesidir. Büyük ölçüde MCTS'den esinlenmiştir ve dil üretimini her düğümün bir "düşünceyi" temsil ettiği bir ağaç olarak yapılandırır. MCTS, ToT ve benzeri çerçevelerin üzerine inşa edildiği daha geniş algoritmik temeldir.

Görüntü Yapay Zekasını MCTS'ye Entegre Etme#

Gömülü yapay zekada veya otonom sistemlerde, görsel algı genellikle bir MCTS düğümü için durum değerlendiricisi olarak hizmet eder. Ultralytics YOLO26 kullanarak, bir aracı simülasyon aşamasında sezgisel bir puan hesaplamak için bir ortamı hızla değerlendirebilir.

İşte bir MCTS rollout'u sırasında basit bir düğüm ödülünü hesaplamak için bir Ultralytics YOLO modelini nasıl kullanabileceğinizi gösteren kavramsal bir örnek.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for state evaluation
model = YOLO("yolo26n.pt")


def evaluate_mcts_state(image_state):
    # Run inference to evaluate the visual environment
    results = model(image_state, verbose=False)

    # Example heuristic: Reward the MCTS path if an 'obstacle' is successfully avoided
    # Assume class 0 is 'obstacle'. Reward is 1 if path is clear, 0 if blocked.
    obstacle_detected = any(box.cls == 0 for box in results[0].boxes)
    return 0 if obstacle_detected else 1


# Simulate a rollout step
reward = evaluate_mcts_state("path_simulation_view.jpg")
print(f"MCTS Rollout Reward: {reward}")

Bu tür akıllı aracıları ölçeklendirmek isteyen geliştiriciler için Ultralytics Platform, temel vizyon modellerini training and deploying için güçlü araçlar sunar. Bu, PyTorch ve TensorFlow gibi standart matematiksel kütüphaneler veya makine öğrenimi çerçeveleri kullanılarak oluşturulan karmaşık arama mimarilerine hızlı, güvenilir algıyı entegre etmeyi önemli ölçüde daha kolay hale getirir.