Monte Carlo Tree Search (MCTS)

Monte Carlo Ağaç Araması (MCTS), karmaşık karar verme süreçlerinde, özellikle makine öğrenmesi alanında ve yapay zekâda kullanılan bir sezgisel arama algoritmasıdır. Wikipedia tanımında açıklandığı üzere MCTS, ağaç arama algoritmalarının kesinliğini rastgele örneklemenin (Monte Carlo benzetimlerinin) gücüyle birleştirerek belirli bir durum uzayındaki en umut verici hamleleri değerlendirir. Karmaşık masa oyunlarındaki başarısıyla ilk kez yaygınlaşan bu algoritma, artık son teknoloji Büyük Dil Modelleri (LLM'ler) dâhil modern yapay zekâ aracıları ve gelişmiş akıl yürütme sistemlerinin temel bileşenlerinden biridir.

Monte Carlo Ağaç Araması Nasıl Çalışır#

MCTS, en umut verici eylemleri araştırarak arama ağacını adım adım oluşturur. Bir Markov Karar Süreci çerçevesinde çalışan algoritma, hesaplama bütçesine veya süre sınırına ulaşılana kadar art arda dört aşamayı yineler:

1. Seçim: Algoritma, kök düğümden başlayarak keşif (yeni yolları deneme) ile yararlanmayı (geçmişte yüksek ödül getiren yolları tercih etme) dengeleyen alt düğümleri seçip ağaçta ilerler. Ağaçlara Uygulanan Üst Güven Sınırı (UCT) formülü, bu dengeyi yönetmek için kullanılan standart bir yöntemdir.

2. Genişletme: Seçilen düğüm benzetimi sonlandırmıyorsa, arama ağacını keşfedilmemiş durumlara genişletmek için bir veya daha fazla alt düğüm eklenir.

3. Benzetim (Rollout): Yeni genişletilen düğümden senaryonun sonuna kadar, sonucu tahmin etmek için hızlı ve çoğunlukla rastgele bir benzetim çalıştırılır.

4. Geri Yayılım: Benzetimin sonucu ağaçta geriye doğru iletilir; böylece gelecekteki seçimlere yön vermek için geçilen tüm düğümlerin başarı istatistikleri ve değerleri güncellenir.

Yapay Zekâda Gerçek Dünya Uygulamaları#

Kapsamlı bir Monte Carlo Ağaç Araması yöntemleri incelemesi, bu yöntemin hesaplama açısından çözümlenemeyecek kadar büyük arama uzaylarına sahip sorunları çözmedeki çok yönlülüğünü vurgular.

• Oyun Oynama: Google DeepMind, AlphaGo'ya güç vermek için MCTS'yi kullandığında MCTS dünya çapında tanındı; bu sayede Go oyununda dünya şampiyonu bir insanı yenen ilk yapay zekâ oluşturuldu. MCTS'yi sinir ağlarıyla birleştiren sistem, geleneksel kaba kuvvetli aramanın kapsayamayacağı kadar geniş tahta durumlarını etkili biçimde değerlendirebildi.
• LLM Akıl Yürütmesi ve Ajan Tabanlı Yapay Zekâ: 2024 ve 2025'te araştırmacılar, "Sistem 2" düşünme ve mantık yeteneklerini geliştirmek için MCTS'yi LLM'lerle giderek daha fazla bütünleştirdi. Örneğin, otomatik sezgisel tasarım araştırmaları, MCTS'nin karmaşık optimizasyonlarda LLM'lere nasıl yardımcı olduğunu gösteriyor. Benzer biçimde MCTS'yi LLM'lerle birleştirmek, yanıt vermeden önce olası mantıksal yolları değerlendirdiği için bilgi tabanı soru yanıtlamada ve matematiksel akıl yürütmede performansı büyük ölçüde artırıyor. OpenAI gibi kuruluşlar, problem çözme doğruluğunu önemli ölçüde artırmak için OpenAI'ın o1'i gibi gelişmiş modellerinde arama tabanlı çıkarım mekanizmalarından yararlanıyor.
• Robotik ve Otonom Planlama: MCTS, gelecekteki durumları benzetmek ve karmaşık fiziksel ortamlarda güvenli biçimde gezinmek için lojistik ve rota optimizasyonunda, otonom araçlarda ve robotik eylem gruplamada kullanılır.

MCTS ve İlgili Kavramlar#

MCTS'yi tam olarak anlamak için onu ilgili yapay zekâ tekniklerinden ayırmak yararlıdır:

• Pekiştirmeli Öğrenme (RL): RL, modelleri zaman içinde eğiterek genel bir politika öğrenmelerini sağlarken MCTS genellikle belirli bir durumdan en iyi anlık eylemi bulmak için gerçek zamanlı çıkarım sırasında kullanılan bir planlama algoritmasıdır. Ancak iki yöntem sıkça bir arada kullanılır; RL modelleri, MCTS düğümleri için sezgisel değer sağlayabilir.
• Düşünce Ağacı (ToT): ToT, LLM'ler için özel olarak tasarlanmış bir istem çerçevesidir. MCTS'den büyük ölçüde esinlenir ve her düğümün bir "düşünceyi" temsil ettiği bir ağaç yapısında dil üretir. MCTS, ToT ve benzeri çerçevelerin üzerine kurulduğu daha genel algoritmik temeldir.

Görü Yapay Zekâsını MCTS'ye Entegre Etme#

Cisimleşmiş yapay zekâda veya otonom sistemlerde, görsel algı çoğunlukla MCTS düğümünün durum değerlendiricisi olarak görev yapar. Ultralytics YOLO26 sayesinde bir aracı, benzetim aşamasında sezgisel bir skor hesaplamak için ortamı hızla değerlendirebilir.

Aşağıda, MCTS rollout işlemi sırasında basit bir düğüm ödülünü hesaplamak için Ultralytics YOLO modelinden nasıl yararlanabileceğini gösteren kavramsal bir örnek yer alıyor.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for state evaluation
model = YOLO("yolo26n.pt")


def evaluate_mcts_state(image_state):
    # Run inference to evaluate the visual environment
    results = model(image_state, verbose=False)

    # Example heuristic: Reward the MCTS path if an 'obstacle' is successfully avoided
    # Assume class 0 is 'obstacle'. Reward is 1 if path is clear, 0 if blocked.
    obstacle_detected = any(box.cls == 0 for box in results[0].boxes)
    return 0 if obstacle_detected else 1


# Simulate a rollout step
reward = evaluate_mcts_state("path_simulation_view.jpg")
print(f"MCTS Rollout Reward: {reward}")

Bu tür akıllı aracıları ölçeklendirmek isteyen geliştiriciler için Ultralytics Platform, temel görsel modelleri eğitmek ve devreye almak için güçlü araçlar sunar. Bu sayede standart matematik kütüphaneleri veya PyTorch ve TensorFlow gibi makine öğrenmesi çatılarıyla oluşturulmuş karmaşık arama mimarilerine hızlı ve güvenilir algılamayı entegre etmek çok daha kolaylaşır.