Pesquisa na Árvore de Monte Carlo (MCTS)

A Pesquisa em Árvore de Monte Carlo (MCTS) é um algoritmo de pesquisa heurística utilizado em processos complexos de tomada de decisão, principalmente no âmbito da aprendizagem automática e da inteligência artificial. Conforme descrito na sua definição da Wikipédia, o MCTS combina a precisão dos algoritmos de pesquisa em árvore com o poder da amostragem aleatória (simulações de Monte Carlo) para avaliar os movimentos mais promissores num determinado espaço de estados. Originalmente popularizado pelo seu sucesso em jogos de tabuleiro complexos, o algoritmo é agora um componente fundamental dos agentes modernos de IA e dos sistemas de raciocínio avançados, incluindo os inovadores Modelos de Linguagem de Grande Dimensão (LLMs).

Como funciona a pesquisa em árvore de Monte Carlo

O MCTS constrói uma árvore de pesquisa de forma incremental, explorando as ações mais promissoras. Funcionando com base num Processo de Decisão de Markov, o algoritmo repete quatro fases consecutivas até que se atinja um limite de recursos computacionais ou de tempo:

1. Seleção: Começando pelo nó raiz, o algoritmo percorre a árvore de cima para baixo, selecionando nós filhos que equilibram a exploração (experimentar novos caminhos) e a exploração (dar preferência a caminhos com recompensas elevadas no passado). A f órmula do Limite Superior de Confiança aplicado a Árvores (UCT) é um método padrão utilizado para gerir este equilíbrio.
2. Expansão: A menos que o nó selecionado termine a simulação, são adicionados um ou mais nós filhos para expandir a árvore de pesquisa para estados ainda não explorados.
3. Simulação (Rollout): É executada uma simulação rápida, frequentemente aleatória, a partir do nó recém-expandido até ao final do cenário, para prever o resultado.
4. Retropropagação: O resultado da simulação é propagado de volta pela árvore, atualizando as estatísticas de sucesso e os valores de todos os nós percorridos para orientar as seleções futuras.

Aplicações do mundo real em IA

Um estudo exaustivo dos métodos de pesquisa em árvores de Monte Carlo destaca a sua versatilidade na resolução de problemas com espaços de pesquisa enormes e computacionalmente intratáveis.

• Jogos: O MCTS ganhou reconhecimento mundial quando Google o utilizou para alimentar o AlphaGo, criando a primeira IA a derrotar um campeão mundial humano no jogo de Go. Ao combinar o MCTS com redes neurais, o sistema conseguiu avaliar eficazmente estados do tabuleiro que eram demasiado complexos para a pesquisa tradicional por força bruta.
• Raciocínio com LLMs e IA Agente: Em 2024 e 2025, os investigadores integraram cada vez mais os MCTS com os LLMs para melhorar o raciocínio do «Sistema 2» e as capacidades lógicas. Por exemplo, uma investigação recente sobre o desenho heurístico automatizado demonstra como os MCTS ajudam os LLMs a lidar com otimizações complexas. Da mesma forma, a combinação de MCTS com LLMs melhora significativamente o desempenho na resposta a perguntas com base em conhecimento e no raciocínio matemático, ao avaliar múltiplos caminhos lógicos potenciais antes de se comprometer com uma resposta. Organizações como a OpenAI aproveitam mecanismos de inferência baseados em pesquisa nos seus modelos avançados, tais como o o1 da OpenAI, para melhorar drasticamente a precisão na resolução de problemas.
• Robótica e planeamento autónomo: o MCTS é utilizado na otimização logística e de percursos, veículos autónomos e segmentação de ações robóticas para simular estados futuros e navegar com segurança em ambientes físicos complexos.

MCTS vs. Conceitos relacionados

Para compreender plenamente o MCTS, é útil distingui-lo de técnicas de IA relacionadas:

• Aprendizagem por reforço (RL): Enquanto a RL treina modelos ao longo do tempo para aprender uma política global, o MCTS é normalmente um algoritmo de planeamento utilizado durante a inferência em tempo real para encontrar a melhor ação imediata a partir de um estado específico. No entanto, os dois são frequentemente combinados; os modelos de RL podem fornecer o valor heurístico para os nós do MCTS.
• Tree of Thoughts (ToT): O ToT é uma estrutura de sugestões concebida especificamente para modelos de linguagem de grande escala (LLMs). É fortemente inspirada no MCTS, estruturando a geração de linguagem como uma árvore em que cada nó representa um «pensamento». O MCTS constitui a base algorítmica mais ampla sobre a qual o ToT e estruturas semelhantes se assentam.

Integração da IA de visão no MCTS

Na IA incorporada ou nos sistemas autónomos, a perceção visual serve frequentemente como avaliador de estado para um nó MCTS. Ao utilizar Ultralytics , um agente pode avaliar rapidamente um ambiente para calcular uma pontuação heurística durante a fase de simulação.

Eis um exemplo conceptual que mostra como se pode utilizar umYOLO Ultralytics para calcular uma recompensa de nó simples durante um rollout MCTS.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model for state evaluation
model = YOLO("yolo26n.pt")


def evaluate_mcts_state(image_state):
    # Run inference to evaluate the visual environment
    results = model(image_state, verbose=False)

    # Example heuristic: Reward the MCTS path if an 'obstacle' is successfully avoided
    # Assume class 0 is 'obstacle'. Reward is 1 if path is clear, 0 if blocked.
    obstacle_detected = any(box.cls == 0 for box in results[0].boxes)
    return 0 if obstacle_detected else 1


# Simulate a rollout step
reward = evaluate_mcts_state("path_simulation_view.jpg")
print(f"MCTS Rollout Reward: {reward}")

Para os programadores que pretendem escalar esses agentes inteligentes, a Ultralytics oferece ferramentas robustas para treinar e implementar os modelos de visão subjacentes. Isto facilita significativamente a integração de uma perceção rápida e fiável em arquiteturas de pesquisa complexas construídas utilizando bibliotecas matemáticas padrão ou frameworks de aprendizagem automática como PyTorch e TensorFlow.