Markov Decision Process (MDP)

Um Processo de Decisão de Markov (MDP) é uma estrutura matemática utilizada para modelar a tomada de decisões em situações nas quais os resultados são parcialmente aleatórios e parcialmente controlados por um decisor. É o modelo fundamental para a aprendizagem por reforço (RL), proporcionando uma forma estruturada para um agente de IA interagir com um ambiente para alcançar um objetivo específico. Ao contrário da aprendizagem supervisionada convencional, que depende de conjuntos de dados estáticos rotulados, um MDP concentra-se na tomada de decisões sequenciais, na qual as ações atuais influenciam as possibilidades futuras.

Componentes principais de um MDP#

Para compreender como um MDP funciona, é útil visualizá-lo como um ciclo de interação entre um agente e o seu ambiente. Este ciclo é definido por cinco componentes fundamentais:

• Estado: A situação ou configuração atual do ambiente. Em veículos autónomos, o estado pode incluir a velocidade e a localização do automóvel, bem como os obstáculos próximos detetados por sensores de visão computacional (CV).
• Ação: O conjunto de todos os movimentos ou escolhas possíveis disponíveis para o agente. É frequentemente chamado de espaço de ações, que pode ser discreto (por exemplo, mover para a esquerda ou para a direita) ou contínuo (por exemplo, ajustar o ângulo de direção).
• Probabilidade de transição: Define a probabilidade de passar de um estado para outro após executar uma ação específica. Tem em conta a incerteza e a dinâmica do mundo real, distinguindo os MDPs dos sistemas determinísticos.
• Recompensa: Um sinal numérico recebido após cada ação. A função de recompensa é fundamental porque orienta o comportamento do agente — recompensas positivas incentivam ações desejáveis, enquanto recompensas negativas (penalizações) desencorajam erros.
• Fator de desconto: Um valor que determina a importância das recompensas futuras em comparação com as imediatas. Ajuda o agente a dar prioridade ao planeamento a longo prazo em vez da gratificação a curto prazo, um conceito central da otimização estratégica.

Aplicações no mundo real#

Os MDPs funcionam como o motor de tomada de decisões por detrás de muitas tecnologias avançadas, permitindo que os sistemas naveguem em ambientes complexos e dinâmicos.

• Controlo robótico: Na IA na robótica, os MDPs permitem que as máquinas aprendam competências motoras complexas. Por exemplo, um braço robótico utiliza MDPs para determinar o caminho ideal para apanhar um objeto evitando colisões. O estado corresponde aos ângulos das articulações e à posição do objeto, obtidos através da deteção de objetos 3D, e a recompensa baseia-se na velocidade de preensão bem-sucedida.
• Gestão de inventário: Os retalhistas utilizam MDPs para a otimização do inventário. Neste caso, o estado representa os níveis atuais de stock, as ações são decisões de reposição e as recompensas são calculadas com base nas margens de lucro menos os custos de armazenamento e de rutura de stock.
• Tratamento de saúde: Na medicina personalizada, os MDPs ajudam a conceber planos de tratamento dinâmicos. Ao modelar os indicadores de saúde do paciente como estados e os medicamentos como ações, os médicos podem utilizar a modelação preditiva para maximizar os resultados de saúde do paciente a longo prazo.

Relação com a aprendizagem por reforço#

Embora estejam estreitamente relacionados, é importante distinguir entre um MDP e a aprendizagem por reforço. Um MDP é a formulação formal do problema — o modelo matemático do ambiente. A aprendizagem por reforço é o método utilizado para resolver esse problema quando a dinâmica interna (as probabilidades de transição) não é totalmente conhecida. Os algoritmos de RL, como o Q-learning, interagem com o MDP para aprender a melhor política através de tentativa e erro.

Observação visual em MDPs#

Nas aplicações modernas de IA, o "estado" de um MDP é frequentemente obtido a partir de dados visuais. Os modelos de perceção de alta velocidade funcionam como os olhos do sistema, convertendo os fluxos de vídeo brutos das câmaras em dados estruturados que o MDP pode processar. Por exemplo, o Ultralytics YOLO26 pode fornecer coordenadas de objetos em tempo real, que servem como entradas de estado para um agente de tomada de decisões.

O exemplo seguinte demonstra como extrair uma representação do estado (caixas delimitadoras) de uma imagem utilizando Python, que poderia depois ser introduzida numa política de MDP.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

Ao integrar modelos de visão robustos com estruturas de MDP, os programadores podem criar sistemas que não só percecionam o mundo, mas também tomam decisões inteligentes e adaptativas dentro dele. Esta sinergia é essencial para o avanço dos sistemas autónomos e da produção inteligente.