Markov Decision Process (MDP)

Марковский процесс принятия решений (MDP) — это математическая модель, используемая для описания процесса принятия решений в ситуациях, где результаты частично случайны, а частично зависят от действий принимающего решение лица. Это фундаментальная основа для обучения с подкреплением (RL), предоставляющая агенту ИИ структурированный способ взаимодействия со средой для достижения конкретной цели. В отличие от стандартного обучения с учителем, которое опирается на статические размеченные наборы данных, MDP фокусируется на последовательном принятии решений, где текущие действия влияют на будущие возможности.

Link to this sectionОсновные компоненты MDP#

Чтобы понять, как работает MDP, полезно представить его как цикл взаимодействия между агентом и средой. Этот цикл определяется пятью ключевыми компонентами:

• Состояние: текущая ситуация или конфигурация среды. В автономных транспортных средствах состояние может включать скорость автомобиля, его местоположение и близлежащие препятствия, обнаруженные датчиками компьютерного зрения (CV).
• Действие: набор всех возможных ходов или вариантов выбора, доступных агенту. Это часто называют пространством действий, которое может быть дискретным (например, движение влево, вправо) или непрерывным (например, регулировка угла поворота руля).
• Вероятность перехода: определяет вероятность перехода из одного состояния в другое после выполнения определенного действия. Она учитывает неопределенность и динамику реального мира, отличая MDP от детерминированных систем.
• Награда: числовой сигнал, получаемый после каждого действия. Функция вознаграждения критически важна, поскольку она направляет поведение агента: положительные вознаграждения поощряют желаемые действия, тогда как отрицательные (штрафы) — препятствуют совершению ошибок.
• Коэффициент дисконтирования: значение, определяющее важность будущих вознаграждений по сравнению с немедленными. Оно помогает агенту расставлять приоритеты в пользу долгосрочного планирования, а не сиюминутного результата — концепция, занимающая центральное место в стратегической оптимизации.

Link to this sectionРеальные приложения#

MDP выступают в роли механизма принятия решений во многих передовых технологиях, позволяя системам ориентироваться в сложных и динамичных средах.

• Управление робототехникой: в ИИ в робототехнике MDP позволяют машинам осваивать сложные моторные навыки. Например, робот-манипулятор использует MDP, чтобы определить оптимальный путь захвата объекта, избегая столкновений. Состоянием выступают углы суставов и положение объекта, полученные на основе 3D-обнаружения объектов, а вознаграждение основано на скорости успешного захвата.
• Управление запасами: ритейлеры используют MDP для оптимизации запасов. Здесь состояние представляет текущий уровень запасов, действия — это решения о повторных заказах, а вознаграждения рассчитываются на основе прибыли за вычетом затрат на хранение и дефицит товара.
• Медицинское лечение: в персонализированной медицине MDP помогают разрабатывать динамические планы лечения. Моделируя показатели здоровья пациента как состояния, а медикаментозное воздействие как действия, врачи могут использовать прогнозное моделирование для максимизации долгосрочных результатов лечения пациента.

Link to this sectionСвязь с обучением с подкреплением#

Хотя они тесно связаны, важно различать MDP и обучение с подкреплением. MDP — это формальная постановка задачи, математическая модель среды. Обучение с подкреплением — это метод, используемый для решения этой задачи, когда внутренняя динамика (вероятности переходов) известна не полностью. Алгоритмы RL, такие как Q-learning, взаимодействуют с MDP, чтобы изучить оптимальную политику методом проб и ошибок.

Link to this sectionВизуальное наблюдение в MDP#

В современных приложениях ИИ «состояние» MDP часто извлекается из визуальных данных. Высокоскоростные модели восприятия работают как «глаза» системы, превращая необработанные потоки с камер в структурированные данные, которые может обработать MDP. Например, Ultralytics YOLO26 может предоставлять координаты объектов в реальном времени, которые служат входными данными о состоянии для агента, принимающего решения.

Следующий пример демонстрирует, как извлечь представление состояния (ограничивающие рамки) из изображения с помощью Python, что затем можно подать в политику MDP.

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

Интегрируя надежные модели зрения с фреймворками MDP, разработчики могут создавать системы, которые не только воспринимают мир, но и принимают в нем разумные, адаптивные решения. Эта синергия необходима для прогресса автономных систем и умного производства.