Markov Decision Process (MDP)

马尔可夫决策过程 (MDP) 是一种数学框架，用于对结果部分随机且部分受决策者控制的情况下的决策制定进行建模。它是强化学习 (RL) 的基本蓝图，为人工智能体与环境交互以实现特定目标提供了一种结构化方法。与依赖静态标记数据集的标准监督学习不同，MDP 侧重于顺序决策，其中当前的动作会影响未来的可能性。

Link to this sectionMDP 的核心组件#

要理解 MDP 的运作方式，将其可视化为智能体与环境之间的交互循环会很有帮助。此循环由五个关键组件定义：

• 状态 (State)： 环境的当前情况或配置。在自动驾驶汽车中，状态可能包括汽车的速度、位置以及由计算机视觉 (CV) 传感器检测到的附近障碍物。
• 动作 (Action)： 智能体可执行的所有可能移动或选择的集合。这通常被称为动作空间，可以是离散的（例如：向左移动、向右移动）或连续的（例如：调整转向角）。
• 转移概率 (Transition Probability)： 这定义了在采取特定动作后从一个状态移动到另一个状态的可能性。它解释了现实世界中的不确定性和动态，将 MDP 与确定性系统区分开来。
• 奖励 (Reward)： 每次动作后收到的数值信号。奖励函数至关重要，因为它指导智能体的行为——积极的奖励鼓励理想的动作，而消极的奖励（惩罚）则阻碍错误的行为。
• 折扣因子 (Discount Factor)： 一个确定未来奖励相对于即时奖励重要性的值。它帮助智能体优先考虑长期规划而非短期满足，这是战略优化中的一个核心概念。

Link to this section实际应用#

MDP 充当了许多先进技术背后的决策引擎，使系统能够在复杂、动态的环境中进行导航。

• 机器人控制： 在机器人领域的人工智能中，MDP 使机器能够学习复杂的运动技能。例如，机械臂利用 MDP 来确定抓取物体的最佳路径，同时避免碰撞。其状态是关节角度和物体位置（源自3D 物体检测），奖励则基于成功的抓取速度。
• 库存管理： 零售商使用 MDP 进行库存优化。在这里，状态代表当前的库存水平，动作是补货决策，奖励则根据利润率减去仓储和缺货成本来计算。
• 医疗护理： 在个性化医疗中，MDP 有助于设计动态治疗方案。通过将患者的健康指标建模为状态，将药物治疗建模为动作，医生可以利用预测建模来最大化患者的长期健康结果。

Link to this section与强化学习的关系#

虽然密切相关，但区分 MDP 和强化学习很重要。MDP 是正式的问题陈述，即环境的数学模型。强化学习是当内部动力学（转移概率）不完全已知时用于解决该问题的方法。RL 算法（如 Q-learning）与 MDP 交互，通过反复试验来学习最佳策略。

Link to this sectionMDP 中的视觉观察#

在现代 AI 应用中，MDP 的“状态”通常源自视觉数据。高速感知模型充当系统的眼睛，将原始摄像机馈送转换为 MDP 可以处理的结构化数据。例如，Ultralytics YOLO26 可以提供实时物体坐标，这些坐标作为决策智能体的状态输入。

以下示例演示了如何使用 Python 从图像中提取状态表示（边界框），然后将其输入到 MDP 策略中。

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

通过将稳健的视觉模型与 MDP 框架集成，开发人员可以构建不仅能感知世界，还能在其中做出智能、自适应决策的系统。这种协同作用对于自动驾驶系统和智能制造的进步至关重要。