Markov Decision Process (MDP)

マルコフ決定過程 (MDP) は、結果が部分的にランダムであり、かつ部分的に意思決定者の制御下にある状況下での意思決定をモデル化するために使用される数学的フレームワークです。これは 強化学習 (RL) の基本的な青写真であり、AIエージェント が特定の目標を達成するために環境と相互作用するための構造化された方法を提供します。静的なラベル付きデータセットに依存する標準的な 教師あり学習 とは異なり、MDP は現在の行動が将来の可能性に影響を与える逐次的な意思決定に焦点を当てています。

Link to this sectionMDP の主要構成要素#

MDP がどのように動作するかを理解するには、エージェントと環境との間の相互作用のサイクルとして視覚化すると役立ちます。このサイクルは、5つの主要な構成要素によって定義されます。

• 状態 (State): 環境の現在の状況または構成。自動運転車 において、状態には車の速度、位置、および コンピュータビジョン (CV) センサーによって検出された近くの障害物が含まれます。
• 行動 (Action): エージェントが利用可能なすべての可能な動きまたは選択肢の集合。行動空間 (action space) と呼ばれることが多く、離散的（例：左に移動、右に移動）または連続的（例：操舵角の調整）なものがあります。
• 遷移確率 (Transition Probability): 特定の行動をとった後に、ある状態から別の状態へ移行する可能性を定義します。これは現実世界の不確実性とダイナミクスを考慮に入れており、MDP を決定論的なシステムと区別するものです。
• 報酬 (Reward): 各行動の後に受け取る数値信号。報酬関数 (reward function) はエージェントの行動を導くため極めて重要です。正の報酬は望ましい行動を促進し、負の報酬（ペナルティ）は間違いを抑制します。
• 割引率 (Discount Factor): 即時報酬と比較した将来の報酬の重要性を決定する値です。これはエージェントが短期的な満足よりも長期的な計画を優先するのに役立ち、戦略的最適化 の中心となる概念です。

Link to this section実社会での応用#

MDP は多くの高度な技術の背後にある意思決定エンジンとして機能し、システムが複雑で動的な環境をナビゲートすることを可能にします。

• ロボティクス制御: ロボティクスにおけるAI において、MDP はマシンが複雑な運動スキルを学習することを可能にします。例えば、ロボットアームは MDP を使用して、衝突を回避しながら物体を拾い上げるための最適な経路を決定します。状態は関節の角度と物体の位置（3D物体検出 から導出）であり、報酬は把持の成功速度に基づいています。
• 在庫管理: 小売業者は 在庫最適化 に MDP を使用します。ここで状態は現在の在庫レベルを表し、行動は再注文の決定であり、報酬は利益率から保管コストや欠品コストを差し引いたものに基づいて計算されます。
• 医療治療: 個別化医療において、MDP は動的な治療計画の設計を支援します。患者の健康指標を状態として、投薬を行動としてモデル化することで、医師は 予測モデリング を使用して患者の長期的な健康転帰を最大化できます。

Link to this section強化学習との関係#

密接に関連していますが、MDP と強化学習を区別することが重要です。MDP は「正式な問題定義」、つまり環境の数学的モデルです。強化学習 は、内部のダイナミクス（遷移確率）が完全には知られていない場合に、その問題を解決するために使用される「手法」です。Q-learning などの強化学習アルゴリズムは、MDP と相互作用して試行錯誤を通じて最適なポリシーを学習します。

Link to this sectionMDP における視覚的観測#

現代の AI アプリケーションでは、MDP の「状態」は多くの場合、視覚データから導出されます。高速な知覚モデルがシステムの目として機能し、生のカメラフィードを MDP が処理可能な構造化データに変換します。例えば、Ultralytics YOLO26 はリアルタイムの物体座標を提供でき、これが意思決定エージェントの状態入力として機能します。

以下の例は、Python を使用して画像から状態表現（バウンディングボックス）を抽出する方法を示しています。これはその後、MDP ポリシーに入力することが可能です。

from ultralytics import YOLO

# Load the YOLO26 model to serve as the perception layer
model = YOLO("yolo26n.pt")

# Perform inference to observe the current 'state' of the environment
results = model("https://ultralytics.com/images/bus.jpg")

# Extract bounding box coordinates to form the state vector
# This structured data tells the agent where objects are located
for box in results[0].boxes:
    print(f"State Object: Class {int(box.cls)} at {box.xywh.tolist()}")

堅牢なビジョンモデルと MDP フレームワークを統合することで、開発者は世界を認識するだけでなく、その中で知的かつ適応的な意思決定を行うシステムを構築できます。この相乗効果は、自律システム と スマートマニュファクチャリング の発展に不可欠です。