Deep Reinforcement Learning

深層強化学習 (DRL) は、人工知能 (AI)の高度なサブ分野であり、強化学習の意思決定能力とディープラーニング (DL)の知覚能力を組み合わせたものです。従来の強化学習では、状況と行動の対応付けにテーブル形式の手法を使いますが、環境が複雑または視覚的な場合、こうした手法では対応が困難になります。DRLはニューラルネットワークを使って動画フレームやセンサーの読み取り値などの高次元入力データを解釈し、この課題を克服します。これにより、機械は人間から明示的な指示を受けずに、生の経験から有効な戦略を直接学習できます。

DRLの基本的な仕組み#

DRLシステムでは、AIエージェントが離散的な時間ステップで環境と相互作用します。各ステップで、エージェントは現在の「状態」を観測し、ポリシーに基づいてアクションを選択し、そのアクションの成功または失敗を示す報酬信号を受け取ります。主な目標は、時間の経過とともに累積報酬を最大化することです。

「ディープ」とは、ポリシー（行動戦略）または価値関数（将来の報酬の推定値）を近似するために、ディープニューラルネットワークを使用することを指します。これにより、エージェントは非構造化データを処理し、人間と同じように環境を「見る」ためにコンピュータービジョン（CV）を活用できます。この機能は、複雑なネットワークのトレーニングを容易にするPyTorchやTensorFlowなどのフレームワークによって支えられています。

実際のアプリケーション#

DRLは理論研究の枠を超え、さまざまな業界で実用的かつ大きな影響をもたらすアプリケーションへと発展しています。

• 高度なロボティクス：ロボティクスにおけるAIの分野では、DRLによって、機械がハードコードするのが難しい複雑な運動スキルを習得できます。ロボットは、NVIDIA Isaac Simなどの物理エンジン内で動作を調整することで、不規則な形状の物体をつかんだり、起伏のある地形を移動したりする方法を学習できます。多くの場合、ポリシーを実機にデプロイする前に、合成データを使ってトレーニングします。
• 自動運転：自動運転車は、予測不可能な交通状況でリアルタイムの判断を行うためにDRLを活用します。物体検出モデルが歩行者や標識を識別する一方で、DRLアルゴリズムはその情報を使って、車線変更、交差点の通行、速度制御における安全な運転ポリシーを決定し、安全性に必要な推論レイテンシを効果的に管理します。

状態オブザーバーとしてのビジョン#

多くのDRLアプリケーションでは、「状態」は視覚情報です。高速なモデルはエージェントの目として機能し、生の画像をポリシーネットワークが利用できる構造化データに変換します。次の例では、YOLO26モデルがエージェントの知覚レイヤーとして機能し、環境から観測値（障害物の数など）を抽出する様子を示します。

from ultralytics import YOLO

# Load YOLO26n to serve as the perception layer for a DRL agent
model = YOLO("yolo26n.pt")

# Simulate an observation from the environment (e.g., a robot's camera feed)
observation_frame = "https://ultralytics.com/images/bus.jpg"

# Perform inference to extract the state (detected objects)
results = model(observation_frame)

# The detection count serves as a simplified state feature for the agent's policy
print(f"State Observation: {len(results[0].boxes)} objects detected.")

DRLと関連する概念との違い#

AI分野における独自の位置付けを理解するには、ディープ強化学習を類似する用語と区別すると役立ちます。

• 強化学習（RL）：標準的なRLは基礎となる概念ですが、通常はルックアップテーブル（Qテーブルなど）に依存しており、状態空間が大きい場合には実用的ではありません。DRLはディープラーニングを使って関数を近似することでこの問題を解決し、画像のような複雑な入力を扱えるようにします。
• 人間のフィードバックによる強化学習（RLHF）：DRLは通常、数学的に定義された報酬関数（ゲームのポイントなど）の最適化を目指しますが、RLHFは主観的な人間の好みを使ってモデル、特に大規模言語モデル（LLM）を調整し、AIの振る舞いを人間の価値観に適合させます。この手法は、OpenAIなどの研究グループによって広く知られるようになりました。
• 教師なし学習：教師なし手法は、明示的なフィードバックなしでデータ内の隠れたパターンを探します。これに対してDRLは目標指向であり、報酬信号によってエージェントを特定の目的へ積極的に導きます。この点は、SuttonとBartoによる基礎的な文献でも論じられています。

DRLシステムの知覚レイヤーに必要なデータセットを管理する開発者は、アノテーションやクラウドトレーニングのワークフローを簡素化するUltralytics Platformを利用できます。また、研究者はDRLアルゴリズムを確立されたベースラインと比較評価するために、Gymnasiumなどの標準化された環境をよく使用します。