深層強化学習

深層強化学習（DRL）は、機械学習（ML）のサブフィールドであり、強化学習（RL）の原則と深層学習（DL）の力を組み合わせたものです。これにより、AIエージェントは、複雑な高次元環境での試行錯誤を通じて、最適な意思決定戦略を学習できます。深層ニューラルネットワークを使用することで、DRLモデルは、手動の特徴量エンジニアリングを必要とせずに、画像やセンサーデータからのピクセルなどの生の感覚入力を処理できます。これにより、従来のRL手法では以前は扱いにくかった問題に取り組むことができます。

深層強化学習の仕組み

一般的なDRL設定では、エージェントは一連のタイムステップにわたって環境と相互作用します。各ステップで、エージェントは環境の状態を観察し、アクションを実行し、報酬またはペナルティを受け取ります。目標は、時間の経過とともに合計累積報酬を最大化するポリシー（アクションを選択するための戦略）を学習することです。DRLの「ディープ」な部分は、ポリシー自体、または状態やアクションの望ましさを推定する価値関数を近似するために、深層ニューラルネットワークを使用することから来ています。このネットワークは、受信した報酬に基づいてモデルの重みを調整するために、勾配降下法などのアルゴリズムを使用してトレーニングされます。このプロセス全体は、逐次的な意思決定をモデル化するための数学的基礎を提供するマルコフ決定過程（MDP）を使用して形式化されます。

他の概念との区別

DRLを関連用語と区別することが重要です。

• 強化学習（RL）: DRLは、RLの最新かつ高度な形式です。従来のRLは、状態をアクションにマッピングするためにテーブルまたは線形関数に依存することが多いのに対し、大きな状態空間（たとえば、画面上の可能なすべてのピクセル組み合わせ）では苦労します。DRLは、深層ニューラルネットワークを強力な関数近似器として使用することにより、この制限を克服します。
• 深層学習（DL）: DLは、DRLが複雑な入力を処理する能力を強化するテクノロジーです。DLは、ラベル付けされたデータセットからモデルが学習する教師あり学習と最も一般的に関連付けられていますが、DRLは報酬の疎なフィードバックから学習するため、最適化および制御タスクに適しています。
• Supervised Learning: 教師あり学習パラダイムでは、予測を行うモデルをトレーニングするためにラベル付きデータセットが必要です。対照的に、DRLはラベル付きデータを必要としません。代わりに、報酬シグナルによって導かれ、環境との相互作用を通じて独自のデータを生成します。これにより、ラベル付きデータが不足している、または利用できない問題に非常に効果的です。

実際のアプリケーション

強化学習（DRL）は、さまざまな複雑な分野で躍進を遂げています。

• ゲームプレイ: 最も有名な例の1つは、世界トップの囲碁プレイヤーを破ったDeepMindのAlphaGoです。DRLエージェントは、盤面の視覚的な状態を使用して戦略的な意思決定を行い、数百万回もの対戦を繰り返すことで学習しました。同様に、OpenAI Fiveは、複雑なビデオゲームDota 2を人間を超えるレベルでプレイすることを学習しました。
• ロボティクス: DRLは、オブジェクトの操作、移動、組み立てなどの複雑なタスクを実行するようにロボットをトレーニングするために使用されます。たとえば、ロボットはカメラからの入力を直接処理し、正常な把握に対して肯定的な報酬を受け取ることで、見慣れないオブジェクトを拾い上げることを学習できます。ロボティクスにおけるAIの役割に関する議論で探求されているトピックです。
• 自動運転車: DRLは、自動運転車におけるAIに関する記事で詳しく説明されているように、動的な交通シナリオにおけるナビゲーション、経路計画、および意思決定のための洗練された制御ポリシーの開発に役立ちます。
• Resource Management: DRLは、エネルギーグリッド、交通信号制御、化学反応の最適化などの複雑なシステムを最適化できます。例としては、DRLを使用してスマートシティの交通流を管理することが挙げられます。
• レコメンデーションシステム: DRLは、長期的なエンゲージメントまたは満足度を最大化するために、ユーザーに表示されるレコメンデーションのシーケンスを最適化できます。
• 医療： DRLは、患者の状態に基づいて最適な治療方針と薬剤投与量を発見するために研究されており、医療におけるAIのより広範な分野に貢献しています。

AIエコシステムにおける関連性

深層強化学習はAI研究の最前線にあり、機械の自律性の限界を押し広げています。Ultralyticsのような企業は、主に物体検出や画像セグメンテーションなどのタスクのために、Ultralytics YOLOのような最先端のビジョンモデルに焦点を当てていますが、これらの知覚システムの出力は、多くの場合、DRLエージェントにとって重要な入力となります。たとえば、ロボットは、Ultralytics HUBを介してデプロイされたUltralytics YOLOモデルを使用して、次のアクションをDRLポリシーが決定する前に、その環境（状態表現）を認識する場合があります。DRLを理解することで、高度な知覚がより広範な自律システムにどのように適合するかについてのコンテキストが得られます。この開発は、PyTorch（PyTorchホームページ）やTensorFlow（TensorFlowホームページ）のようなフレームワークによって促進され、Gymnasiumのようなシミュレーション環境でテストされます。DeepMindのような主要な研究機関や、人工知能振興協会（AAAI）のような学術団体は、このエキサイティングな分野の進歩を推進し続けています。