Physical AI
フィジカルAIは、ロボットや車両などの機械が現実世界を認識し、推論し、行動することを可能にします。技術スタック、学習方法、用途を解説します。
フィジカルAIとは、ロボット、ドローン、自動運転車、スマートな産業機械などの身体を通じて、物理世界を認識し、推論し、行動する人工知能(AI)です。チャットボットの出力は画面上のテキストですが、フィジカルAIシステムの出力はモーターへの指令であり、その結果は摩擦、重力、衝突、周囲の人々に左右されます。そのため、安全にリアルタイムで行動できるよう、システムは3D空間と因果関係を十分に理解する必要があります。NVIDIAはこの用語をロボティクスとシミュレーションのプラットフォームの中心に据え、大規模な事前学習モデルが実際のロボットを制御し始めると広く使われるようになりました。フィジカルAIは、以前から使われている研究用語身体性AIとほぼ同義ですが、業界ではフィジカルAIの方が一般的です。
フィジカルAIシステムの仕組み#
すべてのフィジカルAIシステムは、毎秒何度も、センシングと行動の間でループを閉じます。
- センシング: カメラ、ライダー、レーダー、慣性計測装置、関節エンコーダー、力センサーが、環境と機械自体の状態を測定します。
- 認識: ビジョンモデルが生の画素を、プランナーが推論に利用できるオブジェクト、深度、姿勢、マップに変換します。
- 意思決定: プランナー、学習済み方策、または大規模なロボット基盤モデルが次の行動を選択します。
- アクチュエーション: モーター、グリッパー、車輪、ブレーキが行動を実行し、次のステップでセンサーがその効果を測定します。
センサーフュージョンは各センサーの強みを組み合わせ、コンピュータービジョンが認識処理の大部分を担います。意思決定には、モデル予測制御などの制御器、強化学習で訓練された方策、またはロボット基盤モデルが使われます。NVIDIAのオープンなヒューマノイドモデルGR00T N1のように、指示とシーンを解釈する低速モデルとモーター指令を出力する高速モデルに意思決定を分担させる構成が、基盤モデルではますます増えています。GR00T N1は視覚言語モデルと独立した行動モジュールを組み合わせています。
視覚・言語・行動(VLA)モデルは、両方の役割を1つのネットワークにまとめます。Google DeepMindのRT-2は2023年、ロボットの行動をトークンとして出力するようにファインチューニングした視覚言語モデルが、ウェブデータから得た知識を制御に活用できることを示しました。Physical Intelligenceのπ0は、拡散方策に近いフローマッチング行動エキスパートを追加し、未来の複数のステップからなる滑らかな行動チャンクをまとめて出力します。Google DeepMindのGemini Roboticsモデルは、この手法を折り紙のような器用さを要する複数ステップのタスクに拡張しています。
コードで見る認識から行動まで#
認識はループの最初の段階であり、その速度が機械の反応速度の上限を決めます。Ultralytics YOLO26はこのエッジ用途向けに設計されており、TensorRTエクスポート後はNVIDIA Jetsonなどのロボットコンピューターで実行できます。この例では、カメラフレーム内の人を検出し、最も信頼度の高い検出結果を比例制御器でステアリング指令に変換します。これはビジュアルサーボの最も単純な形式です。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]
# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0]) # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5) # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")選択した人物がフレーム内のどこにいるかと、符号がロボットをその人物の方向に向け、値の大きさがずれに応じて大きくなる旋回指令が出力されます。ロボットでは、同じ2つの処理をカメラの各フレームで実行するため、ロボットが目標の方を向くにつれて指令はゼロに近づきます。
フィジカルAIの学習#
データが中心的なボトルネックです。インターネットには数兆語のデータがある一方、ロボットの動作を記録したデータはほとんどなく、各記録は特定のロボットの身体やセンサーに依存します。チームは、人がタスクの実行中にロボットを遠隔操作し、そのセンサー情報と指令を記録する遠隔操作デモを収集し、それを模倣する方策を訓練します。NVIDIA Isaac Labなどの物理シミュレーターでは、数千台のロボットを並列で動かし、物理特性と外観にドメインランダム化を適用して、シミュレーションと現実の差を縮めながら深層強化学習を行えます。レンダリングしたシーンやデジタルツインは、認識モデル向けにまれな状況のラベル付き合成データを提供します。また、世界モデルは、雨天や夜間の同じ道路など、記録済みシーンの新しいバリエーションを生成します。
実際のアプリケーション#
- 物流: 自律移動ロボットは、自ら作成したマップを使って倉庫内を移動し、人やフォークリフトを避けて経路を変更します。一方、自動搬送車は固定経路に従います。
- 製造: ビジョン誘導アームは、無造作に積まれた部品をピッキングし、コンポーネントを組み立て、自らの作業を検査します。また、ヒューマノイドロボットは、コンテナや部品を運ぶパイロット導入が進んでいます。
- 医療: 2025年、外科医の動画で訓練されたJohns HopkinsのSRT-Hロボットは、人が腕を操作せず、音声による修正指示に応じながら、摘出したブタの胆嚢8個で胆嚢摘出術の重要な段階を実行しました。
- 農業: 収穫ロボットや除草ロボットは、カメラで個々の植物を識別してそれぞれに対処します。たとえば、畑全体に薬剤を散布せずに雑草を除去します。
- 運転:ロボタクシーと運転支援システムは、最も大規模に導入されたフィジカルAIの車両群です。毎秒何度も交通状況を認識し、車両を制御します。
フィジカルAIと関連用語#
- ロボティクス: 機構、電子機器、制御などを含め、ロボットを設計・構築する工学分野です。フィジカルAIは認識と意思決定を担う学習型の知能であり、ロボットと呼ばれない車両や機械でも動作します。
- 生成AI: テキスト、画像、動画、コードを生成します。ロボットの動作を生成する拡散モデルから、学習シーンを生成する世界モデルまで、その手法はフィジカルAIにも活用されています。
- 空間知能: 3D空間、オブジェクト、およびそれらの関係を理解して推論する能力です。フィジカルAIが依存する能力の1つです。
- エッジAI: デバイス上でモデルを実行することです。ブレーキをかける前にネットワークの往復を待てないため、フィジカルAIはほぼ常にエッジAIです。










