Embodied AI

身体性AIは、物理的なロボットまたは3Dシミュレーター内のアバターという身体を持つエージェントを構築する人工知能の分野です。エージェントはセンサーを通じて周囲を知覚し、モーターやシミュレーション上の制御を通じて働きかけ、自らの行動の結果から学習します。行動するたびに次にエージェントが見るものが変わるため、身体性エージェントは固定された画像やテキストのデータセットだけから学習するのではなく、自らの経験を収集します。典型的な身体性タスクには、見知らぬ家でオブジェクトを探して移動すること、質問に答えるために部屋を探索すること、音声の指示に従うこと、オブジェクトを拾って並べ替えることなどがあり、この分野は現代のロボティクスを支える学習手法を提供します。

身体性AIの起源#

身体性AIは、純粋に記号的なAIへの反発から発展しました。1980年代後半、MITのRodney Brooksは、単純なセンサー・モーター間の動作を層状に組み合わせて制御する、昆虫のような歩行ロボットを開発しました。また、1991年の論文「知的さに表象はいらない」で、知能は機械が世界と直接相互作用することから構築されるべきだと主張しました。1988年、Hans Moravecは、コンピューターはすでにチェッカーや知能テストでは大人に匹敵していたものの、1歳児の知覚能力や移動能力には及ばないと指摘しました。現在Moravecのパラドックスと呼ばれるこの隔たりは、今もこの分野の中心的な課題です。

現代のこの分野は、3Dシミュレーターの高速化によって、何十億もの経験ステップでエージェントを訓練することが現実的になった2017年から2019年にかけて形作られました。Allen Institute for AIが開発したAI2-THORは、エージェントが引き出しを開けたりオブジェクトを動かしたりできるインタラクティブな住宅環境を提供します。MetaのHabitatは実際の住宅の3Dスキャンを読み込み、単一のGPUで毎秒10,000フレーム以上をレンダリングします。標準的なベンチマークタスクには、ポイントゴールおよびオブジェクトゴールナビゲーション、身体性視覚質問応答、視覚言語ナビゲーションがあります。2019年、Erik WijmansらはHabitatエージェントを深層強化学習によって25億ステップ訓練しました。これは人間の経験に換算すると80年分に相当します。このエージェントは、RGB-DカメラとGPS・コンパスセンサーだけを使用し、未見の住宅内でもほぼ完璧に目的地へ到達しました。

知覚・行動ループ#

身体性エージェントは閉ループで動作します。センサーを読み取り、シーンの状況を把握し、行動を選択して実行し、何が変わったかを観察します。

知覚は、生のセンサーデータを意思決定に必要な情報へ変換します。物体検出とインスタンスセグメンテーションは、エージェントが働きかけられる対象を検出します。深度推定とセンサーフュージョンは対象を3D空間に配置し、姿勢推定は人やその動きを追跡し、ビジュアルSLAMはエージェントの位置を特定しながら地図を構築します。Ultralytics ROSクイックスタートでは、ロボットのカメラトピックを購読するROS1またはROS2ノード内でUltralytics YOLO26を実行します。深度の例では、セグメンテーションマスクを使って位置合わせ済みの深度画像からオブジェクトのピクセルを選択し、ノードがオブジェクトとカメラ間の平均距離を公開します。

意思決定には、古典的なプランナー、モデル予測制御、または観測をモーターコマンドに直接変換する学習済みポリシーが使われます。行動に応じてシーンがどのように変化するかを予測する世界モデルを使えば、エージェントは実際に動く前に想像上で計画を試せます。

身体性エージェントが行動を学習する方法#

シミュレーションでの強化学習では、エージェントは何百万回もの試行を通じて報酬から学習できます。ドメインランダム化ではテクスチャ、照明、物理特性を変化させ、シミュレーションで訓練したポリシーを実際のロボットに適用できるようにします。OpenAIは2019年、この手法を使ってルービックキューブを解くロボットハンドを訓練しました。模倣学習では、遠隔操作によるデモンストレーションを使ってポリシーを訓練します。単純な行動クローニングから拡散ポリシー、アクションチャンク化まで、いずれも短い未来の行動系列を一度に予測します。

大規模な事前学習済みモデルは、オブジェクトや言語に関する汎用知識を提供するようになりました。GoogleのRT-1（2022年）は、13台のロボットを使って17か月間に収集した13万件のデモンストレーションから、700を超えるタスクを学習しました。RT-2（2023年）はビジョン言語モデルをファインチューニングし、ロボットの動作をテキストトークンとして出力することで、ビジョン・ランゲージ・アクション（VLA）モデルという用語を導入しました。Open X-Embodimentの共同研究では、21の機関における22種類のロボットからデモンストレーションを集約し、さまざまな身体に対応する基盤モデルを訓練しました。Physical Intelligenceのπ0（2024年10月）は、30億パラメーターのビジョン言語モデルにフローマッチングのアクションエキスパートを追加し、最大50 Hzでロボットを制御します。Google DeepMindが2025年3月に公開したGemini Roboticsモデルは、Gemini 2.0を基盤とするVLAを構築します。

これらの手法は、自動運転車、倉庫用移動ロボット、ビジョンガイド付きピックアンドプレースアーム、農業ロボット、ドローンで使われています。これらはいずれも、リアルタイムで見たものに応じて動作する必要があり、多くの場合、機体に搭載されたエッジAIハードウェア上で実行されます。

身体性AIと関連用語#

• フィジカルAI: NVIDIAによって広まった、ロボット、車両、その他の機械を通じて現実世界を知覚し、そこで動作するAIを指す、ほぼ同義の用語です。身体性AIには、シミュレーション内にのみ存在するエージェントも含まれます。
• ロボティクス: 機構、アクチュエーター、古典制御など、ロボットを構築する工学分野です。身体性AIは、プログラマーが想定していなかった状況にもロボットが対処できるようにする、学習ベースの知覚と意思決定を提供します。
• AIエージェント: API、ブラウザー、コードを通じて動作するソフトウェアエージェントです。物理法則、接触力、連続的なセンサーストリームを伴わずに、同じ観察・意思決定・行動のループに従います。
• 空間知能: 画像やその他のセンサーから3D空間を理解し、推論する能力です。身体性エージェントが周囲を移動したり操作したりするために必要です。