Embodied AI

Verkörperte KI ist das Gebiet der künstlichen Intelligenz, das Agenten mit einem Körper entwickelt – entweder als physischen Roboter oder als Avatar in einem 3D-Simulator. Diese Agenten nehmen ihre Umgebung über Sensoren wahr, wirken mit Motoren oder simulierten Steuerungen auf sie ein und lernen aus den Folgen ihrer eigenen Aktionen. Da jede Aktion verändert, was der Agent als Nächstes sieht, sammelt ein verkörperter Agent eigene Erfahrungen, statt nur anhand eines festen Bild- oder Textdatensatzes zu lernen. Typische Aufgaben verkörperter KI sind, sich in einem unbekannten Zuhause zurechtzufinden, um einen Gegenstand zu finden, einen Raum zu erkunden, um eine Frage dazu zu beantworten, gesprochenen Anweisungen zu folgen sowie Gegenstände aufzuheben und neu anzuordnen. Das Gebiet liefert die Lernverfahren hinter der modernen Robotik.

Ursprünge der verkörperten KI#

Verkörperte KI entstand als Reaktion auf rein symbolische KI. In den späten 1980er-Jahren baute Rodney Brooks am MIT insektenähnliche Laufroboter, die von Schichten einfacher Sensor-Motor-Verhaltensweisen gesteuert wurden. In seiner Arbeit „Intelligence Without Representation“ von 1991 argumentierte er, Intelligenz müsse aus der direkten Interaktion einer Maschine mit der Welt entstehen. 1988 stellte Hans Moravec fest, dass Computer Erwachsenen bei Dame und Intelligenztests bereits ebenbürtig sein konnten, nicht aber bei der Wahrnehmung und Beweglichkeit eines einjährigen Kindes. Diese Lücke, heute als Moravecs Paradoxon bezeichnet, ist nach wie vor die zentrale Schwierigkeit des Gebiets.

Das moderne Gebiet nahm zwischen 2017 und 2019 Gestalt an, als schnelle 3D-Simulatoren das Training von Agenten anhand von Milliarden Erfahrungsschritten praktikabel machten. AI2-THOR vom Allen Institute for AI bietet interaktive Häuser, in denen Agenten Schubladen öffnen und Gegenstände bewegen. Meta's Habitat lädt 3D-Scans realer Häuser und rendert auf einer einzelnen GPU mehr als 10.000 Bilder pro Sekunde. Zu den üblichen Benchmark-Aufgaben gehören die Navigation zu einem Punkt oder Objekt, verkörperte Fragebeantwortung und visuell-sprachliche Navigation. 2019 trainierten Erik Wijmans und seine Kollegen einen Habitat-Agenten mit tiefem bestärkendem Lernen über 2,5 Milliarden Schritte, was 80 Jahren menschlicher Erfahrung entspricht. Der Agent erreichte Ziele in Häusern, die er noch nie gesehen hatte, nahezu perfekt – nur mit einer RGB-D-Kamera und einem GPS- sowie Kompasssensor.

Der Wahrnehmungs-Handlungs-Kreislauf#

Ein verkörperter Agent arbeitet in einem geschlossenen Kreislauf: Er liest seine Sensoren aus, erstellt ein Bild der Szene, wählt eine Aktion, führt sie aus und beobachtet, was sich verändert hat.

Wahrnehmung wandelt rohe Sensordaten in die Größen um, die eine Entscheidung erfordert. Objekterkennung und Instanzsegmentierung finden die Dinge, mit denen ein Agent interagieren kann. Tiefenschätzung und Sensorfusion ordnen sie im 3D-Raum ein. Posenschätzung verfolgt Menschen und ihre Bewegungen, und visuelles SLAM erstellt eine Karte und lokalisiert den Agenten darin. Der Ultralytics-ROS-Schnellstart führt Ultralytics YOLO26 in einem ROS1- oder ROS2-Knoten aus, der die Kamerathemen eines Roboters abonniert. Im Tiefenbeispiel wählt eine Segmentierungsmaske die Pixel eines Objekts im ausgerichteten Tiefenbild aus, und der Knoten veröffentlicht die durchschnittliche Entfernung des Objekts von der Kamera.

Entscheidungen beruhen auf klassischen Planern, modellprädiktiver Regelung oder erlernten Strategien, die Beobachtungen direkt Motorbefehlen zuordnen. Weltmodelle, die vorhersagen, wie sich eine Szene als Reaktion auf eine Aktion verändert, lassen einen Agenten einen Plan gedanklich testen, bevor er sich bewegt.

Wie verkörperte Agenten handeln lernen#

Mit bestärkendem Lernen in einer Simulation lernen Agenten aus Belohnungen über Millionen von Versuchen. Bei der Domänenrandomisierung werden Texturen, Beleuchtung und Physik variiert, damit in der Simulation trainierte Strategien auf echte Roboter übertragbar sind. OpenAI nutzte dieses Verfahren 2019, um eine Roboterhand zu trainieren, die einen Zauberwürfel löste. Imitationslernen trainiert Strategien anhand ferngesteuerter Demonstrationen – von einfachem Verhaltensklonen bis hin zu Diffusionsstrategien und Aktionsbündelung, bei der kurze Abfolgen künftiger Aktionen auf einmal vorhergesagt werden.

Große vortrainierte Modelle liefern heute allgemeines Wissen über Objekte und Sprache. Googles RT-1 (2022) lernte mehr als 700 Aufgaben anhand von 130.000 Demonstrationen, die über 17 Monate mit 13 Robotern gesammelt wurden. RT-2 (2023) wurde mit einem Bild-Sprach-Modell feinabgestimmt, um Roboteraktionen als Texttokens auszugeben. Dabei wurde der Begriff Bild-Sprach-Handlungs-Modell (VLA) eingeführt. Die Zusammenarbeit bei Open X-Embodiment bündelte Demonstrationen von 22 Robotertypen an 21 Einrichtungen, um Basismodelle für verschiedene Körper zu trainieren. Physical Intelligence ergänzte π0 (Oktober 2024) um einen Flow-Matching-Aktionsexperten für ein Bild-Sprach-Modell mit 3 Milliarden Parametern, um Roboter mit bis zu 50 Hz zu steuern. Die im März 2025 veröffentlichten Gemini-Robotics-Modelle von Google DeepMind bauen auf Gemini 2.0 ein VLA auf.

Diese Verfahren kommen in autonomen Fahrzeugen, mobilen Lagerrobotern, Greif- und Ablagearmen mit visueller Führung, Landwirtschaftsrobotern und Drohnen zum Einsatz. Sie alle müssen in Echtzeit auf das reagieren, was sie sehen, häufig mit mitgeführter Edge-AI-Hardware.

Verkörperte KI und verwandte Begriffe#

• Physische KI: Ein weitgehend gleichbedeutender Begriff, den NVIDIA bekannt gemacht hat. Er bezeichnet KI, die durch Roboter, Fahrzeuge und andere Maschinen die reale Welt wahrnimmt und auf sie einwirkt. Verkörperte KI umfasst auch Agenten, die nur in einer Simulation existieren.
• Robotik: Die Ingenieurdisziplin, die sich mit dem Bau von Robotern befasst, einschließlich Mechanik, Aktoren und klassischer Regelung. Verkörperte KI liefert die erlernte Wahrnehmung und Entscheidungsfindung, mit der ein Roboter Situationen bewältigen kann, die seine Programmierer nicht vorhergesehen haben.
• KI-Agenten: Softwareagenten, die über APIs, Browser und Code handeln. Sie folgen demselben Kreislauf aus Beobachten, Entscheiden und Handeln, jedoch ohne Physik, Kontaktkräfte oder kontinuierliche Sensorströme.
• Räumliche Intelligenz: Die Fähigkeit, 3D-Raum anhand von Bildern und anderen Sensoren zu verstehen und Schlussfolgerungen darüber zu ziehen. Verkörperte Agenten benötigen diese Fähigkeit, um sich in ihrer Umgebung zu bewegen und mit ihr zu interagieren.