YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Physical AI

Physical AI ermöglicht es Robotern, Fahrzeugen und anderen Maschinen, die reale Welt wahrzunehmen, zu verstehen und in ihr zu handeln. Behandelt den Technologie-Stack, das Training und Anwendungsbereiche.

Physical AI ist künstliche Intelligenz (AI), die mithilfe eines Körpers die physische Welt wahrnimmt, über sie schlussfolgert und in ihr handelt: etwa durch Roboter, Drohnen, autonome Fahrzeuge und intelligente Industriemaschinen. Ein Chatbot gibt Text auf einem Bildschirm aus. Die Ausgabe eines Physical-AI-Systems ist dagegen ein Motorbefehl, dessen Wirkung von Reibung, Schwerkraft, Kollisionen und den Menschen in der Nähe abhängt. Das System muss daher den dreidimensionalen Raum sowie Ursache und Wirkung gut genug verstehen, um in Echtzeit sicher handeln zu können. NVIDIA rückte den Begriff ins Zentrum seiner Robotik- und Simulationsplattformen. Weite Verbreitung fand er, als große vortrainierte Modelle begannen, echte Roboter zu steuern. Physical AI ist fast gleichbedeutend mit embodied AI, dem älteren Forschungsbegriff. In der Industrie ist jedoch Physical AI gebräuchlicher.

So funktionieren Physical-AI-Systeme#

Jedes Physical-AI-System schließt mehrmals pro Sekunde einen Regelkreis zwischen Wahrnehmung und Handlung:

  • Sensorik: Kameras, Lidar, Radar, Trägheitsmesseinheiten, Gelenkgeber und Kraftsensoren erfassen die Welt und den eigenen Zustand der Maschine.
  • Wahrnehmung: Bildverarbeitungsmodelle wandeln Rohpixel in Objekte, Tiefeninformationen, Posen und Karten um, die ein Planer auswerten kann.
  • Entscheidungsfindung: Planer, gelernte Policies oder große robotische Grundlagenmodelle wählen die nächste Handlung aus.
  • Betätigung: Motoren, Greifer, Räder und Bremsen führen die Handlung aus. Bei der nächsten Abtastung messen die Sensoren deren Wirkung.

Sensorfusion kombiniert die Stärken verschiedener Sensoren, während Computervision den Großteil der Wahrnehmungsarbeit übernimmt. Die Entscheidungen stammen von Steuerungen wie der modellprädiktiven Regelung, von Policies, die mit bestärkendem Lernen trainiert wurden, oder von robotischen Grundlagenmodellen. Diese Grundlagenmodelle teilen die Entscheidungsfindung zunehmend zwischen einem langsameren Modell, das Anweisungen und die Szene interpretiert, und einem schnelleren Modell auf, das Motorbefehle ausgibt. Ein Beispiel dafür ist das offene humanoide Modell GR00T N1 von NVIDIA, das ein Bild-Sprach-Modell mit einem separaten Aktionsmodul kombiniert:

Modelle für Bild-, Sprach- und Aktionsverarbeitung (VLA) vereinen beide Rollen in einem Netzwerk. RT-2 von Google DeepMind zeigte 2023, dass ein Bild-Sprach-Modell, das darauf feinabgestimmt wurde, Roboteraktionen als Tokens auszugeben, Wissen aus Webdaten in die Steuerung übertrug. π0 von Physical Intelligence fügt ein auf Flow Matching basierendes Expertenmodell für die Aktionsausgabe hinzu, das konzeptionell an Diffusion Policies angelehnt ist und zugleich glatte Aktionsblöcke mit zahlreichen künftigen Schritten auf einmal ausgibt; die Gemini Robotics-Modelle von Google DeepMind erweitern den Ansatz auf mehrstufige Aufgaben, die Geschicklichkeit erfordern, etwa das Falten von Origami.

Von der Wahrnehmung zur Handlung im Code#

Die Wahrnehmung ist das erste Glied der Schleife, und ihre Geschwindigkeit begrenzt, wie schnell die Maschine reagieren kann. Ultralytics YOLO26 ist für diesen Einsatz am Rand des Netzwerks ausgelegt und läuft nach dem TensorRT-Export auf Robotikcomputern wie NVIDIA Jetson. Dieses Beispiel erkennt Personen in einem Kameraframe und wandelt die sicherste Erkennung mithilfe eines Proportionalreglers in einen Steuerbefehl um – der einfachsten Form der visuellen Servosteuerung:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Perceive: detect people (COCO class 0) in the robot's camera frame
results = model("https://ultralytics.com/images/bus.jpg", classes=[0])
result = results[0]

# Act: steer toward the most confident person with a proportional controller
best = int(result.boxes.conf.argmax())
x_center = float(result.boxes.xywhn[best, 0])  # 0 = left edge of the frame, 1 = right edge
turn_rate = -1.5 * (x_center - 0.5)  # rad/s; positive turns left, toward a person on the left
print(f"Person at {x_center:.2f} of frame width -> turn command {turn_rate:+.2f} rad/s")

Die Ausgabe zeigt die Position der ausgewählten Person im Bild und einen Lenkbefehl. Dessen Vorzeichen gibt die Richtung zum Ziel an, und sein Betrag steigt mit dem Abstand zur Bildmitte. Bei einem Roboter werden dieselben beiden Schritte für jedes Kamerabild ausgeführt. Der Befehl geht gegen null, wenn sich der Roboter so dreht, dass er seinem Ziel zugewandt ist.

Physical AI trainieren#

Daten sind der zentrale Engpass: Im Internet gibt es Billionen Wörter, aber nur wenige Aufzeichnungen von Robotern bei der Arbeit. Zudem ist jede Aufzeichnung an den Körper und die Sensoren eines bestimmten Roboters gebunden. Teams sammeln Teleoperationsdemonstrationen. Dabei steuern Menschen den Roboter durch eine Aufgabe, während dessen Sensoren und Befehle aufgezeichnet werden. Anschließend trainieren sie Policies, die diese Demonstrationen nachahmen. Physiksimulatoren wie NVIDIA Isaac Lab lassen Tausende Roboter parallel für Deep Reinforcement Learning laufen. Durch Domain-Randomisierung von Physik und Erscheinungsbild verringern sie die Lücke zwischen Simulation und Wirklichkeit. Gerenderte Szenen und digitale Zwillinge liefern beschriftete synthetische Daten seltener Situationen für Wahrnehmungsmodelle. Weltmodelle erzeugen neue Varianten aufgezeichneter Szenen, etwa dieselbe Straße bei Regen oder in der Nacht.

Anwendungen in der Praxis#

  • Logistik: Autonome mobile Roboter navigieren durch Lagerhäuser, indem sie selbst Karten erstellen und Menschen sowie Gabelstaplern ausweichen. Fahrerlose Transportsysteme folgen dagegen festgelegten Routen.
  • Fertigung: Bildgesteuerte Roboterarme greifen ungeordnet aufgeschüttete Teile, montieren Komponenten und prüfen ihre eigene Arbeit. Humanoide Roboter werden in Pilotprojekten eingesetzt, um Behälter und Teile zu bewegen.
  • Gesundheitswesen: 2025 führte der SRT-H-Roboter von Johns Hopkins, der mit Videos von Chirurgen trainiert worden war, einen wichtigen Schritt bei der Entfernung von Gallenblasen an acht außerhalb des Körpers befindlichen Schweinegallenblasen durch. Dabei steuerte kein Mensch die Arme des Roboters, der zugleich auf gesprochene Korrekturen reagierte.
  • Landwirtschaft: Ernte- und Jäteroboter erkennen einzelne Pflanzen mit Kameras und reagieren gezielt auf jede einzelne, etwa indem sie ein Unkraut entfernen, ohne das ganze Feld zu besprühen.
  • Fahren: Robotaxis und Fahrerassistenzsysteme sind die größten eingesetzten Flotten für physische KI. Sie erfassen den Verkehr und steuern das Fahrzeug viele Male pro Sekunde.
  • Robotik: Das Ingenieurwesen rund um die Entwicklung und den Bau von Robotern, einschließlich Mechanik, Elektronik und Steuerung. Physical AI bezeichnet die gelernte Intelligenz, die wahrnimmt und Entscheidungen trifft. Sie kommt auch in Fahrzeugen und Maschinen zum Einsatz, die nicht als Roboter bezeichnet werden.
  • Generative KI: Erzeugt Texte, Bilder, Videos und Code. Ihre Techniken kommen inzwischen auch in Physical AI zum Einsatz: von Diffusionsmodellen, die Roboterbewegungen erzeugen, bis hin zu Weltmodellen, die Trainingsszenen generieren.
  • Räumliche Intelligenz: Die Fähigkeit, den dreidimensionalen Raum, Objekte und deren Beziehungen zu verstehen und darüber Schlussfolgerungen zu ziehen. Physical AI ist auf diese Fähigkeit angewiesen.
  • Edge AI: Modelle direkt auf dem Gerät ausführen. Physical AI ist fast immer Edge AI, da ein Roboter nicht auf eine Netzwerkrundreise warten kann, bevor er bremst.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens