Google Gemini Robotics-Modelle machen Roboter intelligenter

Jahrzehntelang galten Roboter als Symbol der Zukunft und waren in Forschungslaboren, Science-Fiction-Filmen und Präsentationen von Industrieprototypen zu sehen. Dank der jüngsten Fortschritte im Bereich künstliche Intelligenz (AI) verlassen diese Prototypen nun kontrollierte Umgebungen und halten Einzug in reale Anwendungen.

Konkret bringt Google mit Gemini Robotics die Technologie, die für den Bau intelligenterer Roboter benötigt wird, einen Schritt näher. Das am 12. März 2025 vorgestellte Modell Gemini Robotics und sein Begleitmodell Gemini Robotics-ER (verkörpertes Schlussfolgern) sind die neuesten Innovationen von Google DeepMind.

Sie basieren auf Gemini 2.0, einem multimodalen Large Language Model (LLM), das verschiedene Datentypen verarbeiten und erzeugen kann, darunter Text, Bilder, Audio und Video. Dadurch werden vielseitigere und natürlichere Interaktionen möglich. Diese Modelle übertragen die multimodalen Fähigkeiten von Gemini 2.0 in die physische Welt und ermöglichen so geschicktere, interaktivere und intelligentere Roboter.

Anders als herkömmliche Roboter, die festen Anweisungen folgen, können Roboter mit integrierten Gemini-Robotics-Modellen beispielsweise Bildinformationen und Sprache verarbeiten. So können sie in Echtzeit Entscheidungen treffen und sich an veränderte Umgebungen anpassen.

In diesem Artikel sehen wir uns Gemini Robotics und Gemini Robotics-ER an, erfahren, wie diese Modelle funktionieren, und beleuchten ihre wichtigsten Funktionen und Anwendungen.

Abb. 1. Gemini Robotics hilft Robotern, mehrere Aufgaben effizient auszuführen.

Google Gemini Robotics im Überblick#

Gemini Robotics von Google ist ein fortschrittliches AI-Modell, das Robotern die Fähigkeit geben soll, die physische Welt wahrzunehmen, Schlussfolgerungen zu ziehen und mit ihr zu interagieren. Als Vision-Language-Action-Modell (VLA) ermöglicht es Robotern, Anweisungen zu verarbeiten, ihre Umgebung zu interpretieren und komplexe Aufgaben mit hoher Präzision auszuführen.

Das Modell Gemini Robotics-ER verbessert die Fähigkeit eines Roboters, räumliche Beziehungen zu verstehen: die Position von Objekten, ihre Bewegungen und ihre Interaktionen. Dadurch können Roboter Aktionen vorhersehen und ihre Bewegungen entsprechend anpassen.

Stell dir zum Beispiel eine Aufgabe vor, bei der ein Roboter ein Kabel um einen Kopfhörer wickeln soll. Gemini Robotics-ER hilft ihm, die Szene zu verstehen, die Form und Flexibilität des Kabels zu erkennen, den Aufbau des Kopfhörers zu identifizieren und vorherzusagen, wie sich das Kabel bei der Bewegung biegt. Gemini Robotics setzt dieses Verständnis dann in Handlungen um: Das Modell koordiniert beide Hände, damit sie das Kabel gleichmäßig führen, passt den Griff an, um ein Verheddern zu vermeiden, und sorgt für eine sichere Wicklung.

Durch die Verbindung von Wahrnehmung und Handlung bilden Gemini Robotics und Gemini Robotics-ER ein intelligentes System, mit dem Roboter komplexe Aufgaben in dynamischen Umgebungen effizient ausführen können.

Abb. 2. Überblick über die Gemini-Robotics-Modellfamilie.

KI in der Robotik: So funktioniert Gemini Robotics#

Als Nächstes sehen wir uns die einzelnen Modelle genauer an, um besser zu verstehen, wie Gemini Robotics und Gemini Robotics-ER zusammenarbeiten und dabei Flexibilität und schnelles Handeln vereinen.

Gemini Robotics-ER nutzt zwei wichtige Mechanismen: Zero-Shot-Codegenerierung und In-Context-Lernen mit wenigen Beispielen (ICL). Bei der Zero-Shot-Codegenerierung kann das Modell auf Grundlage von Aufgabenanweisungen, Bildern und Echtzeitdaten Code zur Steuerung des Roboters erstellen, ohne dass zusätzliches Training erforderlich ist.

Auch beim Few-Shot-Lernen passt sich das Modell neuen Aufgaben an, indem es aus nur wenigen Beispielen lernt. Dadurch sinkt der Bedarf an umfangreichem Training. Zusammen ermöglichen diese Methoden dem Roboter, komplexe Aufgaben schnell auszuführen und sich mit minimalem Aufwand auf neue Herausforderungen einzustellen.

Gemini Robotics hingegen ist auf Geschwindigkeit und Effizienz ausgelegt. Das Modell nutzt ein Hybridsystem aus einer cloudbasierten Kernkomponente und einem integrierten Aktionsdecoder. Die cloudbasierte Kernkomponente verarbeitet Informationen schnell; die Latenz von der Anfrage bis zur Antwort liegt unter 160 Millisekunden.

Der integrierte Decoder wandelt diese Daten anschließend in Echtzeitaktionen um. Das Gesamtsystem erreicht eine Antwortzeit von etwa 250 Millisekunden und eine Steuergeschwindigkeit von 50 Aktionen pro Sekunde.

Abb. 3. So ermöglicht Gemini Robotics die Robotersteuerung in Echtzeit.

Wichtige Funktionen von Gemini Robotics#

Hier ein kurzer Überblick über die wichtigsten Funktionen von Gemini Robotics:

• Allgemeine Einsetzbarkeit: Das Modell kann sich an veränderte Lichtverhältnisse, Hintergründe und Objekte anpassen und bleibt dabei präzise. Es versteht auch umformulierte oder mehrsprachige Befehle und kann Bewegungen an unterschiedliche Bedingungen anpassen.
• Interaktivität: Das Modell kann eine große Bandbreite natürlichsprachlicher Befehle verarbeiten und intuitiv darauf reagieren. Außerdem passt es seine Aktionen an Veränderungen der Umgebung in Echtzeit an und eignet sich damit ideal für die Zusammenarbeit zwischen Mensch und Roboter.
• Geschicklichkeit: Ein von diesem Modell gesteuerter Roboter kann komplexe, präzise Aufgaben ausführen, etwa Origami falten oder empfindliche Gegenstände handhaben. Ob schrittweises Vorgehen oder schnelle Aktionen – das Modell hilft dabei, Aufgaben effizient zu erledigen.
• Verschiedene Verkörperungen: Das Modell funktioniert mit unterschiedlichen Roboterplattformen, etwa Systemen mit zwei Armen und humanoiden Robotern, und erfordert nur wenig Feinabstimmung. Es passt sich schnell an neue Aufgaben an und erzielt dabei weiterhin eine hohe Leistung.

Abb. 4. Google Gemini Robotics funktioniert auf verschiedenen Roboterplattformen.

Wichtige Funktionen von Gemini Robotics-ER#

Hier sind einige wichtige Funktionen von Gemini Robotics-ER, die Robotern helfen, die Welt zu verstehen und mit ihr zu interagieren:

• Objekterkennung und -verfolgung: Das Modell kann Objekte in 2D- und 3D-Räumen identifizieren und verfolgen. Mithilfe natürlichsprachlicher Abfragen hilft es Robotern, Objekte zu finden und ihre Position vorherzusagen – anhand von Art, Standort oder Funktion.
• Zeigen: Mit dieser Funktion kann das Modell bestimmte Objekte oder Bereiche in einem Bild anhand präziser Koordinaten lokalisieren. Roboter können damit ganze Objekte, Teile von Objekten oder sogar freie Bereiche finden.
• Greifvorhersage: Gemini Robotics-ER kann anhand der Form und Funktion von Objekten bestimmen, wie sie am besten gegriffen werden. Das Modell sagt voraus, wo ein Gegenstand gegriffen werden sollte – sei es eine Banane oder der Henkel einer Tasse – und ermöglicht Robotern so einen behutsamen Umgang mit Gegenständen.
• Bewegungsplanung: Das Modell kann Bewegungswege planen, indem es Folgen von Aktionen vorhersagt. Es kann beispielsweise eine Roboterhand zu einem Werkzeug führen oder Wegpunkte für eine bestimmte Aufgabe festlegen und so dem Roboter helfen, Aufgaben effizient zu erledigen.
• Zuordnung über mehrere Ansichten: Mit dieser Funktion kann das Modell 3D-Strukturen verstehen, indem es vergleicht, wie Objekte aus unterschiedlichen Blickwinkeln aussehen. Sie kann das räumliche Denken verbessern und Robotern so eine bessere Interaktion mit Objekten in dynamischen Umgebungen ermöglichen.

Abb. 5. Gemini Robotics-ER kann verschiedene Aufgaben bewältigen.

Bei der 2D-Objekterkennung anhand von Klassennamen wird das neuere Gemini-Modell Gemini 4 Argon auf der Ultralytics VLM Leaderboard mit anderen Vision-Language-Modellen verglichen.

Anwendungsbereiche der Google-Gemini-Robotics-Modelle#

Nachdem wir die wichtigsten Fähigkeiten von Gemini Robotics und Gemini Robotics-ER besprochen haben, sehen wir uns nun ihre praktischen Anwendungen in verschiedenen Branchen an.

Google Gemini Robotics in der Fertigung#

In der Fertigung sind Präzision und Geschwindigkeit wichtig, aber erst Anpassungsfähigkeit sorgt für reibungslose Abläufe. Ein von Gemini gesteuerter Industrieroboter kann beispielsweise ein Riemenscheibensystem montieren, indem er die passenden Bauteile identifiziert, sie korrekt positioniert und ein elastisches Gummiband mit genau der richtigen Kraft handhabt.

Der Roboter kann das Band dehnen, um die Riemenscheiben legen und befestigen, ohne es zu beschädigen oder falsch auszurichten. Ändert sich der Aufbau oder die Aufgabe, kann sich der Roboter anpassen, ohne dass eine aufwendige Neuprogrammierung erforderlich ist. Diese intelligente Automatisierung verringert Fehler, steigert die Effizienz und sorgt für reibungslose Fertigungsabläufe.

Abb. 6. Ein Industrieroboter mit zwei Armen spannt präzise ein Gummiband über ein Riemenscheibensystem.

Smart Homes mit Gemini Robotics#

Ein voller Terminkalender kann es schwierig machen, mit den Hausarbeiten Schritt zu halten. Intelligente Roboter können Aufgaben wie Putzen, Einkäufe sortieren und sogar die Vorbereitung von Mahlzeiten übernehmen und so den Alltag erleichtern.

Das könnte beispielsweise so aussehen: Ein Roboter packt eine Lunchbox, wählt Lebensmittel sorgfältig aus und legt sie hinein. Dabei passt er seinen Griff an, um empfindliche Gegenstände wie Obst oder Dosen zu schützen. Selbst wenn sich die Anordnung ändert, kann sich der Roboter selbstständig darauf einstellen und so die täglichen Hausarbeiten mit nur wenig Aufsicht erleichtern.

Abb. 7. Ein humanoider Roboter packt vorsichtig eine Lunchbox.

Vor- und Nachteile von Gemini Robotics#

Gemini Robotics erweitert die Einsatzmöglichkeiten von Robotern – von präziser Fertigung bis hin zur Unterstützung im Smart Home. Hier sind einige wichtige Vorteile des Einsatzes von Gemini Robotics in verschiedenen Anwendungsbereichen:

• Geringer Trainingsaufwand: Anders als herkömmliche Roboter können Roboter mit Gemini Robotics mit wenigen Demonstrationen lernen. Das senkt die Trainingskosten und erleichtert ihre Bereitstellung.
• Erhöhte Sicherheit: In gefährlichen Umgebungen können mit Gemini Robotics ausgestattete Roboter riskante Aufgaben übernehmen und so die Verletzungsgefahr für Beschäftigte verringern.
• Anpassbare Funktionen: Dank der Flexibilität von Gemini Robotics lässt sich das Modell auf die spezifischen Bedürfnisse verschiedener Branchen oder einzelner Unternehmen zuschneiden. So werden spezialisierte Anwendungen und individuelle Lösungen möglich.

Gemini Robotics bietet mehrere Vorteile, doch es ist auch wichtig, die folgenden Einschränkungen zu berücksichtigen:

• Schwierigkeiten mit räumlichen Beziehungen: Diese Modelle haben möglicherweise Schwierigkeiten, räumliche Beziehungen über lange Videosequenzen hinweg im Blick zu behalten. Das beeinträchtigt ihre Fähigkeit, Objekte über längere Zeit zu verfolgen und zu verstehen.
• Fehlende numerische Präzision: Die Vorhersagen des Modells, etwa Punkte und Begrenzungsrahmen, sind für Aufgaben mit hohen Anforderungen an die Feinsteuerung möglicherweise nicht genau genug, zum Beispiel bei heiklen Aufgaben in der Robotik.
• Komplexe Aufgaben: Gemini Robotics kann Schwierigkeiten mit komplexen Aufgaben haben, die mehrstufiges Schlussfolgern und präzise Bewegungen erfordern – insbesondere in neuen oder unbekannten Situationen.

Die Zukunft der KI in der Robotik#

Mit den Fortschritten der KI treiben Modelle wie Gemini Robotics und Gemini Robotics-ER die Zukunft der Robotik voran. Künftige Verbesserungen werden sich wahrscheinlich darauf konzentrieren, mehrstufiges Schlussfolgern zu verbessern, damit Roboter Aufgaben in logische Schritte zerlegen und präziser ausführen können.

Ein weiterer wichtiger Entwicklungsbereich, an dem Google DeepMind arbeiten will, ist simulationsbasiertes Training. Wenn Roboter vor ihrem Einsatz in der Praxis in virtuellen Umgebungen lernen, können sie ihre Entscheidungsfindung und Bewegungen verfeinern und Fehler bei realen Anwendungen verringern.

Mit der Weiterentwicklung dieser Technologien könnten Roboter künftig autonomer und anpassungsfähiger sein und im Alltag besser mit Menschen zusammenarbeiten.

Die wichtigsten Erkenntnisse#

Gemini Robotics ist ein großer Fortschritt für die KI-gestützte Automatisierung und verbindet digitale Intelligenz mit physischen Aufgaben in der realen Welt. Durch die Verbindung von Sehen, Sprache und aktionsbasiertem Lernen können diese Roboter komplexe Aufgaben präzise und anpassungsfähig bewältigen.

Mit zunehmender Intelligenz von Robotern werden sie wahrscheinlich eine größere Rolle im Alltag spielen und die Zusammenarbeit von Menschen und Maschinen verändern. Diese Entwicklung bringt uns einer intelligenten, stärker vernetzten Welt näher, in der KI-gestützte Automatisierung sowohl die Industrie als auch alltägliche Aufgaben verbessert.

Werde Teil unserer wachsenden Community! Besuche unser GitHub-Repository, um tiefer in die Welt der KI einzutauchen. Möchtest du eigene Computer-Vision-Projekte starten? Sieh dir unsere Lizenzoptionen an. Erfahre auf unseren Lösungsseiten mehr über KI in der Fertigung und Vision AI in der Automobilindustrie!