Google Gemini Robotics-Modelle machen Roboter intelligenter

Seit Jahrzehnten stehen Roboter sinnbildlich für die Zukunft und sind in Forschungslaboren, Science-Fiction-Filmen und Präsentationen hochmoderner Industrieprototypen zu sehen. Dank der jüngsten Fortschritte bei der künstlichen Intelligenz (AI) verlassen diese Prototypen nun kontrollierte Umgebungen und kommen in der realen Welt zum Einsatz.

Mit Gemini Robotics kommt Google der Technologie, die für den Bau intelligenterer Roboter benötigt wird, einen Schritt näher. Das am 12. März 2025 eingeführte Modell Gemini Robotics und sein Begleitmodell Gemini Robotics-ER (verkörpertes Schlussfolgern) sind die neuesten Innovationen von Google DeepMind.

Sie basieren auf Gemini 2.0, einem multimodalen großen Sprachmodell (LLM), das verschiedene Datentypen wie Text, Bilder, Audio und Videos verarbeiten und erzeugen kann und dadurch vielseitigere und natürlichere Interaktionen ermöglicht. Diese Modelle übertragen die multimodalen Fähigkeiten von Gemini 2.0 in die physische Welt und ermöglichen geschicktere, interaktivere und intelligentere Roboter.

Im Gegensatz zu herkömmlichen Robotern, die festen Anweisungen folgen, können beispielsweise Roboter mit Gemini Robotics-Modellen Bild- und Sprachinformationen verarbeiten. Dadurch können sie Entscheidungen in Echtzeit treffen und sich an verändernde Umgebungen anpassen.

In diesem Artikel sehen wir uns Gemini Robotics und Gemini Robotics-ER, die Funktionsweise dieser Modelle sowie ihre wichtigsten Merkmale und Anwendungsbereiche an. Legen wir los!

Abb. 1 Gemini Robotics unterstützt Roboter bei der effizienten Ausführung mehrerer Aufgaben.

Google Gemini Robotics im Überblick#

Gemini Robotics von Google ist ein fortschrittliches KI-Modell, das Robotern die Fähigkeit verleihen soll, die physische Welt wahrzunehmen, Schlussfolgerungen zu ziehen und mit ihr zu interagieren. Als Modell für Sehen, Sprache und Aktionen (VLA) ermöglicht es Robotern, Anweisungen zu verarbeiten, ihre Umgebung zu interpretieren und komplexe Aufgaben mit hoher Präzision auszuführen.

Das Modell Gemini Robotics-ER verbessert unterdessen die Fähigkeit eines Roboters, räumliche Beziehungen zu verstehen: wie Objekte positioniert sind, wie sie sich bewegen und wie sie miteinander interagieren. Dies hilft Robotern, Aktionen vorauszusehen und ihre Bewegungen entsprechend anzupassen.

Betrachte beispielsweise eine Aufgabe, bei der ein Roboter einen Draht um einen Kopfhörer wickeln muss. Gemini Robotics-ER hilft ihm, die Szene zu verstehen, die Form und Flexibilität des Drahts zu erkennen, die Struktur des Kopfhörers zu identifizieren und vorherzusagen, wie sich der Draht bei der Bewegung biegen wird. Anschließend setzt Gemini Robotics dieses Verständnis in Aktionen um, koordiniert beide Hände, um den Draht gleichmäßig zu führen, passt den Griff an, um ein Verheddern zu vermeiden, und sorgt für eine sichere Wicklung.

Durch die Verbindung von Wahrnehmung und Aktion schaffen Gemini Robotics und Gemini Robotics-ER ein intelligentes System, mit dem Roboter geschickte Aufgaben in dynamischen Umgebungen effizient ausführen können.

Abb. 2 Überblick über die Modellfamilie Gemini Robotics.

KI in der Robotik: So funktioniert Gemini Robotics#

Sehen wir uns nun jedes Modell genauer an, um besser zu verstehen, wie Gemini Robotics und Gemini Robotics-ER zusammenarbeiten und dabei Flexibilität und schnelle Aktionen ausbalancieren.

Einerseits nutzt Gemini Robotics-ER zwei wichtige Mechanismen: Codegenerierung ohne Beispiele und kontextbezogenes Lernen mit wenigen Beispielen (ICL). Bei der Codegenerierung ohne Beispiele kann das Modell auf Grundlage von Aufgabenanweisungen, Bildern und Echtzeitdaten Code zur Steuerung des Roboters erstellen, ohne zusätzliches Training zu benötigen.

Beim Lernen mit wenigen Beispielen passt sich das Modell ebenfalls an neue Aufgaben an, indem es aus nur wenigen Beispielen lernt. Dadurch verringert sich der Bedarf an umfangreichem Training. Zusammen ermöglichen diese Methoden dem Roboter, komplexe Aufgaben schnell auszuführen und sich mit minimalem Aufwand an neue Herausforderungen anzupassen.

Gemini Robotics hingegen wurde auf Geschwindigkeit und Effizienz ausgelegt. Es verwendet ein Hybridsystem aus einem cloudbasierten Grundmodell und einem Aktionsdecoder auf dem Gerät. Das cloudbasierte Grundmodell verarbeitet Informationen schnell, mit einer Latenz von der Anfrage bis zur Antwort von unter 160 Millisekunden.

Anschließend hilft der Decoder auf dem Gerät dabei, diese Daten in Echtzeitaktionen zu übersetzen. Dieses kombinierte System erreicht eine Gesam your response latency of approximately 250 milliseconds, with a control speed of 50 actions per second.

Abb. 3 So unterstützt Gemini Robotics die Robotersteuerung in Echtzeit.

Wichtige Fähigkeiten von Gemini Robotics#

Hier ein kurzer Überblick über die wichtigsten Merkmale von Gemini Robotics:

• Allgemeine Einsatzfähigkeit: Das Modell kann sich an Veränderungen bei Beleuchtung, Hintergründen und Objekten anpassen und dabei präzise bleiben. Außerdem versteht es umformulierte oder mehrsprachige Befehle und kann Bewegungen an unterschiedliche Bedingungen anpassen.

• Interaktivität: Dieses Modell kann eine große Bandbreite natürlichsprachlicher Befehle verarbeiten und intuitiv darauf reagieren. Es passt seine Aktionen außerdem an Echtzeitveränderungen in der Umgebung an und eignet sich dadurch ideal für die Zusammenarbeit zwischen Mensch und Roboter.

• Geschicklichkeit: Ein von diesem Modell gesteuerter Roboter kann komplexe und präzise Aufgaben ausführen, etwa Origami falten oder empfindliche Objekte handhaben. Ob Schritt-für-Schritt-Abläufe oder schnelle Aktionen – das Modell kann ihre effiziente Ausführung unterstützen.

• Mehrere Roboterkörper: Das Modell funktioniert mit verschiedenen Roboterplattformen, etwa Systemen mit zwei Armen und humanoiden Robotern, und benötigt nur wenig Feinabstimmung. Es passt sich schnell an neue Aufgaben an und behält dabei eine hohe Leistung bei.

Abb. 4. Google Gemini Robotics funktioniert auf verschiedenen Roboterplattformen.

Wichtige Fähigkeiten von Gemini Robotics-ER#

Hier siehst du einige der wichtigsten Merkmale von Gemini Robotics-ER, die Robotern helfen, die Welt zu verstehen und mit ihr zu interagieren:

• Objekterkennung und -verfolgung: Das Modell kann Objekte in 2D- und 3D-Räumen identifizieren und verfolgen. Mithilfe natürlichsprachlicher Abfragen hilft es Robotern, Objekte zu finden und ihre Positionen vorherzusagen – unabhängig davon, ob die Suche auf Typ, Ort oder Funktion basiert.

• Zeigen: Mit dieser Funktion kann das Modell bestimmte Objekte oder Bereiche in einem Bild anhand präziser Koordinaten genau bestimmen. Sie kann Robotern helfen, ganze Objekte, Teile von Objekten oder sogar freie Bereiche zu lokalisieren.

• Greifvorhersage: Gemini Robotics-ER kann anhand der Form und Funktion von Objekten die beste Greifweise bestimmen. Es sagt voraus, wo gegriffen werden soll, unabhängig davon, ob es sich um eine Banane oder einen Tassenhenkel handelt, und ermöglicht Robotern so einen sorgfältigen Umgang mit Gegenständen.

• Schlussfolgern über Bewegungsbahnen: Das Modell kann Bewegungswege planen, indem es Aktionsfolgen vorhersagt. Beispielsweise kann es eine Roboterhand zu einem Werkzeug führen oder Wegpunkte für eine bestimmte Aufgabe festlegen und dem Roboter so helfen, Aufgaben effizient abzuschließen.

• Korrespondenz aus mehreren Ansichten: Diese Funktion hilft dem Modell, 3D-Strukturen zu verstehen, indem es das Erscheinungsbild von Objekten aus verschiedenen Blickwinkeln vergleicht. Sie kann das räumliche Schlussfolgern verbessern und Robotern ermöglichen, in dynamischen Umgebungen besser mit Objekten zu interagieren.

Abb. 5 Gemini Robotics-ER kann verschiedene Aufgaben bewältigen.

Anwendungsbereiche der Google Gemini Robotics-Modelle#

Nachdem wir die wichtigsten Fähigkeiten von Gemini Robotics und Gemini Robotics-ER besprochen haben, sehen wir uns nun ihre Anwendungen in der realen Welt und in verschiedenen Branchen an.

Google Gemini Robotics für die Fertigung#

In der Fertigung sind Präzision und Geschwindigkeit wichtig, doch Anpassungsfähigkeit sorgt letztlich für reibungslose Abläufe. Ein von Gemini gesteuerter Industrieroboter kann beispielsweise ein Riemenscheibensystem montieren, indem er die richtigen Komponenten erkennt, sie korrekt positioniert und ein flexibles Gummiband mit präziser Kraft handhabt.

Er kann das Band dehnen, um die Riemenscheiben führen und befestigen, ohne dass es reißt oder falsch ausgerichtet ist. Wenn sich der Aufbau oder die Aufgabe ändert, kann sich der Roboter ohne umfangreiche Neuprogrammierung anpassen. Diese intelligente Automatisierung reduziert Fehler, steigert die Effizienz und sorgt für reibungslose Fertigungsprozesse.

Abb. 6 Ein Industrieroboter mit zwei Armen befestigt ein Gummiband präzise an einem Riemenscheibensystem.

Intelligente Haushalte dank Gemini Robotics#

Ein voller Terminkalender kann es schwierig machen, den Haushalt zu bewältigen. Intelligente Roboter können Aufgaben wie Putzen, das Sortieren von Lebensmitteln und sogar die Vorbereitung von Mahlzeiten übernehmen und so den Alltag erleichtern.

Das könnte beispielsweise so aussehen, dass ein Roboter eine Lunch-Tasche packt, Lebensmittel sorgfältig auswählt und hineinlegt und dabei seinen Griff anpasst, um empfindliche Gegenstände wie Obst oder Dosen zu schützen. Auch wenn sich die Anordnung ändert, kann sich der Roboter selbstständig anpassen und die täglichen Hausarbeiten mit minimaler Überwachung erleichtern.

Abb. 7. Ein humanoider Roboter packt vorsichtig eine Lunch-Tasche.

Vor- und Nachteile des Einsatzes von Gemini Robotics#

Gemini Robotics erweitert die Möglichkeiten von Robotern – von präziser Fertigung bis hin zu Unterstützung im intelligenten Haushalt. Hier sind einige wichtige Vorteile des Einsatzes von Gemini Robotics in verschiedenen Anwendungsbereichen:

• Geringer Trainingsaufwand: Im Gegensatz zu herkömmlichen Robotern können von Gemini Robotics gesteuerte Roboter aus wenigen Demonstrationen lernen. Das senkt die Trainingskosten und erleichtert ihre Einführung.
• Höhere Sicherheit: In gefährlichen Umgebungen können mit Gemini Robotics integrierte Roboter riskante Aufgaben übernehmen und dadurch das Verletzungsrisiko für menschliche Arbeitskräfte senken.
• Anpassbare Funktionen: Dank der Flexibilität von Gemini Robotics kann das Modell auf die spezifischen Anforderungen verschiedener Branchen oder einzelner Unternehmen zugeschnitten werden. Dadurch werden spezialisierte Anwendungen und individuelle Lösungen möglich.

Gemini Robotics bietet zwar mehrere Vorteile, es ist jedoch ebenso wichtig, die folgenden Einschränkungen zu berücksichtigen:

• Herausforderungen bei räumlichen Beziehungen: Diese Modelle haben möglicherweise Schwierigkeiten, räumliche Beziehungen über lange Videosequenzen hinweg nachzuverfolgen. Das beeinträchtigt ihre Fähigkeit, Objekte über längere Zeit zu verfolgen und zu verstehen.
• Mangelnde numerische Präzision: Die Vorhersagen des Modells, etwa Punkte und Begrenzungsrahmen, sind möglicherweise nicht präzise genug für Aufgaben, die eine feine Steuerung erfordern, beispielsweise empfindliche Roboteraufgaben.
• Komplexe Aufgaben: Gemini Robotics kann Schwierigkeiten bei komplexen Aufgaben haben, die mehrstufiges Schlussfolgern und präzise Bewegungen erfordern, insbesondere in neuen oder unbekannten Situationen.

Die Zukunft der KI in der Robotik#

Mit den Fortschritten der KI treiben Modelle wie Gemini Robotics und Gemini Robotics-ER die Zukunft der Robotik voran. Künftige Verbesserungen werden sich wahrscheinlich auf die Optimierung des mehrstufigen Schlussfolgerns konzentrieren, damit Roboter Aufgaben für höhere Präzision in logische Schritte zerlegen können.

Ein weiterer wichtiger Entwicklungsbereich, an dem Google DeepMind arbeiten will, ist simulationsbasiertes Training. Indem Roboter vor ihrem Einsatz in der realen Welt in virtuellen Umgebungen lernen, können sie ihre Entscheidungsfindung und Bewegungen verbessern und so Fehler in praktischen Anwendungen minimieren.

Mit der Weiterentwicklung dieser Technologien könnte der Weg für eine Zukunft geebnet werden, in der Roboter autonomer und anpassungsfähiger sind und nahtlos im Alltag mit Menschen zusammenarbeiten können.

Wichtige Erkenntnisse#

Gemini Robotics ist ein großer Schritt nach vorn für KI-gestützte Automatisierung und verbindet digitale Intelligenz mit physischen Aufgaben in der realen Welt. Durch die Kombination von Sehen, Sprache und aktionsbasiertem Lernen können diese Roboter komplexe Aufgaben präzise und anpassungsfähig bewältigen.

Da Roboter immer intelligenter werden, werden sie wahrscheinlich eine größere Rolle im Alltag spielen und die Zusammenarbeit von Menschen und Maschinen verändern. Diese Entwicklung bringt uns einer intelligenten, stärker vernetzten Welt näher, in der KI-gestützte Automatisierung sowohl Branchen als auch alltägliche Aufgaben verbessert.

Werde Teil unserer wachsenden Community! Besuche unser GitHub-Repository, um tiefer in die KI einzutauchen. Du möchtest eigene Computer-Vision-Projekte starten? Sieh dir unsere Lizenzierungsoptionen an. Erfahre auf unseren Lösungsseiten mehr über KI in der Fertigung und Vision AI in der Automobilbranche!