Les modèles Google Gemini Robotics alimentent des robots plus intelligents

Depuis des décennies, les robots symbolisent l’avenir, apparaissant dans les laboratoires de recherche, les films de science-fiction et les présentations de prototypes industriels de pointe. Désormais, grâce aux progrès récents de l’intelligence artificielle (AI), ces prototypes sortent des environnements contrôlés pour entrer dans des applications concrètes.

Plus précisément, avec Gemini Robotics, Google se rapproche de la technologie nécessaire pour construire des robots plus intelligents. Lancés le 12 mars 2025, le modèle Gemini Robotics et son modèle complémentaire, Gemini Robotics-ER (raisonnement incarné), sont les dernières innovations de Google DeepMind.

Ils reposent sur Gemini 2.0, un grand modèle de langage multimodal (LLM) capable de traiter et de générer différents types de données, notamment du texte, des images, de l’audio et de la vidéo, ce qui facilite des interactions plus polyvalentes et naturelles. Ces modèles intègrent les capacités multimodales de Gemini 2.0 au monde physique, permettant ainsi de créer des robots plus agiles, interactifs et intelligents.

Par exemple, contrairement aux robots traditionnels qui suivent des instructions fixes, les robots intégrant les modèles Gemini Robotics peuvent traiter la vision et le langage. Ils peuvent ainsi prendre des décisions en temps réel et s’adapter à des environnements changeants.

Dans cet article, nous allons découvrir Gemini Robotics et Gemini Robotics-ER, comprendre le fonctionnement de ces modèles, ainsi que leurs principales fonctionnalités et applications. C’est parti !

Fig. 1. Gemini Robotics aide les robots à effectuer efficacement plusieurs tâches.

Présentation de Google Gemini Robotics#

Gemini Robotics de Google est un modèle d’AI avancé conçu pour permettre aux robots de percevoir, raisonner et interagir avec le monde physique. En tant que modèle vision-langage-action (VLA), il permet aux robots de traiter des instructions, d’interpréter leur environnement et d’exécuter des tâches complexes avec une grande précision.

De son côté, le modèle Gemini Robotics-ER améliore la capacité d’un robot à comprendre les relations spatiales : la position des objets, leurs déplacements et leurs interactions. Cela aide les robots à anticiper les actions et à ajuster leurs mouvements en conséquence.

Prenons par exemple une tâche au cours de laquelle un robot doit enrouler un fil autour d’un casque audio. Gemini Robotics-ER l’aide à comprendre la scène, à reconnaître la forme et la flexibilité du fil, à identifier la structure du casque et à prédire la façon dont le fil va se courber lorsqu’il se déplace. Gemini Robotics traduit ensuite cette compréhension en action, en coordonnant les deux mains pour manipuler délicatement le fil, en ajustant sa prise afin d’éviter qu’il ne s’emmêle et en veillant à ce que l’enroulement soit bien fixé.

En combinant perception et action, Gemini Robotics et Gemini Robotics-ER créent un système intelligent qui permet aux robots d’effectuer efficacement des tâches complexes et précises dans des environnements dynamiques.

Fig. 2. Présentation de la famille de modèles Gemini Robotics.

L’AI dans la robotique : découverte du fonctionnement de Gemini Robotics#

Examinons maintenant chaque modèle de plus près afin de mieux comprendre comment Gemini Robotics et Gemini Robotics-ER collaborent pour équilibrer flexibilité et rapidité d’action.

D’une part, Gemini Robotics-ER s’appuie sur deux mécanismes clés : la génération de code zero-shot et l’apprentissage en contexte à partir de quelques exemples (ICL). Grâce à la génération de code zero-shot, le modèle peut créer du code pour contrôler le robot à partir d’instructions de tâche, d’images et de données en temps réel, sans nécessiter d’entraînement supplémentaire.

De même, avec l’apprentissage à partir de quelques exemples, le modèle s’adapte à de nouvelles tâches en apprenant à partir de seulement quelques exemples, ce qui réduit le besoin d’un entraînement approfondi. Ensemble, ces méthodes permettent au robot d’effectuer rapidement des tâches complexes et de s’adapter à de nouveaux défis avec un minimum d’effort.

Gemini Robotics, quant à lui, est conçu pour la vitesse et l’efficacité. Il utilise un système hybride composé d’un backbone dans le cloud et d’un décodeur d’actions embarqué. Le backbone dans le cloud traite rapidement les informations, avec une latence entre requête et réponse inférieure à 160 millisecondes.

Le décodeur embarqué contribue ensuite à traduire ces données en actions en temps réel. Ce système combiné atteint un temps de réponse global d’environ 250 millisecondes, avec une vitesse de contrôle de 50 actions par seconde.

Fig. 3. Comprendre comment Gemini Robotics prend en charge le contrôle des robots en temps réel.

Principales capacités de Gemini Robotics#

Voici un aperçu rapide des principales fonctionnalités de Gemini Robotics :

• Généralité : le modèle peut s’adapter aux changements d’éclairage, d’arrière-plan et d’objets tout en restant précis. Il comprend également les commandes reformulées ou multilingues et peut ajuster ses mouvements en fonction de différentes conditions.

• Interactivité : ce modèle peut traiter un large éventail de commandes en langage naturel et y répondre intuitivement. Il ajuste également ses actions en fonction des changements en temps réel de l’environnement, ce qui le rend idéal pour la collaboration humain-robot.

• Dextérité : un robot alimenté par ce modèle peut effectuer des tâches complexes et précises, comme plier des origamis ou manipuler des objets fragiles. Qu’il s’agisse d’un processus étape par étape ou d’actions rapides, le modèle peut aider à les exécuter efficacement.

• Multiples incarnations : il fonctionne sur différentes plateformes robotiques, comme les systèmes à deux bras et les robots humanoïdes, avec peu de réglage fin. Il s’adapte rapidement à de nouvelles tâches tout en maintenant de hautes performances.

Fig. 4. Google Gemini Robotics fonctionne sur différentes plateformes robotiques.

Principales capacités de Gemini Robotics-ER#

Voici quelques-unes des principales fonctionnalités de Gemini Robotics-ER qui aident les robots à comprendre le monde et à interagir avec lui :

• Détection et suivi d’objets : le modèle peut servir à identifier et à suivre des objets dans des espaces 2D et 3D. Grâce aux requêtes en langage naturel, il aide les robots à trouver des objets et à prédire leur position, selon leur type, leur emplacement ou leur fonction.

• Pointage : cette fonctionnalité permet au modèle de localiser précisément des objets ou des parties d’objets dans une image à l’aide de coordonnées précises. Elle peut aider les robots à localiser des objets entiers, des parties d’objets ou même des espaces vides.

• Prédiction de prise : Gemini Robotics-ER peut servir à déterminer la meilleure façon de saisir des objets en fonction de leur forme et de leur fonction. Il prédit l’endroit où les saisir, qu’il s’agisse d’une banane ou de l’anse d’une tasse, permettant ainsi aux robots de manipuler les objets avec précaution.

• Raisonnement sur les trajectoires : le modèle peut planifier des trajectoires en prédisant des séquences d’actions. Par exemple, il peut guider la main d’un robot vers un outil ou définir des points de passage pour une tâche donnée, aidant ainsi le robot à accomplir efficacement ses tâches.

• Correspondance multi-vues : cette fonctionnalité aide le modèle à comprendre les structures 3D en comparant l’apparence des objets sous différents angles. Elle peut améliorer le raisonnement spatial et permettre aux robots de mieux interagir avec les objets dans des environnements dynamiques.

Fig. 5. Gemini Robotics-ER peut effectuer diverses tâches.

Applications des modèles Google Gemini Robotics#

Maintenant que nous avons abordé les principales capacités de Gemini Robotics et de Gemini Robotics-ER, examinons leurs applications concrètes dans différents secteurs.

Google Gemini Robotics peut être utilisé dans l’industrie manufacturière#

Dans l’industrie manufacturière, la précision et la vitesse sont importantes, mais c’est l’adaptabilité qui permet réellement de fluidifier les opérations. Par exemple, un robot industriel alimenté par Gemini peut assembler un système de poulies en identifiant les bons composants, en les positionnant correctement et en manipulant un élastique avec une force précise.

Il peut étirer l’élastique, l’enrouler autour des poulies et le fixer sans le casser ni provoquer de mauvais alignement. Si la configuration change ou si la tâche varie, le robot peut s’adapter sans nécessiter de reprogrammation approfondie. Cette automatisation intelligente réduit les erreurs, améliore l’efficacité et assure la fluidité des processus de fabrication.

Fig. 6. Un robot industriel à deux bras installe précisément un élastique sur un système de poulies.

Des maisons intelligentes grâce à Gemini Robotics#

Des emplois du temps chargés peuvent rendre difficiles les tâches ménagères. Des robots intelligents peuvent prendre le relais pour effectuer des tâches comme le nettoyage, le tri des courses et même l’aide à la préparation des repas, rendant la vie quotidienne plus facile.

Il pourrait par exemple s’agir d’un robot préparant un sac-repas, en sélectionnant et en plaçant soigneusement les aliments à l’intérieur tout en ajustant sa prise pour protéger les articles fragiles comme les fruits ou les boîtes de conserve. Même si la disposition change, le robot peut s’adapter de manière autonome et faciliter les tâches quotidiennes avec un minimum de supervision.

Fig. 7. Un robot humanoïde préparant soigneusement un sac-repas.

Avantages et inconvénients de l’utilisation de Gemini Robotics#

Gemini Robotics élargit les possibilités des robots, de la fabrication de précision à l’assistance domestique intelligente. Voici quelques avantages clés de l’utilisation de Gemini Robotics dans diverses applications :

• Besoins minimaux en entraînement : contrairement aux robots traditionnels, les robots pilotés par Gemini Robotics peuvent apprendre à partir de quelques démonstrations, ce qui réduit les coûts d’entraînement et facilite leur déploiement.
• Sécurité renforcée : dans les environnements dangereux, les robots intégrant Gemini Robotics peuvent effectuer des tâches à risque, réduisant ainsi le risque de blessure pour les travailleurs humains.
• Fonctionnalités personnalisables : la flexibilité de Gemini Robotics permet de l’adapter aux besoins spécifiques de différents secteurs ou entreprises, ce qui autorise des applications spécialisées et des solutions uniques.

Bien que Gemini Robotics offre plusieurs avantages, il est également important de prendre en compte les limites suivantes :

• Difficultés liées aux relations spatiales : ces modèles peuvent avoir du mal à suivre les relations spatiales sur de longues séquences vidéo, ce qui affecte leur capacité à suivre et à comprendre les objets au fil du temps.
• Manque de précision numérique : les prédictions du modèle, comme les points et les boîtes englobantes, peuvent ne pas être suffisamment précises pour les tâches nécessitant un contrôle fin, notamment les tâches robotiques délicates.
• Tâches complexes : Gemini Robotics peut rencontrer des difficultés pour gérer des tâches complexes nécessitant un raisonnement en plusieurs étapes et des mouvements précis, en particulier dans des situations nouvelles ou inconnues.

L’avenir de l’AI dans la robotique#

À mesure que l’AI progresse, des modèles comme Gemini Robotics et Gemini Robotics-ER façonnent l’avenir de la robotique. Les améliorations futures viseront probablement à renforcer le raisonnement en plusieurs étapes, afin de permettre aux robots de décomposer les tâches en étapes logiques pour gagner en précision.

Un autre axe de développement important sur lequel Google DeepMind prévoit de travailler est l’entraînement fondé sur la simulation. En apprenant dans des environnements virtuels avant leur déploiement dans le monde réel, les robots peuvent perfectionner leur prise de décision et leurs mouvements, réduisant ainsi les erreurs dans les applications pratiques.

À mesure que ces technologies évoluent, elles pourraient ouvrir la voie à un avenir où les robots seraient plus autonomes, adaptables et capables de travailler harmonieusement aux côtés des humains dans la vie quotidienne.

Points clés à retenir#

Gemini Robotics représente une avancée majeure pour l’automatisation pilotée par l’AI, en reliant l’intelligence numérique aux tâches physiques du monde réel. En combinant vision, langage et apprentissage fondé sur l’action, ces robots peuvent effectuer des tâches complexes avec précision et adaptabilité.

À mesure que les robots deviennent plus intelligents, ils joueront probablement un rôle croissant dans la vie quotidienne, transformant la manière dont les humains et les machines collaborent. Ces progrès nous rapprochent d’un monde intelligent et plus connecté, où l’automatisation pilotée par l’AI améliore à la fois les secteurs industriels et les tâches du quotidien.

Rejoins notre communauté en pleine croissance ! Consulte notre dépôt GitHub pour approfondir tes connaissances en AI. Tu souhaites démarrer tes propres projets de vision par ordinateur ? Découvre nos options de licence. Pour en savoir plus, consulte nos pages de solutions consacrées à l’AI dans l’industrie manufacturière et à la vision par AI dans le secteur automobile !