Les modèles Gemini Robotics de Google rendent les robots plus intelligents

Depuis des décennies, les robots symbolisent le futur : on les voit dans les laboratoires de recherche, les films de science-fiction et les présentations de prototypes industriels de pointe. Aujourd’hui, grâce aux récents progrès de l’intelligence artificielle (AI), ces prototypes quittent les environnements contrôlés pour être déployés dans des applications concrètes.

Avec Gemini Robotics, Google se rapproche de la technologie nécessaire pour construire des robots plus intelligents. Lancés le 12 mars 2025, le modèle Gemini Robotics et son modèle complémentaire, Gemini Robotics-ER (Embodied Reasoning), figurent parmi les dernières innovations de Google DeepMind.

Ils reposent sur Gemini 2.0, un grand modèle de langage (LLM) multimodal capable de traiter et de générer différents types de données, notamment du texte, des images, de l’audio et de la vidéo, pour permettre des interactions plus polyvalentes et naturelles. Ces modèles transposent les capacités multimodales de Gemini 2.0 dans le monde physique, permettant ainsi de créer des robots plus habiles, interactifs et intelligents.

Par exemple, contrairement aux robots traditionnels qui suivent des instructions fixes, les robots intégrant les modèles Gemini Robotics peuvent traiter la vision et le langage. Ils peuvent ainsi prendre des décisions en temps réel et s’adapter à des environnements changeants.

Dans cet article, nous allons découvrir Gemini Robotics et Gemini Robotics-ER, le fonctionnement de ces modèles ainsi que leurs principales fonctionnalités et applications. C’est parti !

Fig. 1. Gemini Robotics aide les robots à effectuer plusieurs tâches efficacement.

Présentation de Google Gemini Robotics#

Gemini Robotics de Google est un modèle d’IA avancé conçu pour permettre aux robots de percevoir, de raisonner et d’interagir dans le monde physique. En tant que modèle vision-langage-action (VLA), il permet aux robots de traiter des instructions, d’interpréter leur environnement et d’exécuter des tâches complexes avec une grande précision.

De son côté, le modèle Gemini Robotics-ER améliore la capacité d’un robot à comprendre les relations spatiales : la position des objets, leurs déplacements et leurs interactions. Les robots peuvent ainsi anticiper les actions et adapter leurs mouvements en conséquence.

Par exemple, imaginons une tâche dans laquelle un robot doit enrouler un fil autour d’un casque audio. Gemini Robotics-ER l’aide à comprendre la scène, à reconnaître la forme et la souplesse du fil, à identifier la structure du casque et à prévoir comment le fil va se plier pendant son déplacement. Gemini Robotics transforme ensuite cette compréhension en actions : le modèle coordonne les deux mains pour manipuler le fil en douceur, ajuste sa prise pour éviter de l’emmêler et veille à ce qu’il soit bien enroulé.

En associant perception et action, Gemini Robotics et Gemini Robotics-ER créent un système intelligent qui permet aux robots d’effectuer efficacement des tâches exigeant de la dextérité dans des environnements dynamiques.

Fig. 2. Présentation de la famille de modèles Gemini Robotics.

L’IA en robotique : découvrir le fonctionnement de Gemini Robotics#

Examinons maintenant chaque modèle de plus près pour mieux comprendre comment Gemini Robotics et Gemini Robotics-ER allient flexibilité et rapidité d’exécution.

D’une part, Gemini Robotics-ER s’appuie sur deux mécanismes clés : la génération de code zero-shot et l’apprentissage en contexte few-shot (ICL). Grâce à la génération de code zero-shot, le modèle peut créer du code pour piloter le robot à partir d’instructions, d’images et de données en temps réel, sans entraînement supplémentaire.

De même, avec l’apprentissage few-shot, le modèle s’adapte à de nouvelles tâches en apprenant à partir de quelques exemples seulement, ce qui réduit le besoin d’un entraînement approfondi. Ensemble, ces méthodes permettent au robot d’effectuer rapidement des tâches complexes et de s’adapter à de nouveaux défis avec un minimum d’efforts.

Gemini Robotics, en revanche, est conçu pour la rapidité et l’efficacité. Il utilise un système hybride composé d’un modèle de base dans le cloud et d’un décodeur d’actions embarqué. Le modèle de base dans le cloud traite rapidement les informations, avec une latence entre la requête et la réponse inférieure à 160 millisecondes.

Le décodeur embarqué transforme ensuite ces données en actions en temps réel. Ce système combiné atteint un temps de réponse global d’environ 250 millisecondes, avec une vitesse de contrôle de 50 actions par seconde.

Fig. 3. Comprendre comment Gemini Robotics prend en charge le contrôle des robots en temps réel.

Principales capacités de Gemini Robotics#

Voici un bref aperçu des principales fonctionnalités de Gemini Robotics :

• Généralité : le modèle s’adapte aux changements d’éclairage, d’arrière-plan et d’objets tout en restant précis. Il comprend également les commandes reformulées ou multilingues et peut adapter ses mouvements à différentes conditions.

• Interactivité : ce modèle peut traiter un large éventail de commandes en langage naturel et y répondre de manière intuitive. Il adapte également ses actions aux changements de l’environnement en temps réel, ce qui le rend idéal pour la collaboration entre humains et robots.

• Dextérité : un robot équipé de ce modèle peut effectuer des tâches complexes et précises, comme plier des origamis ou manipuler des objets fragiles. Qu’il s’agisse d’un processus étape par étape ou d’actions rapides, le modèle peut aider à les exécuter efficacement.

• Multiplicité des incarnations : le modèle fonctionne sur différentes plateformes robotiques, comme les systèmes à deux bras et les robots humanoïdes, avec peu de réglages fins. Il s’adapte rapidement à de nouvelles tâches tout en maintenant des performances élevées.

Fig. 4. Google Gemini Robotics fonctionne sur différentes plateformes robotiques.

Principales capacités de Gemini Robotics-ER#

Voici quelques-unes des principales fonctionnalités de Gemini Robotics-ER qui aident les robots à comprendre le monde et à interagir avec lui :

• Détection et suivi d’objets : le modèle peut servir à identifier et à suivre des objets dans des espaces 2D et 3D. Grâce aux requêtes en langage naturel, il aide les robots à trouver des objets et à prévoir leur position selon leur type, leur emplacement ou leur fonction.

• Pointage : cette fonctionnalité permet au modèle de localiser précisément des objets ou des parties d’image à l’aide de coordonnées exactes. Elle peut aider les robots à repérer des objets entiers, des parties d’objets ou même des espaces vides.

• Prédiction de la prise : Gemini Robotics-ER peut déterminer la meilleure façon de saisir des objets en fonction de leur forme et de leur fonction. Il prédit le point de prise, qu’il s’agisse d’une banane ou de l’anse d’une tasse, pour permettre aux robots de manipuler les objets avec précaution.

• Raisonnement sur les trajectoires : le modèle peut planifier des trajectoires de déplacement en prédisant des séquences d’actions. Par exemple, il peut guider une main robotique vers un outil ou définir des points de passage pour une tâche donnée, afin d’aider le robot à l’accomplir efficacement.

• Correspondance multi-vues : cette fonctionnalité aide le modèle à comprendre les structures 3D en comparant l’apparence des objets sous différents angles. Elle peut améliorer le raisonnement spatial et permettre aux robots de mieux interagir avec les objets dans des environnements dynamiques.

Fig. 5. Gemini Robotics-ER peut exécuter différentes tâches.

Applications des modèles Google Gemini Robotics#

Maintenant que nous avons abordé les principales capacités de Gemini Robotics et de Gemini Robotics-ER, découvrons leurs applications concrètes dans différents secteurs.

Google Gemini Robotics dans l’industrie manufacturière#

Dans l’industrie manufacturière, la précision et la rapidité sont importantes, mais c’est l’adaptabilité qui permet vraiment à tout de fonctionner sans accroc. Par exemple, un robot industriel propulsé par Gemini peut assembler un système de poulies en identifiant les bons composants, en les positionnant correctement et en manipulant un élastique avec une force précise.

Il peut étirer l’élastique, le passer autour des poulies et le fixer sans le casser ni le désaligner. Si la configuration change ou si la tâche varie, le robot peut s’adapter sans avoir besoin d’une reprogrammation approfondie. Cette automatisation intelligente réduit les erreurs, améliore l’efficacité et assure le bon déroulement des processus de fabrication.

Fig. 6. Un robot industriel à deux bras installe avec précision un élastique sur un système de poulies.

Des maisons intelligentes grâce à Gemini Robotics#

Un emploi du temps chargé peut rendre difficile la gestion des tâches ménagères. Des robots intelligents peuvent s’en charger, qu’il s’agisse de faire le ménage, de ranger les courses ou même d’aider à préparer les repas, pour faciliter la vie quotidienne.

On peut imaginer un robot qui prépare un sac-repas en choisissant et en plaçant soigneusement les aliments à l’intérieur, tout en adaptant sa prise pour protéger les objets fragiles comme les fruits ou les canettes. Même si la disposition change, le robot peut s’adapter de lui-même et alléger les tâches quotidiennes avec une supervision minimale.

Fig. 7. Un robot humanoïde prépare soigneusement un sac-repas.

Avantages et inconvénients de Gemini Robotics#

Gemini Robotics élargit le champ des possibilités des robots, de la fabrication de précision à l’assistance à domicile intelligente. Voici quelques-uns des principaux avantages de Gemini Robotics dans différentes applications :

• Exigences minimales en matière d’entraînement : contrairement aux robots traditionnels, les robots propulsés par Gemini Robotics peuvent apprendre à partir de quelques démonstrations, ce qui réduit les coûts d’entraînement et facilite leur déploiement.
• Sécurité renforcée : dans les environnements dangereux, les robots intégrant Gemini Robotics peuvent effectuer des tâches à risque et réduire ainsi les risques de blessures pour les travailleurs.
• Fonctionnalités personnalisables : la flexibilité de Gemini Robotics permet de l’adapter aux besoins spécifiques de différents secteurs ou entreprises, et donc de créer des applications spécialisées et des solutions sur mesure.

Bien que Gemini Robotics présente plusieurs avantages, il est également important de tenir compte des limites suivantes :

• Difficultés liées aux relations spatiales : ces modèles peuvent avoir du mal à suivre les relations spatiales sur de longues séquences vidéo, ce qui affecte leur capacité à suivre les objets et à les comprendre au fil du temps.
• Manque de précision numérique : les prédictions du modèle, comme les points et les cadres de délimitation, peuvent manquer de précision pour les tâches qui nécessitent un contrôle fin, notamment les tâches robotiques délicates.
• Tâches complexes : Gemini Robotics peut avoir des difficultés à effectuer des tâches complexes nécessitant un raisonnement en plusieurs étapes et des mouvements précis, en particulier dans des situations nouvelles ou inhabituelles.

L’avenir de l’IA en robotique#

À mesure que l’IA progresse, des modèles comme Gemini Robotics et Gemini Robotics-ER façonnent l’avenir de la robotique. Les prochaines améliorations viseront probablement à renforcer le raisonnement en plusieurs étapes, afin de permettre aux robots de décomposer les tâches en étapes logiques pour gagner en précision.

Un autre axe de développement important sur lequel Google DeepMind prévoit de travailler est l’entraînement fondé sur la simulation. En apprenant dans des environnements virtuels avant leur déploiement dans le monde réel, les robots peuvent affiner leur prise de décision et leurs mouvements, réduisant ainsi les erreurs dans les applications pratiques.

À mesure que ces technologies évoluent, elles pourraient ouvrir la voie à un avenir où les robots seraient plus autonomes et adaptables, et capables de travailler harmonieusement aux côtés des humains au quotidien.

Points clés à retenir#

Gemini Robotics marque une avancée majeure dans l’automatisation pilotée par l’IA, en reliant l’intelligence numérique aux tâches physiques du monde réel. En combinant vision, langage et apprentissage fondé sur l’action, ces robots peuvent effectuer des tâches complexes avec précision et adaptabilité.

À mesure que les robots gagnent en intelligence, ils joueront probablement un rôle plus important dans la vie quotidienne et transformeront la manière dont les humains et les machines travaillent ensemble. Ces progrès nous rapprochent d’un monde intelligent et mieux connecté, où l’automatisation pilotée par l’IA améliore à la fois les secteurs industriels et les tâches quotidiennes.

Rejoins notre communauté en pleine expansion ! Consulte notre dépôt GitHub pour approfondir tes connaissances en IA. Tu souhaites lancer tes propres projets de vision par ordinateur ? Découvre nos options de licence. Pour en savoir plus, consulte nos pages dédiées aux solutions sur l’IA dans l’industrie manufacturière et la Vision IA dans l’industrie automobile !