Tirer parti de l’apprentissage par renforcement dans les projets de vision par ordinateur

Une manière simple d’expliquer l’intelligence artificielle (AI) consiste à dire qu’il s’agit d’un domaine qui cherche à reproduire la façon dont les humains pensent et apprennent. C’est de là que vient l’idée des techniques d’apprentissage en AI : différentes méthodes qui permettent aux machines d’améliorer leurs performances au fil du temps, comme le font les humains.

Nous avons précédemment exploré les principales techniques d’apprentissage de l’AI, notamment l’apprentissage supervisé, non supervisé, par renforcement et par transfert, ainsi que le rôle important de chacune pour aider les modèles d’AI à traiter les informations et à prendre des décisions.

Aujourd’hui, nous allons examiner de plus près l’apprentissage par renforcement, une technique qui apprend aux systèmes d’AI à tirer des enseignements de l’expérience en interagissant avec un environnement et en s’améliorant grâce aux retours reçus. Plus précisément, nous verrons comment l’apprentissage par renforcement peut être appliqué aux applications de vision par ordinateur, c’est-à-dire aux systèmes qui permettent aux machines d’interpréter et de comprendre les informations visuelles du monde qui les entoure.

La combinaison de concepts comme l’apprentissage par renforcement et la vision par ordinateur ouvre de nouvelles possibilités passionnantes et constitue un domaine de recherche actif. Elle permet aux systèmes d’AI de reconnaître ce qu’ils voient et de prendre des décisions éclairées à partir de ces informations visuelles.

Qu’est-ce que l’apprentissage par renforcement ?#

L’apprentissage par renforcement est une branche de l’apprentissage automatique dans laquelle un agent d’AI apprend en effectuant des actions et en recevant des retours sous forme de récompenses ou de pénalités. L’objectif est de déterminer quelles actions produisent les meilleurs résultats au fil du temps.

Tu peux voir l’apprentissage par renforcement comme l’entraînement d’un chien. Quand un chien s’assoit sur commande, tu lui donnes une friandise. Au bout d’un certain temps, il comprend que s’asseoir entraîne une récompense. En apprentissage par renforcement, l’agent ou le modèle d’AI joue le rôle du chien ; l’environnement représente le monde qui l’entoure, et la récompense l’aide à comprendre s’il a fait le bon choix.

C’est différent de l’apprentissage supervisé, dans lequel le modèle d’AI reçoit de nombreux exemples de réponses correctes. Par exemple, on peut lui montrer une image de chien et lui dire : « C’est un chien. »

L’apprentissage par renforcement, en revanche, ne repose pas sur des données annotées. Il consiste plutôt à apprendre en essayant différentes actions et en tirant des leçons des résultats, un peu comme lorsqu’on joue à un jeu et qu’on détermine quels mouvements permettent de gagner.

Fig. 1. Apprentissage par renforcement et apprentissage supervisé.

L’apprentissage par renforcement est essentiel pour les tâches où les décisions sont prises étape par étape et où chaque choix modifie la suite des événements. Ce type d’apprentissage est utilisé dans les jeux vidéo de stratégie pour rendre l’expérience de jeu plus stimulante et plus immersive pour les joueurs.

Fonctionnement de l’apprentissage par renforcement dans les solutions d’AI#

Réfléchis à la façon dont tu apprends à faire du vélo. Au début, tu peux tomber. Mais avec la pratique, tu commences à comprendre ce qui t’aide à garder ton équilibre. Plus tu roules, plus tu progresses. Tu apprends en faisant, et pas seulement en écoutant des instructions.

L’apprentissage par renforcement fonctionne de manière similaire pour l’AI. Elle apprend par l’expérience : elle essaie différentes actions, observe ce qui se passe et améliore progressivement sa capacité à faire les bons choix au fil du temps.

Fig. 2. Comprendre le fonctionnement de l’apprentissage par renforcement.

Voici quelques-uns des principaux composants de l’apprentissage par renforcement :

• Agent : l’agent est l’apprenant ou le décideur. Il interagit avec l’environnement en effectuant des actions et cherche à atteindre un objectif précis.
• Environnement : l’environnement comprend tout ce avec quoi l’agent interagit. Il évolue en réponse aux actions de l’agent et fournit un retour fondé sur les résultats obtenus.
• État : un état représente un instantané de la situation actuelle dans l’environnement. L’agent observe l’état pour comprendre ce qui l’entoure et déterminer quelle action effectuer ensuite.
• Action : une action est un mouvement ou une décision prise par l’agent qui affecte l’environnement. Chaque action mène à un nouvel état et peut influencer les récompenses futures.
• Récompense : une récompense est simplement un retour de l’environnement qui indique à l’agent si son action a été bénéfique ou non. Les récompenses positives encouragent l’agent à répéter les bonnes actions, tandis que les récompenses négatives le dissuadent de reproduire les mauvaises.
• Politique : une politique est la stratégie de l’agent pour choisir ses actions en fonction de l’état actuel. Au fil du temps, l’agent affine sa politique afin de maximiser le total des récompenses qu’il peut obtenir.

En combinant ces composants, l’apprentissage par renforcement permet aux systèmes d’AI d’apprendre des comportements efficaces grâce à un processus continu d’essais et d’erreurs. À chaque tentative, l’agent s’améliore dans la sélection des actions qui conduisent à de meilleures récompenses et à de meilleurs résultats.

Innovations liées à l’apprentissage par renforcement en vision par ordinateur#

La vision par ordinateur est utilisée pour des tâches comme la détection d’objets dans les images, la classification de ce qui apparaît sur une image et la segmentation d’une image en différentes parties. Les modèles de vision par ordinateur comme Ultralytics YOLO11 prennent en charge ces tâches et peuvent servir à créer des applications capables de recueillir des informations visuelles utiles.

Cependant, lorsque ces tâches d’AI visuelle sont combinées à l’apprentissage par renforcement, on obtient une solution d’AI qui ne se contente pas de voir : elle apprend aussi à agir en fonction des informations visuelles et s’améliore au fil du temps.

Un exemple intéressant d’apprentissage par renforcement dans les applications de vision par ordinateur est l’utilisation de robots dans les entrepôts. Équipés de caméras et de systèmes de vision par ordinateur, ces robots peuvent analyser leur environnement, détecter l’emplacement de chaque article, identifier sa forme et sa taille, et comprendre comment il est positionné sur l’étagère.

Chaque fois que le robot tente de saisir un article, il reçoit un retour : réussite si l’article est correctement récupéré, ou échec s’il tombe. Au fil du temps, le robot apprend quelles actions fonctionnent le mieux pour chaque type d’article. Au lieu de suivre un ensemble fixe d’instructions, il s’améliore continuellement grâce à l’expérience.

Fig. 3. Un bras robotique utilisant l’AI visuelle et l’apprentissage par renforcement pour saisir des objets.

Applications de l’apprentissage par renforcement en vision par ordinateur#

Maintenant que nous comprenons mieux ce qu’est l’apprentissage par renforcement et quel est son rôle en vision par ordinateur, examinons de plus près quelques exemples d’utilisation conjointe de l’apprentissage par renforcement et de la vision par ordinateur.

Intégrer l’AI visuelle et l’apprentissage par renforcement pour des véhicules plus intelligents#

Les véhicules autonomes peuvent s’appuyer à la fois sur l’AI visuelle pour comprendre leur environnement et sur l’apprentissage par renforcement pour prendre des décisions en fonction de ce qu’ils voient. L’AWS DeepRacer en est un excellent exemple concret.

L’AWS DeepRacer est une voiture de course autonome à l’échelle 1/18 qui apprend à conduire à l’aide d’une caméra et de l’apprentissage par renforcement. Au lieu de recevoir des instructions, elle trouve elle-même des solutions en essayant, en commettant des erreurs et en tirant des leçons de celles-ci.

La caméra de cette minuscule voiture fonctionne comme une paire d’yeux et capture la piste devant elle. En fonction de ce qu’elle voit, la voiture apprend à se diriger et à régler sa vitesse. À chaque tour, elle progresse. Par exemple, elle peut apprendre à prendre des virages plus larges ou à ralentir avant les virages serrés en tirant des leçons de ses essais précédents.

L’entraînement de la DeepRacer commence dans un environnement virtuel, où le modèle s’exerce et perfectionne ses compétences de conduite. Lorsqu’il atteint un certain niveau de performance, ces compétences sont transférées à des circuits réels avec des voitures physiques.

Fig. 4. L’AWS DeepRacer utilise la vision et l’apprentissage par renforcement pour conduire de manière autonome. Source de l’image : Amazon.

Vers des robots chirurgicaux autonomes#

Un domaine de recherche passionnant qui suscite de plus en plus d’attention est l’intégration de l’AI visuelle et de l’apprentissage par renforcement dans la chirurgie robotique. Pour le moment, cette application reste largement théorique. Les chercheurs exécutent des simulations dans des environnements virtuels.

Cependant, les premières expériences donnent des résultats prometteurs et laissent penser que les robots chirurgicaux pourraient un jour réaliser des procédures complexes et délicates avec davantage de précision et d’adaptabilité, tout en nécessitant une intervention humaine minimale.

Fig. 5. Les robots chirurgicaux deviennent de plus en plus avancés.

Par exemple, imagine une situation où il faut soulever délicatement une compresse d’un site chirurgical. Un robot équipé d’AI visuelle commencerait par analyser la scène, en utilisant la segmentation pour identifier la compresse et les tissus environnants.

L’apprentissage par renforcement aiderait ensuite le robot chirurgical à déterminer comment aborder la tâche : choisir le meilleur angle pour saisir la compresse, régler la pression à appliquer et la soulever sans perturber les zones sensibles voisines. Au fil du temps et de séances d’entraînement répétées dans des environnements simulés, le robot pourrait apprendre à effectuer ces mouvements subtils et critiques avec une maîtrise et une confiance accrues.

Avantages et inconvénients de l’apprentissage par renforcement en AI visuelle#

L’apprentissage par renforcement permet aux systèmes d’AI visuelle d’aller au-delà de la simple reconnaissance et de commencer à prendre des décisions en fonction de ce qu’ils voient. Cela ouvre de nouvelles possibilités dans des domaines comme la robotique, l’automatisation et l’interaction en temps réel.

Voici quelques-uns des principaux avantages de l’intégration de l’apprentissage par renforcement dans les flux de travail d’AI visuelle :

• Dépendance moindre aux données annotées : ces systèmes peuvent apprendre par interaction et n’ont donc pas besoin d’énormes jeux de données annotés pour démarrer.
• Meilleure gestion de l’incertitude : l’apprentissage par renforcement peut gérer des informations visuelles incomplètes ou bruitées en adaptant les actions en fonction des retours, plutôt qu’en s’appuyant uniquement sur des données parfaites.
• Prend en charge l’apprentissage à long terme : il aide les modèles à s’améliorer au fil du temps en apprenant à partir de séquences d’actions, et pas seulement de décisions prises en une seule étape.

Voici, en revanche, quelques-unes des limites de l’apprentissage par renforcement à prendre en compte :

• Problème d’attribution du mérite : il peut être difficile pour l’agent de déterminer quelles actions précises ont contribué au résultat final, en particulier dans les longues séquences de décisions.
• Risque d’exploration dangereuse : pendant l’entraînement, l’agent peut essayer des actions dangereuses ou indésirables qui seraient inacceptables dans des applications réelles comme les soins de santé ou la conduite autonome.
• Convergence lente : il peut falloir beaucoup de temps au modèle pour atteindre réellement une bonne performance, en particulier pour les tâches complexes.

Points clés à retenir#

L’apprentissage par renforcement dans les projets de vision par ordinateur permet aux systèmes d’AI de comprendre leur environnement et d’apprendre à agir par l’expérience. Avec des modèles comme Ultralytics YOLO11 qui assurent la détection d’objets en temps réel, le système peut prendre des décisions éclairées en fonction de ce qu’il voit.

Cette approche va au-delà des méthodes traditionnelles en permettant à l’AI de s’améliorer par essais et retours, plutôt que de dépendre uniquement de données annotées. Elle favorise l’apprentissage continu et contribue à créer des systèmes d’AI visuelle plus flexibles, adaptatifs et intelligents, qui progressent au fil du temps.

Rejoins notre communauté grandissante. Consulte notre dépôt GitHub pour approfondir tes connaissances en AI. Tu souhaites démarrer tes propres projets de vision par ordinateur ? Découvre nos options de licence. En savoir plus sur l’AI dans l’industrie manufacturière et sur l’AI visuelle dans l’industrie automobile sur nos pages consacrées aux solutions.