La vision par ordinateur guide les décisions des agents d’IA visuelle

Tous les secteurs, de l’industrie manufacturière au commerce de détail, sont confrontés à des défis qui leur sont propres en matière de processus, et trouver des solutions innovantes à ces problèmes a toujours été essentiel à la réussite des entreprises. Récemment, les agents d’IA sont devenus une solution prisée dans de nombreux domaines. Ces systèmes ne se contentent pas d’analyser les données : ils peuvent aussi agir.

Par exemple, les agents d’IA dans l’industrie manufacturière peuvent détecter les défauts en temps réel et lancer automatiquement des mesures de contrôle qualité pour assurer la continuité de la production. De même, dans la logistique et le commerce de détail, ils peuvent surveiller plusieurs sites à l’aide de systèmes de surveillance intelligents et alerter instantanément les équipes en cas d’activité inhabituelle.

Avec l’essor de cette tendance, les agents d’IA transforment activement les industries du monde entier. Le marché mondial des agents d’IA a atteint 5,1 milliards de dollars en 2024 et devrait croître pour atteindre 47,1 milliards de dollars d’ici 2030.

Fig. 1. Aperçu de la taille du marché mondial des agents d’IA.

L’une des technologies clés à l’origine de ces progrès est la vision par ordinateur. En permettant aux machines de traiter et d’interpréter les données visuelles, la Vision AI permet aux agents d’IA d’effectuer avec précision des tâches de vision par ordinateur comme la détection d’objets en temps réel, la segmentation d’instances et le suivi d’objets. Elle fait le lien entre ce que les machines voient et la manière dont elles prennent des décisions, ce qui en fait un élément essentiel de nombreuses solutions reposant sur l’IA.

Dans cet article, nous allons présenter les agents d’IA et leur lien avec la vision par ordinateur. Nous aborderons également les différents types d’agents d’IA et leur utilisation dans les applications basées sur la vision.

Que sont les agents d’IA ?#

Avant d’examiner les agents d’IA fondés sur la vision, prenons un moment pour comprendre les agents d’IA en général et voir à quel point ces systèmes peuvent être polyvalents.

Un agent d’IA est un système intelligent capable de comprendre des tâches ou des questions et d’y répondre sans l’aide d’un humain. De nombreux agents d’IA utilisent l’apprentissage automatique et le traitement automatique du langage naturel (NLP) pour effectuer un large éventail de tâches, de la réponse aux questions simples à la gestion de processus complexes.

Certains agents d’IA peuvent même apprendre et s’améliorer au fil du temps, contrairement aux systèmes d’IA traditionnels, qui dépendent d’interventions humaines pour chaque mise à jour. C’est pourquoi les agents d’IA deviennent rapidement indispensables dans le domaine de l’IA. Ils peuvent automatiser des tâches, prendre des décisions et interagir avec leur environnement sans supervision constante. Ils sont particulièrement utiles pour gérer les tâches répétitives et chronophages.

On trouve par exemple des agents d’IA dans des secteurs comme le service client et l’hôtellerie. Dans le service client, les agents d’IA servent à traiter les remboursements et à proposer des recommandations de produits personnalisées. Dans le secteur de l’hôtellerie, ils peuvent aider le personnel des hôtels à gérer les demandes des clients, à simplifier le service en chambre et à suggérer des attractions à proximité. Ces exemples montrent comment les agents d’IA accélèrent et optimisent les processus du quotidien.

Comprendre le fonctionnement des agents d’IA visuels#

Voyons maintenant rapidement comment fonctionnent les agents d’IA. Bien que chaque agent d’IA soit unique et conçu pour des tâches spécifiques, ils suivent tous les trois mêmes étapes principales : perception, prise de décision et action.

Tout d’abord, à l’étape de la perception, les agents d’IA recueillent des informations auprès de différentes sources pour comprendre ce qui se passe. Vient ensuite la prise de décision. À partir des informations recueillies, ils utilisent leurs algorithmes pour analyser la situation et choisir la meilleure action à entreprendre. Enfin, il y a l’action. Une fois leur décision prise, ils la mettent en œuvre, qu’il s’agisse de répondre à une question, d’effectuer une tâche ou de signaler un problème à traiter par un humain.

Cela peut sembler simple, mais selon le type d’agent d’IA, beaucoup de choses se passent souvent en coulisses pour que ces étapes fonctionnent. De l’analyse de données complexes à l’utilisation de modèles avancés d’apprentissage automatique, chaque agent d’IA est conçu pour gérer des tâches spécifiques à sa manière.

Par exemple, alors que de nombreux agents d’IA se concentrent sur le traitement du langage via le NLP, d’autres, appelés agents d’IA visuels, intègrent la vision par ordinateur pour traiter des données visuelles. Grâce à des modèles avancés de vision par ordinateur comme Ultralytics YOLO11, les agents d’IA visuels peuvent effectuer des analyses d’images plus précises.

Fig. 2 Exemple de comptage de pommes dans une image avec YOLO11.

Les agents d’IA visuels dans les voitures autonomes#

Prenons les voitures autonomes comme exemple pour voir comment les agents d’IA visuels suivent les trois étapes principales décrites ci-dessus :

• Perception : Les agents d’IA visuelle des voitures autonomes collectent des données visuelles provenant des caméras et des capteurs installés sur le véhicule. Ces données comprennent des images et des vidéos de l’environnement alentour, notamment d’autres véhicules, des piétons, des feux de circulation et des panneaux routiers.
• Prise de décision : L’agent d’IA traite ces données visuelles à l’aide de modèles comme Ultralytics YOLO11. Il identifie des objets tels que les voitures et les piétons, détecte les obstacles ou les changements brusques de voie et reconnaît des tendances comme la fluidité du trafic et l’état des feux. Cela permet à la voiture de comprendre les conditions de circulation en temps réel.
• Action : À partir de son analyse, l’agent d’IA agit, par exemple en braquant pour éviter un obstacle, en ajustant sa vitesse ou en s’arrêtant à un feu rouge. Ces décisions sont prises rapidement pour assurer une conduite sûre et efficace.

Les voitures autonomes de Waymo sont un exemple bien connu de cette technologie. Elles utilisent des agents d’IA visuelle pour comprendre leur environnement, prendre des décisions en temps réel et circuler sur les routes de manière sûre et efficace, sans intervention humaine.

Fig. 3 Taxi autonome de Waymo piloté par un agent d’IA.

Types d’agents d’IA visuels#

Maintenant que nous avons vu comment fonctionnent les agents d’IA et comment ils utilisent la vision par ordinateur, examinons les différents types d’agents d’IA. Chacun est conçu pour des tâches spécifiques, des actions simples à la prise de décision et à l’apprentissage plus complexes.

Agents réflexes simples#

Les agents réflexes simples sont le type d’agent d’IA le plus élémentaire. Ils répondent à des entrées spécifiques par des actions prédéfinies, en se basant uniquement sur la situation actuelle, sans tenir compte de l’historique ni des résultats futurs. Ces agents s’appuient généralement sur de simples règles « si-alors » pour guider leur comportement.

Pour l’analyse d’images, un agent réflexe simple peut être programmé pour détecter une couleur particulière, comme le rouge, et déclencher immédiatement une action, telle que mettre en évidence ou compter les objets rouges. Cette approche peut fonctionner pour des tâches simples, mais elle montre ses limites dans des environnements plus complexes, car l’agent n’apprend pas de ses expériences passées et ne s’y adapte pas.

Agents réflexes fondés sur un modèle#

Les agents réflexes fondés sur un modèle sont plus avancés que les agents réflexes simples, car ils utilisent un modèle interne de leur environnement pour mieux comprendre la situation. Ce modèle leur permet de gérer des informations manquantes ou incomplètes et de prendre des décisions plus éclairées.

Prenons les systèmes de caméras de sécurité dotés d’IA. Les agents d’IA visuelle qui y sont intégrés peuvent utiliser la vision par ordinateur pour analyser ce qui se passe en temps réel. Ils peuvent comparer les mouvements et les actions à un modèle de comportement normal, ce qui les aide à repérer les activités inhabituelles, comme le vol à l’étalage, et à signaler plus précisément les menaces potentielles pour la sécurité.

Fig. 4 Exemple de détection de vol par vision par ordinateur.

Agents fondés sur l’utilité#

Prenons un drone fondé sur l’utilité utilisé pour surveiller les cultures. Il ajuste sa trajectoire de vol pour couvrir davantage de terrain tout en évitant les obstacles, et sélectionne le meilleur itinéraire pour la tâche. Le drone évalue ainsi plusieurs actions possibles, comme la zone à prioriser ou la meilleure façon de se déplacer, et choisit celle qui maximise son efficacité.

De même, les agents fondés sur l’utilité sont conçus pour choisir la meilleure action parmi plusieurs options afin d’obtenir le bénéfice ou le résultat le plus important. Les agents d’IA visuels conçus à cette fin peuvent traiter et analyser différentes entrées visuelles, comme des images ou des données de capteurs, puis sélectionner le résultat le plus utile selon des critères prédéfinis.

Fig. 5 Les drones fondés sur l’utilité peuvent servir à surveiller les cultures.

Agents fondés sur des objectifs#

Les agents fondés sur des objectifs ressemblent aux agents fondés sur l’utilité, car les deux types cherchent à atteindre des objectifs spécifiques. Toutefois, les agents fondés sur des objectifs se concentrent uniquement sur les actions qui les rapprochent de l’objectif défini. Ils évaluent chaque action en fonction de sa contribution à cet objectif, sans tenir compte d’autres facteurs comme la valeur globale ou les compromis.

Par exemple, une voiture autonome fonctionne comme un agent fondé sur des objectifs lorsqu’elle doit atteindre une destination. Elle traite les données de caméras basées sur l’IA et de capteurs pour prendre des décisions, comme éviter les obstacles, respecter les feux de circulation et choisir les bons virages afin de rester sur la bonne route. Ces décisions dépendent entièrement de leur contribution à l’objectif consistant à atteindre la destination de manière sûre et efficace. Contrairement aux agents fondés sur l’utilité, les agents fondés sur des objectifs se concentrent uniquement sur l’atteinte de l’objectif, sans prendre en compte d’autres critères comme l’efficacité ou l’optimisation.

Fig. 6 Voiture autonome utilisant la vision par ordinateur pour identifier les objets alentour.

Agents apprenants#

Si tu connais la vision par ordinateur, tu as peut-être déjà entendu parler du réglage fin : un processus qui permet aux modèles de s’améliorer en apprenant à partir de nouvelles données. Les agents apprenants fonctionnent de manière similaire : ils s’adaptent et s’améliorent au fil du temps à mesure qu’ils acquièrent de l’expérience. Dans des applications comme le contrôle qualité par vision, ces agents détectent mieux les défauts à chaque inspection. Cette capacité à affiner leurs performances est particulièrement importante dans des domaines comme l’aviation, où la sécurité et la précision sont essentielles.

Agents hiérarchiques#

Les agents hiérarchiques simplifient les tâches complexes en les décomposant en étapes plus petites et plus faciles à gérer. Un agent de niveau supérieur supervise l’ensemble du processus et prend des décisions stratégiques, tandis que les agents de niveau inférieur se chargent de tâches spécifiques. Cette approche est plus efficace pour les opérations qui comportent plusieurs étapes et nécessitent une exécution détaillée.

Par exemple, dans un entrepôt automatisé, un robot de niveau supérieur peut planifier le processus de tri et décider dans quelles zones envoyer les différents articles. En parallèle, les robots de niveau inférieur se concentrent sur l’identification des articles par vision par ordinateur, l’analyse de caractéristiques comme leur taille, leur forme ou leurs étiquettes, puis leur tri dans les bacs appropriés. Une répartition claire des responsabilités contribue au bon fonctionnement du système.

Fig. 7 Exemple d’un agent d’IA robotisé triant des colis.

Comment commencer à créer un agent d’IA visuel#

Au cœur d’un agent d’IA doté de capacités visuelles se trouve un modèle de vision par ordinateur, comme Ultralytics YOLO11 ou son successeur, Ultralytics YOLO26. Ces modèles sont réputés pour leur efficacité en temps réel et leur précision, ce qui les rend parfaitement adaptés aux tâches de vision par ordinateur.

Voici les différentes étapes nécessaires pour créer ton propre agent d’IA à l’aide des capacités d’Ultralytics YOLO11 :

• Prépare un jeu de données : collecte et prétraite des images annotées pertinentes pour la tâche que ton agent d’IA effectuera.
• Entraîne le modèle sur mesure : entraîne Ultralytics YOLO11 spécifiquement sur ton jeu de données afin d’améliorer sa précision et ses performances pour ton application particulière.
• Intègre-le à un cadre de prise de décision : connecte le modèle entraîné à un système qui permet à l’agent d’IA de prendre des décisions à partir d’entrées visuelles, comme Ultralytics Agents, qui transforme les prédictions en actions automatisées.
• Teste et affine le modèle : déploie l’agent d’IA, évalue ses performances, recueille des commentaires et ajuste le modèle pour améliorer sa précision et sa fiabilité.

Points clés à retenir#

Les agents d’IA intégrant la vision par ordinateur, aussi appelés agents d’IA visuels, transforment les secteurs d’activité en automatisant des tâches, en accélérant les processus et en améliorant la prise de décision. Des villes intelligentes qui régulent la circulation aux systèmes de sécurité qui utilisent la reconnaissance faciale, ces agents apportent de nouvelles solutions à des problèmes courants.

Ils peuvent également continuer à apprendre et à s’améliorer au fil du temps, ce qui les rend utiles dans des environnements changeants. Avec des outils comme Ultralytics YOLO11, créer et utiliser ces agents d’IA devient plus facile et permet de concevoir des solutions plus intelligentes et plus efficaces.

Rejoins notre communauté et consulte notre dépôt GitHub pour en savoir plus sur l’IA. Découvre diverses applications de la vision par ordinateur dans le secteur de la santé et de l’IA dans l’agriculture sur nos pages consacrées aux solutions. Consulte les options de licence disponibles pour te lancer !