La vision par ordinateur détermine comment les agents d'IA visuelle prennent leurs décisions

Chaque secteur, de la fabrication à la vente au détail, fait face à ses propres défis opérationnels, et trouver des moyens innovants de résoudre ces problèmes a toujours été essentiel pour diriger des entreprises performantes. Récemment, les agents d'IA sont devenus une solution populaire dans de nombreux domaines. Ces systèmes vont au-delà de la simple analyse de données. Ils peuvent aussi agir.

Par exemple, les AI agents in manufacturing peuvent détecter des défauts en temps réel et lancer automatiquement des mesures de contrôle qualité pour assurer le bon déroulement de la production. De même, dans la logistics et la vente au détail, ils peuvent surveiller plusieurs sites grâce à une surveillance intelligente et alerter instantanément les équipes en cas d'activité inhabituelle.

Alors que cette tendance s'accélère, les agents IA transforment activement les industries du monde entier. Le global AI agents market a atteint 5,1 milliards de dollars en 2024 et devrait croître pour atteindre 47,1 milliards de dollars d'ici 2030.

Fig 1. Un aperçu de la taille du marché mondial des agents IA.

L'une des technologies clés qui propulsent ces avancées est la computer vision. En permettant aux machines de traiter et d'interpréter des données visuelles, la vision IA permet aux agents IA d'effectuer des tâches de vision par ordinateur telles que la détection d'objets en temps réel, la segmentation d'instances et le suivi d'objets avec une précision incroyable. Elle comble le fossé entre ce que voient les machines et la manière dont elles prennent leurs décisions, ce qui en fait un élément essentiel de nombreuses solutions alimentées par l'IA.

Dans cet article, nous allons explorer les agents d'IA et leur relation avec la vision par ordinateur. Nous aborderons également les différents types d'agents d'IA et la manière dont ils sont utilisés dans les applications basées sur la vision. Commençons !

Qu'est-ce qu'un agent d'IA ?#

Avant de nous plonger dans les agents d'IA basés sur la vision, prenons un moment pour comprendre les agents d'IA en général afin de voir à quel point ces systèmes peuvent être polyvalents.

Un agent d'IA est un système intelligent capable de comprendre et de répondre à des tâches ou à des questions sans avoir besoin d'une intervention humaine. De nombreux agents d'IA utilisent l'apprentissage automatique et le traitement du langage naturel (NLP) pour gérer une large gamme de tâches, de la réponse à des questions simples à la gestion de processus complexes.

Certains agents d'IA ont même la capacité d'apprendre et de s'améliorer au fil du temps, contrairement aux systèmes d'IA traditionnels qui dépendent de l'apport humain pour chaque mise à jour. C'est pourquoi les agents d'IA deviennent rapidement un élément essentiel de l'IA. Ils peuvent automatiser des tâches, prendre des décisions et interagir avec leur environnement sans nécessiter une surveillance constante. Ils sont particulièrement utiles pour gérer des tâches répétitives et chronophages.

Par exemple, tu peux trouver des agents d'IA dans des secteurs comme le service client et l'hôtellerie. Les agents d'IA sont utilisés pour traiter les remboursements et proposer des recommandations de produits personnalisées dans le service client. Pendant ce temps, dans l'industrie hôtelière, ils peuvent aider le personnel de l'hôtel à gérer les demandes des clients, simplifier le service en chambre et suggérer aux clients des attractions à proximité. Ces exemples montrent comment les agents d'IA rendent les processus quotidiens plus rapides et plus efficaces.

Comprendre le fonctionnement des agents d'IA visuelle#

Ensuite, jetons un coup d'œil rapide au fonctionnement des agents d'IA. Bien que chaque agent d'IA soit unique et conçu pour des tâches spécifiques, ils partagent tous les trois mêmes étapes principales : la perception, la prise de décision et l'action.

D'abord, lors de l'étape de perception, les agents d'IA recueillent des informations provenant de différentes sources pour comprendre ce qui se passe. Vient ensuite la prise de décision. Sur la base des informations qu'ils collectent, ils utilisent leurs algorithmes pour analyser la situation et décider du meilleur plan d'action. Enfin, il y a l'action. Une fois qu'ils ont pris une décision, ils l'exécutent, qu'il s'agisse de répondre à une question, d'accomplir une tâche ou de signaler un problème à un humain pour qu'il s'en occupe.

Cela peut sembler simple, mais selon le type d'agent d'IA, il se passe souvent beaucoup de choses en coulisses pour faire fonctionner ces étapes. De l'analyse de données complexes à l'utilisation de modèles d'apprentissage automatique avancés, chaque agent d'IA est conçu pour gérer des tâches spécifiques à sa manière.

Par exemple, tandis que de nombreux agents IA se concentrent sur le traitement du langage via la NLP, d'autres — connus sous le nom d'agents de vision IA — intègrent la computer vision pour gérer les données visuelles. En utilisant des modèles de computer vision avancés tels que Ultralytics YOLO11, les agents de vision IA peuvent effectuer une analyse d'image plus précise.

Fig 2. Un exemple de comptage de pommes dans une image à l'aide de YOLO11.

Les agents d'IA visuelle dans les voitures autonomes#

Prenons les voitures autonomes comme exemple pour voir comment les agents d'IA visuelle fonctionnent à travers les trois étapes principales décrites ci-dessus :

• Perception : Les Vision AI agents in self-driving collectent des données visuelles à partir de caméras et de capteurs installés sur le véhicule. Ces données comprennent des images et des vidéos de l'environnement environnant, telles que d'autres véhicules, des piétons, des feux de circulation et des panneaux routiers.
• Prise de décision : Ton agent IA traite ces données visuelles à l'aide de modèles comme Ultralytics YOLO11. Il identifie des objets tels que des voitures et des piétons, détecte des obstacles ou des changements de voie soudains, et reconnaît des schémas tels que le flux du trafic et l'état des feux. Cela aide la voiture à comprendre les conditions routières en temps réel.
• Action : Sur la base de son analyse, l'agent d'IA prend des mesures, comme diriger le véhicule pour éviter un obstacle, ajuster la vitesse ou s'arrêter à un feu rouge. Ces décisions sont prises rapidement pour garantir une conduite sûre et efficace.

Les voitures autonomes de Waymo sont un excellent exemple de cette technologie. Elles utilisent des agents d'IA visuelle pour comprendre leur environnement, prendre des décisions en temps réel et naviguer sur les routes de manière sûre et efficace sans intervention humaine.

Fig 3. Le taxi autonome basé sur un agent IA de Waymo.

Types d'agents d'IA visuelle#

Maintenant que nous avons vu comment les agents d'IA fonctionnent et comment ils utilisent la vision par ordinateur, regardons les différents types d'agents d'IA. Chaque type est conçu pour des tâches spécifiques, des actions simples à la prise de décision et à l'apprentissage plus complexes.

Agents réflexes simples#

Les agents réflexes simples sont le type d'agent d'IA le plus élémentaire. Ils répondent à des entrées spécifiques par des actions prédéfinies, basées uniquement sur la situation actuelle sans tenir compte de l'historique ou des résultats futurs. Ces agents utilisent généralement des règles simples "si-alors" pour guider leur comportement.

En ce qui concerne l'analyse d'images, un agent réflexe simple peut être programmé pour détecter une couleur particulière (telle que le rouge) et déclencher une action immédiate (comme mettre en évidence ou compter des objets rouges). Bien que cela puisse fonctionner pour des tâches simples, cela est insuffisant dans des environnements plus complexes, car l'agent n'apprend pas et ne s'adapte pas à partir d'expériences passées.

Agents réflexes basés sur un modèle#

Les agents réflexes basés sur un modèle sont plus avancés que les agents réflexes simples car ils utilisent un modèle interne de leur environnement pour mieux comprendre la situation. Ce modèle leur permet de gérer des informations manquantes ou incomplètes et de prendre des décisions plus éclairées.

Prenons l'exemple des AI security camera systems. Les agents de vision IA qui y sont intégrés peuvent utiliser la computer vision pour analyser ce qui se passe en temps réel. Ils peuvent comparer les mouvements et les actions à un modèle de comportement normal, ce qui les aide à repérer des activités inhabituelles, comme le vol à l'étalage, et à signaler les menaces de sécurité potentielles avec plus de précision.

Fig 4. Un exemple d'utilisation de la computer vision pour détecter le vol.

Agents basés sur l'utilité#

Pense à un utility-based drone utilisé pour la surveillance des cultures. Il ajuste sa trajectoire de vol pour couvrir plus de terrain tout en évitant les obstacles et sélectionne le meilleur itinéraire pour la tâche. Cela signifie que le drone évalue plusieurs actions potentielles, telles que la zone à prioriser ou la manière de naviguer efficacement, et choisit celle qui maximise son efficacité.

De même, les agents basés sur l'utilité sont conçus pour choisir la meilleure action parmi plusieurs options afin d'obtenir le plus grand bénéfice ou résultat. Les agents d'IA visuelle conçus à cet effet peuvent traiter et analyser différentes entrées visuelles, telles que des images ou des données de capteurs, et sélectionner le résultat le plus utile basé sur des critères prédéfinis.

Fig 5. Les drones utilitaires peuvent être utilisés pour la surveillance des cultures.

Agents basés sur des objectifs#

Les agents basés sur des objectifs sont similaires aux agents basés sur l'utilité car ils visent tous deux à atteindre des objectifs spécifiques. Cependant, les agents basés sur des objectifs se concentrent uniquement sur les actions qui les rapprochent de leur objectif défini. Ils évaluent chaque action en fonction de la façon dont elle aide à atteindre leur cible, sans peser d'autres facteurs comme la valeur globale ou les compromis.

Par exemple, une voiture autonome fonctionne comme un agent basé sur des objectifs lorsque son objectif est d'atteindre une destination. Elle traite les données provenant de AI cameras et de capteurs pour prendre des décisions telles que l'évitement d'obstacles, le respect des feux de circulation et le choix des bons virages pour rester sur la bonne voie. Ces décisions sont guidées entièrement par la mesure dans laquelle elles s'alignent sur l'objectif d'atteindre la destination en toute sécurité et efficacement. Contrairement aux agents basés sur l'utilité, les agents basés sur des objectifs se concentrent uniquement sur la réalisation de l'objectif sans tenir compte de critères supplémentaires comme l'efficacité ou l'optimisation.

Fig 6. Une voiture autonome utilisant la computer vision pour identifier des objets dans son environnement.

Agents d'apprentissage#

Si tu connais la computer vision, tu as peut-être entendu parler du fine-tuning — un processus où les modèles s'améliorent en apprenant à partir de nouvelles données. Les agents d'apprentissage fonctionnent de manière similaire, s'adaptant et s'améliorant au fil du temps à mesure qu'ils acquièrent de l'expérience. Dans des applications telles que le vision-based quality control, ces agents deviennent meilleurs pour détecter les défauts à chaque inspection. Cette capacité à affiner leurs performances est particulièrement vitale dans des domaines comme l'aviation, où la sécurité et la précision sont primordiales.

Agents hiérarchiques#

Les agents hiérarchiques simplifient les tâches complexes en les divisant en étapes plus petites et plus gérables. Un agent de haut niveau supervise l'ensemble du processus, prenant des décisions stratégiques, tandis que des agents de bas niveau gèrent des tâches spécifiques. C'est plus efficace lorsqu'il s'agit d'opérations impliquant plusieurs étapes et une exécution détaillée.

Par exemple, dans un entrepôt automatisé, un robot de niveau supérieur pourrait planifier le processus de tri, décidant quels articles devraient aller dans quelles zones. En même temps, des robots de niveau inférieur se concentrent sur l'identification des articles en utilisant la vision par ordinateur, analysant des caractéristiques comme la taille, la forme ou les étiquettes, et les organisant dans les bons bacs. Une division claire des responsabilités aide le système à fonctionner de manière fluide.

Fig 7. Un exemple d'agent IA robotique triant des colis.

Comment commencer à construire un agent d'IA visuelle#

Le cœur d'un agent IA doté de capacités de vision est un modèle de computer vision. L'un des modèles de computer vision les plus récents et les plus fiables disponibles aujourd'hui est Ultralytics YOLO11. YOLO11 est connu pour son efficacité et sa précision en temps réel, ce qui le rend parfait pour les computer vision tasks.

Voici les différents processus impliqués dans la création de ton propre agent IA avec les capacités d'Ultralytics YOLO11 :

• Prépare un dataset : Collecte et prétraite des images étiquetées pertinentes pour la tâche que ton agent IA va exécuter.

• Custom-train le modèle : Entraîne Ultralytics YOLO11 spécifiquement sur ton jeu de données pour améliorer sa précision et ses performances pour ton application unique.

• Intégrer à un cadre de prise de décision : Connecte le modèle entraîné à un système qui permet à l'agent d'IA de prendre des décisions basées sur des entrées visuelles.

• Tester et affiner : Déploie l'agent d'IA, teste ses performances, recueille des retours et ajuste le modèle pour améliorer sa précision et sa fiabilité.

Points clés#

Les agents d'IA intégrés à la vision par ordinateur - les agents d'IA visuelle - changent les industries en automatisant les tâches, en rendant les processus plus rapides et en améliorant la prise de décision. Des villes intelligentes contrôlant le trafic aux systèmes de sécurité utilisant la reconnaissance faciale, ces agents apportent de nouvelles solutions à des problèmes courants.

Ils peuvent également continuer à apprendre et à s'améliorer au fil du temps, ce qui les rend utiles dans des environnements changeants. Avec des outils comme Ultralytics YOLO11, la création et l'utilisation de ces agents IA sont plus faciles, ce qui conduit à des solutions plus intelligentes et plus efficaces.

Rejoins notre community et consulte notre GitHub repository pour en savoir plus sur l'IA. Explore diverses applications de la computer vision in healthcare et de l'AI in agriculture sur nos pages de solutions. Jette un œil aux licensing options disponibles pour commencer !