La vision par ordinateur guide la prise de décision des agents d’IA visuelle

Chaque secteur, de l’industrie manufacturière au commerce de détail, est confronté à ses propres défis opérationnels, et trouver des moyens innovants de résoudre ces problèmes a toujours été essentiel pour gérer des entreprises prospères. Récemment, les agents d’IA sont devenus une solution populaire dans de nombreux domaines. Ces systèmes vont au-delà de l’analyse des données. Ils peuvent également agir.

Par exemple, les agents d’IA dans l’industrie manufacturière peuvent détecter les défauts en temps réel et lancer automatiquement des mesures de contrôle qualité afin d’assurer la continuité de la production. De même, dans la logistique et le commerce de détail, ils peuvent surveiller plusieurs sites grâce à une vidéosurveillance intelligente et alerter instantanément les équipes en cas d’activité inhabituelle.

À mesure que cette tendance se développe, les agents d’IA transforment activement les secteurs du monde entier. Le marché mondial des agents d’IA a atteint 5,1 milliards de dollars en 2024 et devrait progresser jusqu’à 47,1 milliards de dollars d’ici 2030.

Fig. 1. Aperçu de la taille du marché mondial des agents d’IA.

L’une des technologies clés qui stimulent ces avancées est la vision par ordinateur. En permettant aux machines de traiter et d’interpréter des données visuelles, l’IA visuelle permet aux agents d’IA d’effectuer des tâches de vision par ordinateur comme la détection d’objets en temps réel, la segmentation d’instances et le suivi d’objets avec une précision remarquable. Elle comble l’écart entre ce que voient les machines et la manière dont elles prennent des décisions, ce qui en fait un élément essentiel de nombreuses solutions basées sur l’IA.

Dans cet article, nous allons explorer les agents d’IA et leur relation avec la vision par ordinateur. Nous aborderons également les différents types d’agents d’IA et leur utilisation dans les applications reposant sur la vision. C’est parti !

Que sont les agents d’IA ?#

Avant d’examiner les agents d’IA visuelle, prenons un moment pour comprendre les agents d’IA en général et voir à quel point ces systèmes peuvent être polyvalents.

Un agent d’IA est un système intelligent capable de comprendre et d’exécuter des tâches ou de répondre à des questions sans l’aide d’un humain. De nombreux agents d’IA utilisent l’apprentissage automatique et le traitement du langage naturel (NLP) pour gérer un large éventail de tâches, allant des réponses aux questions simples à la gestion de processus complexes.

Certains agents d’IA sont même capables d’apprendre et de s’améliorer au fil du temps, contrairement aux systèmes d’IA traditionnels qui dépendent de l’intervention humaine pour chaque mise à jour. C’est pourquoi les agents d’IA deviennent rapidement un élément essentiel de l’IA. Ils peuvent automatiser des tâches, prendre des décisions et interagir avec leur environnement sans supervision constante. Ils sont particulièrement utiles pour gérer les tâches répétitives et chronophages.

On trouve par exemple des agents d’IA dans des secteurs comme le service client et l’hôtellerie. Dans le service client, ils sont utilisés pour traiter les remboursements et proposer des recommandations de produits personnalisées. Dans le secteur hôtelier, ils peuvent aider le personnel à gérer les demandes des clients, à simplifier le service en chambre et à suggérer des attractions à proximité. Ces exemples montrent comment les agents d’IA rendent les processus quotidiens plus rapides et plus efficaces.

Comprendre le fonctionnement des agents d’IA visuelle#

Examinons maintenant rapidement le fonctionnement des agents d’IA. Même si chaque agent d’IA est unique et conçu pour des tâches spécifiques, ils partagent tous les mêmes trois étapes principales : perception, prise de décision et action.

Tout d’abord, lors de l’étape de perception, les agents d’IA recueillent des informations auprès de différentes sources pour comprendre ce qui se passe. Vient ensuite la prise de décision. À partir des informations collectées, ils utilisent leurs algorithmes pour analyser la situation et déterminer la meilleure action à entreprendre. Enfin, il y a l’action. Une fois leur décision prise, ils l’exécutent, qu’il s’agisse de répondre à une question, d’accomplir une tâche ou de signaler un problème à un humain.

Cela peut sembler simple, mais selon le type d’agent d’IA, il se passe souvent beaucoup de choses en coulisses pour permettre à ces étapes de fonctionner. De l’analyse de données complexes à l’utilisation de modèles avancés d’apprentissage automatique, chaque agent d’IA est conçu pour gérer des tâches spécifiques à sa manière.

Par exemple, alors que de nombreux agents d’IA se concentrent sur le traitement du langage via le NLP, d’autres, appelés agents d’IA visuelle, intègrent la vision par ordinateur pour traiter les données visuelles. Grâce à des modèles avancés de vision par ordinateur comme Ultralytics YOLO11, les agents d’IA visuelle peuvent effectuer une analyse plus précise des images.

Fig. 2. Exemple de comptage de pommes dans une image à l’aide de YOLO11.

Les agents d’IA visuelle dans les voitures autonomes#

Prenons les voitures autonomes comme exemple pour voir comment les agents d’IA visuelle fonctionnent selon les trois étapes principales décrites ci-dessus :

• Perception : les agents d’IA visuelle des voitures autonomes recueillent des données visuelles provenant des caméras et des capteurs installés sur le véhicule. Ces données comprennent des images et des vidéos de l’environnement alentour, notamment d’autres véhicules, des piétons, des feux de circulation et des panneaux routiers.
• Prise de décision : l’agent d’IA traite ces données visuelles à l’aide de modèles comme Ultralytics YOLO11. Il identifie les objets tels que les voitures et les piétons, détecte les obstacles ou les changements brusques de voie et reconnaît des schémas comme la circulation et l’état des feux. Cela aide la voiture à comprendre les conditions de circulation en temps réel.
• Action : sur la base de son analyse, l’agent d’IA agit, par exemple en braquant pour éviter un obstacle, en ajustant sa vitesse ou en s’arrêtant à un feu rouge. Ces décisions sont prises rapidement afin de garantir une conduite sûre et efficace.

Les voitures autonomes de Waymo sont un excellent exemple de cette technologie. Elles utilisent des agents d’IA visuelle pour comprendre leur environnement, prendre des décisions en temps réel et circuler sur les routes de manière sûre et efficace, sans intervention humaine.

Fig. 3. Taxi autonome de Waymo basé sur un agent d’IA.

Types d’agents d’IA visuelle#

Maintenant que nous avons vu comment fonctionnent les agents d’IA et comment ils utilisent la vision par ordinateur, examinons les différents types d’agents d’IA. Chaque type est conçu pour des tâches spécifiques, allant des actions simples à la prise de décision et à l’apprentissage plus complexes.

Agents réflexes simples#

Les agents réflexes simples sont le type d’agent d’IA le plus basique. Ils réagissent à des entrées spécifiques par des actions prédéfinies, en se basant uniquement sur la situation actuelle, sans tenir compte de l’historique ni des résultats futurs. Ces agents utilisent généralement de simples règles « si-alors » pour guider leur comportement.

En analyse d’images, un agent réflexe simple peut être programmé pour détecter une couleur particulière, comme le rouge, et déclencher immédiatement une action, comme mettre en évidence ou compter les objets rouges. Cette approche peut fonctionner pour des tâches simples, mais elle atteint ses limites dans des environnements plus complexes, car l’agent n’apprend pas de ses expériences passées et ne s’y adapte pas.

Agents réflexes fondés sur un modèle#

Les agents réflexes fondés sur un modèle sont plus avancés que les agents réflexes simples, car ils utilisent un modèle interne de leur environnement pour mieux comprendre la situation. Ce modèle leur permet de gérer les informations manquantes ou incomplètes et de prendre des décisions plus éclairées.

Prenons par exemple les systèmes de caméras de sécurité dotés d’IA. Les agents d’IA visuelle qui y sont intégrés peuvent utiliser la vision par ordinateur pour analyser ce qui se passe en temps réel. Ils peuvent comparer les mouvements et les actions à un modèle de comportement normal, ce qui les aide à repérer plus précisément les activités inhabituelles, comme le vol à l’étalage, et à signaler les menaces potentielles pour la sécurité.

Fig. 4. Exemple d’utilisation de la vision par ordinateur pour détecter un vol.

Agents fondés sur l’utilité#

Prenons un drone fondé sur l’utilité utilisé pour surveiller des cultures. Il ajuste sa trajectoire de vol pour couvrir une plus grande surface tout en évitant les obstacles, et sélectionne le meilleur itinéraire pour la mission. Cela signifie que le drone évalue plusieurs actions potentielles, comme la zone à traiter en priorité ou la manière de se déplacer efficacement, puis choisit celle qui maximise son efficacité.

De même, les agents fondés sur l’utilité sont conçus pour choisir la meilleure action parmi plusieurs options afin d’obtenir le bénéfice ou le résultat le plus important. Les agents d’IA visuelle conçus à cette fin peuvent traiter et analyser différentes entrées visuelles, comme des images ou des données de capteurs, puis sélectionner le résultat le plus utile selon des critères prédéfinis.

Fig. 5. Les drones fondés sur l’utilité peuvent être utilisés pour surveiller des cultures.

Agents fondés sur des objectifs#

Les agents fondés sur des objectifs sont similaires aux agents fondés sur l’utilité, car ils cherchent tous deux à atteindre des objectifs précis. Cependant, les agents fondés sur des objectifs se concentrent uniquement sur les actions qui les rapprochent de leur objectif défini. Ils évaluent chaque action selon sa contribution à l’atteinte de leur objectif, sans prendre en compte d’autres facteurs comme la valeur globale ou les compromis.

Par exemple, une voiture autonome fonctionne comme un agent fondé sur des objectifs lorsqu’elle doit atteindre une destination. Elle traite les données provenant de caméras dotées d’IA et de capteurs pour prendre des décisions, comme éviter les obstacles, respecter les feux de circulation et choisir les bons virages pour rester sur la bonne route. Ces décisions sont entièrement guidées par leur adéquation avec l’objectif d’atteindre la destination de manière sûre et efficace. Contrairement aux agents fondés sur l’utilité, les agents fondés sur des objectifs se concentrent uniquement sur l’atteinte de l’objectif, sans tenir compte de critères supplémentaires comme l’efficacité ou l’optimisation.

Fig. 6. Une voiture autonome utilisant la vision par ordinateur pour identifier les objets qui l’entourent.

Agents apprenants#

Si tu connais la vision par ordinateur, tu as peut-être entendu parler du fine-tuning, un processus au cours duquel les modèles s’améliorent en apprenant à partir de nouvelles données. Les agents apprenants fonctionnent de manière similaire : ils s’adaptent et s’améliorent au fil du temps à mesure qu’ils acquièrent de l’expérience. Dans des applications comme le contrôle qualité fondé sur la vision, ces agents deviennent plus performants pour détecter les défauts à chaque inspection. Cette capacité à perfectionner leurs performances est particulièrement essentielle dans des domaines comme l’aviation, où la sécurité et la précision sont cruciales.

Agents hiérarchiques#

Les agents hiérarchiques simplifient les tâches complexes en les décomposant en étapes plus petites et plus faciles à gérer. Un agent de niveau supérieur supervise l’ensemble du processus et prend les décisions stratégiques, tandis que des agents de niveau inférieur gèrent des tâches spécifiques. Cette approche est plus efficace pour les opérations qui comportent plusieurs étapes et nécessitent une exécution détaillée.

Par exemple, dans un entrepôt automatisé, un robot de niveau supérieur peut planifier le processus de tri en décidant quels articles doivent être envoyés vers quelles zones. Parallèlement, des robots de niveau inférieur se concentrent sur l’identification des articles à l’aide de la vision par ordinateur, analysent des caractéristiques comme la taille, la forme ou les étiquettes, puis les rangent dans les bacs appropriés. Une répartition claire des responsabilités aide le système à fonctionner correctement.

Fig. 7. Exemple d’un agent robotique d’IA triant des colis.

Comment commencer à créer un agent d’IA visuelle#

Le cœur d’un agent d’IA doté de capacités visuelles est un modèle de vision par ordinateur. L’un des modèles de vision par ordinateur les plus récents et les plus fiables actuellement disponibles est Ultralytics YOLO11. YOLO11 est reconnu pour son efficacité et sa précision en temps réel, ce qui le rend idéal pour les tâches de vision par ordinateur.

Voici les différents processus nécessaires pour créer ton propre agent d’IA avec les capacités d’Ultralytics YOLO11 :

• Préparer un jeu de données : collecte et prétraite des images annotées pertinentes pour la tâche que ton agent d’IA devra effectuer.

• Entraîner le modèle personnalisé : entraîne Ultralytics YOLO11 spécifiquement sur ton jeu de données afin d’améliorer sa précision et ses performances pour ton application particulière.

• Intégrer à un cadre de prise de décision : connecte le modèle entraîné à un système qui permet à l’agent d’IA de prendre des décisions à partir d’entrées visuelles.

• Tester et affiner : déploie l’agent d’IA, teste ses performances, recueille des retours et ajuste le modèle pour améliorer sa précision et sa fiabilité.

Points clés à retenir#

Les agents d’IA intégrés à la vision par ordinateur, c’est-à-dire les agents d’IA visuelle, transforment les secteurs en automatisant les tâches, en accélérant les processus et en améliorant la prise de décision. Des villes intelligentes qui contrôlent la circulation aux systèmes de sécurité utilisant la reconnaissance faciale, ces agents apportent de nouvelles solutions à des problèmes courants.

Ils peuvent également continuer à apprendre et à s’améliorer au fil du temps, ce qui les rend utiles dans des environnements changeants. Avec des outils comme Ultralytics YOLO11, il est plus facile de créer et d’utiliser ces agents d’IA, ce qui permet de développer des solutions plus intelligentes et plus efficaces.

Rejoins notre communauté et consulte notre dépôt GitHub pour en apprendre davantage sur l’IA. Découvre différentes applications de la vision par ordinateur dans le domaine de la santé et de l’IA dans l’agriculture sur nos pages consacrées aux solutions. Consulte les options de licence disponibles pour te lancer !