Qu'est-ce que YOLOE ? Aller plus loin avec les modèles de vision par ordinateur

La détection d'objets est une tâche clé de vision par ordinateur, dont l'objectif est d'identifier et de localiser des objets dans des images ou des vidéos. C'est un élément crucial de la computer vision, un domaine de l'intelligence artificielle (IA) qui permet aux machines de comprendre et d'interpréter des données visuelles. Par exemple, la détection d'objets peut aider à identifier une voiture sur une photo ou à repérer une personne dans un flux vidéo.

L'une des séries de modèles les plus connues prenant en charge des computer vision tasks telles que la détection d'objets est la série de modèles YOLO (You Only Look Once). Conçus pour la vitesse et la précision, les modèles YOLO n'ont cessé de s'améliorer au fil du temps. Par exemple, l'une des dernières versions, Ultralytics YOLO11, offre d'excellentes performances dans des situations réelles, fournissant des résultats précis même dans des environnements plus complexes.

Pour aller encore plus loin dans cette progression, un nouveau modèle appelé YOLOE vise à étendre les capacités des modèles YOLO. Contrairement aux modèles traditionnels qui nécessitent un réentraînement pour reconnaître de nouveaux objets, YOLOE peut suivre de simples invites textuelles ou visuelles pour détecter des objets qu'il n'a jamais vus auparavant, ce qui le rend beaucoup plus adaptable aux environnements changeants.

Dans cet article, nous allons examiner de plus près what makes YOLOE unique, voir comment il se compare aux précédents modèles YOLO et découvrir comment tu peux commencer à l'utiliser dès aujourd'hui. C'est parti !

Un aperçu de YOLOE#

YOLOE est un modèle de vision par ordinateur qui pousse la détection d'objets un peu plus loin. Il a été présenté en mars 2025 par des chercheurs de l'université Tsinghua. Ce qui distingue YOLOE des modèles traditionnels, c'est son utilisation de la détection à vocabulaire ouvert (open-vocabulary).

Alors que la plupart des modèles sont entraînés pour reconnaître une liste fixe d'objets, YOLOE te permet de spécifier ce qu'il doit chercher à l'aide d'une courte description ou d'une image d'exemple. Par exemple, si tu cherches un « sac à dos vert », tu peux soit taper cette description, soit montrer une photo au modèle, et YOLOE le localisera dans la scène.

De plus, même sans aucune consigne, YOLOE peut détecter de nombreux objets du quotidien de manière autonome. Cette capacité à reconnaître des objets qu'il n'a jamais vus auparavant s'appelle la zero-shot detection. Elle est particulièrement utile dans les environnements dynamiques où la tâche ou les objets d'intérêt peuvent changer de manière inattendue.

Fig 1. Un aperçu des capacités de YOLOE.

Fonctionnalités clés de YOLOE#

YOLOE prend en charge un large éventail de fonctionnalités conçues pour améliorer ses performances dans les applications du monde réel. Grâce à sa capacité à traiter des entrées structurées et non structurées, YOLOE ouvre de nouvelles perspectives pour la détection et la segmentation d'objets.

Voici quelques-unes des fonctionnalités clés que le modèle propose :

• Détection basée sur des invites (prompts) : YOLOE peut rechercher des objets en fonction d'une courte invite textuelle ou d'une image d'exemple. Cela signifie que tu n'as pas besoin de réentraîner le modèle à chaque fois que ta tâche change ; il suffit de décrire ou de montrer au modèle ce que tu cherches.
• Instance segmentation : en plus de tracer des boîtes englobantes autour des objets, YOLOE peut détourer leur forme exacte grâce à la segmentation d'instances. C'est particulièrement utile lorsque des objets se chevauchent ou lorsque tu as besoin de connaître les limites précises d'un objet.
• Reconnaissance d'objets sans invite : YOLOE peut reconnaître des objets même sans instructions spécifiques. Il utilise un ensemble de descriptions pré-apprises pour identifier rapidement les objets, rendant le processus plus rapide et plus efficace.

Comparaison de YOLOE avec d'autres modèles YOLO#

Maintenant que nous avons une meilleure compréhension de ce qu'est YOLOE, jetons un œil à certains des modèles de la famille YOLO qui sont similaires.

À mesure que la vision par ordinateur a progressé, les modèles YOLO ont évolué de la même manière. Par exemple, Ultralytics YOLOv8 a apporté le support de nouvelles tâches telles que la segmentation et la classification, tandis que des versions ultérieures, comme Ultralytics YOLO11, se sont concentrées sur l'amélioration de la précision et des performances pour un plus grand éventail de tâches.

De plus, YOLO-World a été lancé en janvier 2024 et a introduit la possibilité d'utiliser des consignes textuelles, permettant aux utilisateurs de décrire les objets qu'ils souhaitent trouver. Bien que YOLO-World ait été une excellente option pour la détection zero-shot, il manquait de fonctionnalités telles que la segmentation d'instances et le support de consignes visuelles.

YOLOE s'appuie sur YOLO-World en ajoutant ces capacités, améliorant ainsi la flexibilité et les performances, et offrant un outil plus percutant pour les applications réelles de vision par ordinateur.

Fig 2. YOLO-World et YOLOE prennent tous deux en charge la détection zero-shot.

Utilisation de YOLOE avec le package Python Ultralytics#

Que tu veuilles détecter des objets spécifiques ou explorer tout ce qui se trouve dans une image, il est simple de commencer avec YOLOE. Ce modèle est pris en charge par le package Python Ultralytics, ce qui facilite son intégration dans tes projets. Ensuite, voyons comment l'utiliser.

Installation du package Ultralytics#

La première étape consiste à installer le Ultralytics Python package à l'aide d'un gestionnaire de paquets tel que « pip ». Pour ce faire, exécute la commande “pip install ultralytics” dans ton terminal ou ton invite de commande.

Une fois le paquet installé, tu disposeras de tout le nécessaire pour charger le modèle, faire des prédictions et tester différents modes de détection. Si tu rencontres des problèmes lors de l'installation, la documentation officielle d'Ultralytics propose une troubleshooting section utile.

Il existe plusieurs façons d'utiliser YOLOE pour exécuter des prédictions. L'exécution de prédictions consiste à utiliser le modèle entraîné pour identifier et localiser des objets dans des images ou des vidéos. Ces différentes méthodes te permettent de personnaliser la façon dont tu interagis avec le modèle en fonction de tes besoins spécifiques.

Discutons de chacune de ces méthodes, une par une.

Détection d'objets spécifiques avec des invites textuelles ou visuelles#

YOLOE peut détecter des objets en fonction d'une courte description textuelle. Par exemple, si tu cherches un cheval en mouvement, tu peux utiliser une invite comme « horse walking ».

Pour commencer, charge d'abord le modèle YOLOE pré-entraîné et définis ton invite (la description de ce que tu veux que le modèle cherche) comme indiqué dans l'extrait de code ci-dessous.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Une fois ton modèle et ton invite configurés, tu peux exécuter le modèle sur une image ou une vidéo. Remplace le chemin d'accès au fichier dans le code par le chemin d'accès à ton propre fichier image ou vidéo :

results = model.predict("path/to/your/image.jpg")
results[0].show()

Cela affichera l'image avec l'objet détecté clairement marqué en fonction de ton invite. Tu peux modifier l'invite pour rechercher différents objets, comme « red suitcase », « bicycle » ou « zebra », selon ce que tu recherches.

Fig 3. Un exemple d'utilisation de YOLOE pour détecter des objets spécifiques à l'aide d'une invite textuelle.

De même, tu peux utiliser une image pour solliciter YOLOE avec le package Python Ultralytics. En mode d'invite visuelle, le modèle utilise l'image pour trouver des éléments similaires dans une autre scène. C'est particulièrement utile pour les objets difficiles à décrire ou qui manquent d'étiquettes claires.

Pour explorer le code correspondant plus en détail, tu peux consulter la Ultralytics documentation.

Détection d'objets générale utilisant YOLOE#

Dans certains cas, tu pourrais ne pas savoir exactement quoi chercher, ou tu pourrais ne pas chercher d'objet particulier. C'est là que le mode sans invite s'avère pratique.

Avec cette option, tu n'as pas besoin de taper de description ni de fournir d'image d'exemple. YOLOE analyse simplement les images de manière autonome et detects tout ce qu'il peut reconnaître, comme des personnes, des animaux, des meubles ou des objets du quotidien.

C'est un moyen utile d'explorer une scène sans donner aucune instruction spécifique au modèle. Que tu scannes une pièce bondée ou que tu passes en revue des images avec beaucoup d'activité, le mode sans invite te donne un aperçu rapide de ce qui est présent dans une image.

Tu peux utiliser le code suivant pour exécuter YOLOE en mode sans invite. D'abord, le modèle est chargé, puis il traite l'image et détecte automatiquement les objets qui s'y trouvent. Enfin, les résultats sont affichés et les objets détectés sont mis en évidence.

Assure-toi de remplacer le chemin d'accès au fichier par le chemin réel vers ton image.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

L'image ci-dessous est un exemple de ce que YOLOE peut détecter en mode sans invite.

Fig 4. Utilisation de YOLOE en mode sans invite.

Applications en temps réel de YOLOE#

La capacité de YOLOE à répondre à la fois à des invites textuelles et visuelles en fait un outil fiable pour les applications en temps réel. Sa flexibilité est particulièrement utile dans les environnements rapides où le timing et la précision sont essentiels.

Explorons quelques exemples concrets de la façon dont YOLOE peut être utilisé.

Amélioration de la gestion des bagages : détection de bagages en temps réel#

Dans les airports fréquentés, localiser un bagage spécifique peut s'avérer complexe, en particulier face à des valises égarées. YOLOE peut simplifier ce processus en facilitant l'analyse de vidéos en direct et l'identification rapide d'objets à partir de simples consignes telles que « sac rouge ».

Si un sac est manquant ou égaré, le personnel peut facilement modifier l'invite pour rechercher un autre article, tel qu'une « black suitcase ». Cette capacité à s'adapter instantanément peut aider le personnel de l'aéroport à localiser rapidement les bons bagages sans avoir à revoir des heures de séquences vidéo ou à réentraîner le modèle, rendant la gestion des bagages et la résolution des problèmes de bagages perdus beaucoup plus rapides et efficaces.

Surveillance des espaces publics avec YOLOE#

Les séquences de surveillance des espaces publics, comme les marchés et les cafés bondés, incluent souvent un mélange de personnes, d'objets et d'activités qui changent tout au long de la journée. YOLOE peut analyser ces séquences en temps réel en utilisant le mode sans invite, détectant automatiquement des éléments comme des sacs, des tables ou des vélos sans avoir besoin d'instructions spécifiques.

Fig 5. YOLOE peut détecter divers objets dans un espace public bondé.

C'est particulièrement utile pour les security teams afin de repérer des objets abandonnés ou de suivre les mouvements de foule. La capacité de YOLOE à détecter plusieurs objets à la fois facilite la gestion des espaces publics lors d'événements ou de périodes d'affluence, aidant les équipes à rester informées et réactives.

Avantages et inconvénients de YOLOE#

Voici quelques-uns des avantages clés de l'utilisation de YOLOE pour les applications de vision par ordinateur :

• Performances en temps réel : YOLOE est optimisé pour un traitement rapide et efficace, permettant une détection en temps réel, même dans des environnements dynamiques comme les flux vidéo en direct ou les espaces publics bondés.
• Scalability : YOLOE est évolutif et s'adapte à une grande variété d'applications, allant de la sécurité et de la surveillance au secteur de la vente au détail, de la santé et des véhicules autonomes.
• Facile à utiliser : comme YOLOE est pris en charge par le package Python Ultralytics, il est facile à intégrer dans tes projets de vision par ordinateur existants.

Cependant, il y a quelques limitations à garder à l'esprit lors de l'utilisation de YOLOE. Voici quelques facteurs à prendre en compte :

• Nécessite des données d'entraînement suffisantes : bien que YOLOE prenne en charge la détection zero-shot, ses performances sur des objets inconnus dépendent de la manière dont il généralise à partir de ses données d'entraînement. Dans certains cas, il peut avoir besoin de données supplémentaires ou d'un ajustement fin (fine-tuning) pour bien fonctionner sur des tâches hautement spécialisées.
• Sensible à la qualité des entrées : la précision du modèle peut être affectée par des images ou des vidéos de faible qualité. Des entrées floues ou mal éclairées peuvent réduire la capacité du modèle à détecter avec précision les objets ; des entrées de haute qualité sont donc importantes pour des performances optimales.

Points clés#

YOLOE apporte plus de flexibilité à la vision par ordinateur en permettant aux utilisateurs de guider la détection avec des invites textuelles ou visuelles. Il fonctionne bien dans des situations réelles où les scènes changent rapidement et où le réentraînement n'est pas une option.

De la gestion des bagages à la surveillance des espaces publics, YOLOE s'adapte facilement à de nouvelles tâches. À mesure que l'IA devient plus accessible, des modèles comme YOLOE aident davantage d'industries à utiliser la technologie de vision de manière pratique et efficace.

Rejoins notre community et explore notre GitHub repository pour en savoir plus sur les innovations en matière d'IA. Découvre les dernières avancées dans des domaines tels que AI in retail et computer vision in healthcare sur nos pages de solutions. Consulte nos licensing options et commence dès aujourd'hui avec la vision par ordinateur !