Qu’est-ce que YOLOE ? Repousser les limites des modèles de vision par ordinateur

La détection d’objets est une tâche essentielle de la vision par ordinateur, qui consiste à identifier et à localiser des objets dans des images ou des vidéos. C’est un aspect crucial de la vision par ordinateur, un domaine de l’intelligence artificielle (AI) qui permet aux machines de comprendre et d’interpréter des données visuelles. Par exemple, la détection d’objets peut aider à repérer une voiture sur une photo ou une personne dans un flux vidéo.

L’une des familles de modèles les plus connues prenant en charge les tâches de vision par ordinateur, comme la détection d’objets, est la série de modèles YOLO (Vous ne regardez qu’une seule fois). Conçus pour allier rapidité et précision, les modèles YOLO se sont continuellement améliorés au fil du temps. Par exemple, Ultralytics YOLO11 (depuis remplacé par Ultralytics YOLO26) fonctionne bien dans des situations réelles et fournit des résultats précis, même dans des environnements plus complexes.

Pour poursuivre ces progrès, un nouveau modèle appelé YOLOE vise à étendre les capacités des modèles YOLO. Contrairement aux modèles traditionnels, qui doivent être réentraînés pour reconnaître de nouveaux objets, YOLOE peut suivre de simples consignes textuelles ou visuelles pour détecter des objets qu’il n’a jamais vus, ce qui le rend beaucoup plus adaptable aux environnements changeants.

Dans cet article, nous allons examiner de plus près ce qui rend YOLOE unique, le comparer aux modèles YOLO précédents et voir comment tu peux commencer à l’utiliser dès aujourd’hui.

Présentation de YOLOE#

YOLOE est un modèle de vision par ordinateur qui va plus loin que la détection d’objets. Il a été présenté en mars 2025 par des chercheurs de l’université Tsinghua. Ce qui distingue YOLOE des modèles traditionnels, c’est qu’il utilise la détection à vocabulaire ouvert.

Alors que la plupart des modèles sont entraînés à reconnaître une liste fixe d’objets, YOLOE te permet de préciser ce que tu recherches à l’aide d’une courte description ou d’une image d’exemple. Par exemple, si tu recherches un « sac à dos vert », tu peux saisir cette description ou montrer une photo au modèle, et YOLOE le localisera dans la scène.

De plus, même sans consigne, YOLOE peut détecter de nombreux objets du quotidien de manière autonome. Cette capacité à reconnaître des objets qu’il n’a jamais vus auparavant s’appelle la détection zero-shot. Elle est particulièrement utile dans les environnements dynamiques, où la tâche ou les objets d’intérêt peuvent changer de façon inattendue.

Fig. 1 Aperçu des capacités de YOLOE.

Principales fonctionnalités de YOLOE#

YOLOE prend en charge un large éventail de fonctionnalités conçues pour améliorer ses performances dans des applications réelles. Grâce à sa capacité à traiter des entrées structurées et non structurées, YOLOE ouvre de nouvelles possibilités pour la détection et la segmentation d’objets.

Voici quelques-unes des principales fonctionnalités du modèle :

• Détection guidée par des consignes : YOLOE peut rechercher des objets à partir d’une courte consigne textuelle ou d’une image d’exemple. Tu n’as donc pas besoin de réentraîner le modèle à chaque changement de tâche : décris simplement ce que tu recherches ou montre-le au modèle.
• Segmentation d’instances : en plus de tracer des cadres de délimitation autour des objets, YOLOE peut en délimiter la forme exacte grâce à la segmentation d’instances. Cette fonctionnalité est particulièrement utile lorsque les objets se chevauchent ou lorsque tu dois connaître les contours précis d’un objet.
• Reconnaissance d’objets sans consigne : YOLOE peut reconnaître des objets même sans instructions précises. Il s’appuie sur un ensemble de descriptions apprises au préalable pour identifier rapidement les objets, ce qui rend le processus plus rapide et plus efficace.

Comparaison de YOLOE avec d’autres modèles YOLO#

Maintenant que nous comprenons mieux ce qu’est YOLOE, examinons quelques modèles similaires de la famille YOLO.

À mesure que la vision par ordinateur a progressé, les modèles YOLO ont eux aussi évolué. Par exemple, Ultralytics YOLOv8 a ajouté la prise en charge de nouvelles tâches, comme la segmentation et la classification, tandis que les versions ultérieures, telles qu’Ultralytics YOLO11, se sont attachées à améliorer la précision et les performances pour un éventail de tâches plus large.

De plus, YOLO-World, lancé en janvier 2024, a introduit la possibilité d’utiliser des consignes écrites pour décrire les objets recherchés. YOLO-World était une excellente option pour la détection zero-shot, mais il ne proposait pas certaines fonctionnalités, comme la segmentation d’instances et la prise en charge des consignes visuelles.

YOLOE s’appuie sur YOLO-World en ajoutant ces fonctionnalités, en améliorant la flexibilité et les performances, et en proposant un outil plus efficace pour les applications de vision par ordinateur en conditions réelles. Pour comparer les détecteurs à vocabulaire ouvert et les modèles vision-langage sur des jeux de données de détection en conditions réelles, consulte le classement VLM d’Ultralytics.

Fig. 2 YOLO-World et YOLOE prennent tous deux en charge la détection zero-shot.

Utiliser YOLOE avec le package Python Ultralytics#

Que tu veuilles détecter des objets précis ou explorer tout le contenu d’une image, démarrer avec YOLOE est simple. Ce modèle est pris en charge par le package Python Ultralytics, ce qui facilite son intégration à tes projets. Voyons maintenant comment l’utiliser.

Installer le package Ultralytics#

La première étape consiste à installer le package Python Ultralytics à l’aide d’un gestionnaire de paquets comme pip. Pour cela, exécute pip install ultralytics dans ton terminal ou ton invite de commandes.

Une fois le package installé, tu disposes de tout le nécessaire pour charger le modèle, effectuer des prédictions et tester différents modes de détection. Si tu rencontres des problèmes lors de l’installation, la documentation officielle d’Ultralytics propose une section de dépannage utile.

Tu peux utiliser YOLOE de plusieurs façons pour effectuer des prédictions. Cela consiste à utiliser le modèle entraîné pour identifier et localiser des objets dans des images ou des vidéos. Ces différentes méthodes te permettent d’adapter ton utilisation du modèle à tes besoins précis.

Examinons chacune de ces méthodes, une par une.

Détecter des objets précis à l’aide de consignes textuelles ou visuelles#

YOLOE peut détecter des objets à partir d’une courte description textuelle. Par exemple, si tu recherches un cheval en mouvement, tu peux utiliser une consigne comme « cheval qui marche ».

Pour commencer, charge le modèle YOLOE préentraîné, puis définis ta consigne — la description de ce que tu veux que le modèle recherche — comme indiqué dans l’extrait de code ci-dessous.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Une fois le modèle et la consigne définis, tu peux exécuter le modèle sur une image ou une vidéo. Remplace le chemin du fichier dans le code par celui de ton image ou de ta vidéo :

results = model.predict("path/to/your/image.jpg")
results[0].show()

L’image s’affichera avec l’objet détecté clairement indiqué en fonction de ta consigne. Tu peux modifier cette dernière pour rechercher d’autres objets, comme « valise rouge », « vélo » ou « zèbre », selon ce que tu cherches.

Fig. 3. Exemple d’utilisation de YOLOE pour détecter des objets précis à l’aide d’une consigne textuelle.

De même, tu peux utiliser une image pour guider YOLOE avec le package Python Ultralytics. En mode de consigne visuelle, le modèle utilise l’image pour trouver des éléments similaires dans une autre scène. C’est particulièrement utile pour les objets difficiles à décrire ou dépourvus d’étiquettes claires.

Pour examiner le code plus en détail, consulte la documentation Ultralytics.

Détection générale d’objets avec YOLOE#

Dans certains cas, tu ne sais peut-être pas exactement quoi rechercher, ou tu ne cherches peut-être pas un objet particulier. C’est là que le mode sans consigne est utile.

Avec cette option, tu n’as pas besoin de saisir une description ni de fournir une image d’exemple. YOLOE analyse simplement les images de manière autonome et détecte tout ce qu’il peut reconnaître, comme des personnes, des animaux, des meubles ou des objets du quotidien.

C’est un moyen pratique d’explorer une scène sans donner d’instructions précises au modèle. Que tu scrutes une pièce bondée ou que tu visionnes des séquences très animées, le mode sans consigne te donne rapidement un aperçu du contenu de l’image.

Tu peux utiliser le code suivant pour exécuter YOLOE en mode sans consigne. Le modèle est d’abord chargé, puis il traite l’image et détecte automatiquement les objets qu’elle contient. Enfin, les résultats s’affichent et les objets détectés sont mis en évidence.

N’oublie pas de remplacer le chemin du fichier par le chemin réel de ton image.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

L’image ci-dessous montre un exemple de ce que YOLOE peut détecter en mode sans consigne.

Fig. 4. Utiliser YOLOE en mode sans consigne.

Applications de YOLOE en temps réel#

La capacité de YOLOE à répondre à des consignes textuelles et visuelles en fait un outil fiable pour les applications en temps réel. Sa flexibilité est particulièrement utile dans les environnements rapides, où le timing et la précision sont essentiels.

Découvrons quelques exemples concrets d’utilisation de YOLOE.

Améliorer le traitement des bagages : détection des bagages en temps réel#

Dans les aéroports très fréquentés, retrouver un bagage précis peut être difficile, surtout lorsqu’il est perdu. YOLOE peut simplifier ce processus en analysant des vidéos en direct et en repérant rapidement des objets à partir de consignes simples, comme « sac rouge ».

Si un bagage est perdu ou égaré, le personnel peut facilement modifier la consigne pour rechercher un autre objet, comme une « valise noire ». Cette capacité d’adaptation immédiate peut aider le personnel aéroportuaire à retrouver rapidement le bon bagage sans visionner de longues heures de séquences ni réentraîner le modèle, accélérant et facilitant ainsi considérablement le traitement des bagages et la résolution des problèmes de bagages manquants.

Surveiller les espaces publics avec YOLOE#

Les images de vidéosurveillance d’espaces publics, comme les marchés et les cafés très fréquentés, montrent souvent un mélange de personnes, d’objets et d’activités qui évoluent au fil de la journée. YOLOE peut analyser ces images en temps réel en mode sans consigne et détecter automatiquement des objets comme des sacs, des tables ou des vélos, sans instructions particulières.

Fig. 5. YOLOE peut détecter divers objets dans un espace public très fréquenté.

C’est particulièrement utile aux équipes de sécurité pour repérer les objets laissés sans surveillance ou suivre les déplacements de la foule. La capacité de YOLOE à détecter plusieurs objets à la fois facilite la gestion des espaces publics lors d’événements ou de périodes de forte affluence, en aidant les équipes à rester informées et réactives.

Avantages et inconvénients de YOLOE#

Voici quelques-uns des principaux avantages de YOLOE pour les applications de vision par ordinateur :

• Performances en temps réel : YOLOE est optimisé pour un traitement rapide et efficace, ce qui permet la détection en temps réel, même dans des environnements dynamiques comme les flux vidéo en direct ou les espaces publics très fréquentés.
• Évolutivité : YOLOE est évolutif et convient à une grande variété d’applications, de la sécurité et de la surveillance au commerce de détail, aux soins de santé et aux véhicules autonomes.
• Facile à utiliser : le package Python Ultralytics prend en charge YOLOE, ce qui facilite son intégration à tes projets de vision par ordinateur existants.

Cependant, certaines limites de YOLOE sont à prendre en compte. Voici quelques éléments à considérer :

• Nécessite suffisamment de données d’entraînement : bien que YOLOE prenne en charge la détection zero-shot, ses performances sur des objets inédits dépendent de sa capacité à généraliser à partir de ses données d’entraînement. Dans certains cas, il peut avoir besoin de données supplémentaires ou d’un ajustement fin pour obtenir de bons résultats sur des tâches très spécialisées.
• Sensible à la qualité des entrées : la précision du modèle peut être affectée par des images ou des vidéos de mauvaise qualité. Des entrées floues ou mal éclairées peuvent réduire la capacité du modèle à détecter les objets avec précision ; des entrées de haute qualité sont donc essentielles pour obtenir des performances optimales.

Points clés à retenir#

YOLOE apporte davantage de flexibilité à la vision par ordinateur en permettant aux utilisateurs de guider la détection à l’aide de consignes textuelles ou visuelles. Il donne de bons résultats dans des situations réelles où les scènes évoluent rapidement et où le réentraînement n’est pas envisageable.

Du traitement des bagages à la surveillance des espaces publics, YOLOE s’adapte facilement à de nouvelles tâches. À mesure que l’IA devient plus accessible, des modèles comme YOLOE aident un nombre croissant de secteurs à utiliser les technologies de vision de manière concrète et efficace.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur les innovations en IA. Découvre les dernières avancées dans des domaines comme l’IA dans le commerce de détail et la vision par ordinateur dans les soins de santé sur nos pages consacrées aux solutions. Consulte nos options de licence et lance-toi dès aujourd’hui dans la vision par ordinateur !