Présentation de la solution de recherche d’images sémantique d’Ultralytics

Parcourir une galerie de centaines d’images peut vite devenir accablant, surtout lorsque tu cherches quelque chose de très précis. Par exemple, une personne à la recherche d’une carte de la Rome antique pourrait trouver à la place des cartes de villes quelconques ou des photos de voyage.

Ces situations surviennent parce que la plupart des systèmes de recherche d’images s’appuient sur les noms de fichiers ou les étiquettes. Cette méthode peut fonctionner pour des requêtes générales, mais elle est souvent insuffisante lorsqu’on a besoin de précision, de détails et de contexte.

En fait, de nombreuses personnes dans des domaines comme le design, le marketing et la recherche ont du mal à trouver les bonnes images, car les recherches par mots-clés ne correspondent que rarement à l’idée précise qu’elles cherchent. Cela peut provoquer des retards et nuire à la productivité.

Cependant, grâce aux progrès récents de l’intelligence artificielle (IA), les limites traditionnelles des outils de recherche d’images sont en train de céder la place à des systèmes plus intelligents et intuitifs. Par exemple, la vision par ordinateur, une branche de l’IA qui vise à interpréter et à comprendre les données visuelles, permet d’effectuer des recherches d’images plus rapides et plus précises en analysant leur contenu réel.

En particulier, la recherche sémantique d’images va au-delà de la correspondance entre mots-clés en comprenant le sens de la requête. Elle te permet de décrire ce que tu cherches en langage naturel et trouve des images correspondant à cette idée, plutôt qu’aux seules étiquettes. Par exemple, une recherche sur « des animaux dans un zoo » pourrait renvoyer des images d’animaux quelconques dans un système traditionnel, tandis qu’une recherche sémantique comprend le contexte et trouve des images d’animaux dans des zoos.

Fig. 1. Exemple d’utilisation de la recherche sémantique d’images pour trouver des images d’animaux dans un zoo.

Dans cet article, nous allons voir comment fonctionne la recherche sémantique d’images et présenter quelques cas d’usage concrets. Nous examinerons également la solution de recherche sémantique d’images d’Ultralytics, qui facilite l’application de ce concept dans les projets du quotidien.

Présentation de la solution de recherche sémantique d’images d’Ultralytics#

Le package Python Ultralytics propose diverses solutions prêtes à l’emploi pour les applications courantes de vision par ordinateur, notamment la gestion des files d’attente, le comptage d’objets par région, le calcul de distances et la recherche sémantique d’images. Ces solutions sont conçues pour être faciles à utiliser, même sans expertise en IA ou en vision par ordinateur.

Parmi ces solutions, la recherche sémantique d’images permet aux utilisateurs de trouver des images pertinentes à partir de descriptions en langage naturel, sans dépendre des noms de fichiers ni d’étiquettes manuelles. Elle comprend le sens de la requête et renvoie des images correspondant à l’idée, ce qui la rend particulièrement utile lorsque la précision et le contexte sont importants.

Fonctionnement de la solution de recherche sémantique d’images#

La solution de recherche sémantique d’images d’Ultralytics repose sur le modèle CLIP (préentraînement contrastif langage-image) d’OpenAI. CLIP convertit les textes et les images en représentations numériques appelées plongements, qui en capturent le sens et le contexte. La solution classe ensuite les images selon leur similarité cosinus avec le plongement de ta requête, afin de trouver les plus pertinentes. Les versions précédentes de la solution utilisaient la bibliothèque FAISS (Facebook AI Similarity Search) de Meta pour cette étape de recherche.

De plus, une interface web simplifiée, conçue avec Flask, facilite l’utilisation de la solution. Les utilisateurs peuvent saisir des requêtes en langage naturel et récupérer les images correspondantes sans étiquetage manuel ni préparation des données.

L’un des principaux avantages de cette solution est sa capacité zéro-shot. Cela signifie qu’elle peut interpréter les requêtes portant sur des objets ou des scènes sur lesquels elle n’a pas été spécifiquement entraînée et y répondre. Grâce à sa vaste compréhension du langage et des éléments visuels, elle peut renvoyer des résultats pertinents, même pour du contenu inconnu ou non étiqueté.

Par exemple, si tu utilises la solution pour rechercher un « environnement de bureau », elle peut renvoyer des images de bureaux, de salles de réunion ou d’espaces de travail, même si ces termes ne sont pas associés aux fichiers. La recherche sémantique d’images d’Ultralytics constitue ainsi un outil pratique et flexible pour les projets créatifs, la recherche et la gestion de grandes bibliothèques d’images.

Fig. 2. Recherche d’images d’un environnement de bureau avec la solution de recherche sémantique d’images d’Ultralytics.

Applications concrètes de la solution de recherche sémantique d’images#

Maintenant que nous comprenons mieux la solution de recherche sémantique d’images d’Ultralytics, examinons quelques applications concrètes et voyons comment différents secteurs peuvent l’intégrer à leurs flux de travail visuels.

Utilisation d’outils de recherche d’images par l’IA pour gérer des ensembles de données#

Gérer de très grands jeux de données d’images est l’une des tâches les plus chronophages lors de la création de solutions de vision par ordinateur. Dans la plupart des cas, les développeurs n’ont pas besoin du jeu de données complet. Ils cherchent plutôt des types d’images précis pour entraîner des modèles ou créer des jeux de validation propres. Mais retrouver ces images parmi des milliers peut s’avérer difficile.

Imaginons que tu travailles sur un projet portant sur des images d’équitation. Tu pourrais n’avoir besoin que de photos où le cavalier porte un casque, monte avec d’autres personnes ou est photographié de profil en pleine action. Sans annotations adéquates, retrouver ces images manuellement peut prendre beaucoup de temps et d’efforts.

La solution de recherche sémantique d’images prise en charge par Ultralytics peut résoudre ce problème en permettant aux développeurs d’utiliser des requêtes en langage naturel pour trouver rapidement ce dont ils ont besoin, même dans des ensembles de données désordonnés ou non étiquetés. Cela réduit le temps consacré au tri et permet aux équipes de se concentrer sur la création de meilleurs modèles de manière plus efficace.

Fig. 3. Tu peux facilement rechercher des images spécifiques dans de grands ensembles de données.

Recherche zéro-shot de produits de commerce électronique#

Rechercher des produits spécifiques en ligne peut être frustrant. Les acheteurs décrivent souvent ce qu’ils veulent avec leurs propres mots, mais les fiches produits peuvent employer des termes ou des étiquettes différents. Ce décalage complique la recherche des bons articles, surtout dans les grands catalogues.

Imaginons qu’une personne recherche un ensemble « canapé, fauteuil et table » pour meubler son intérieur. Le produit qu’elle cherche peut être répertorié sous une autre appellation, comme « ensemble de salon trois pièces ». Comme les termes ne correspondent pas exactement, l’article risque de ne pas apparaître dans les résultats de recherche, alors qu’il correspond précisément aux besoins du client.

Fig. 4. La solution de recherche sémantique d’images d’Ultralytics aide à faire correspondre l’intention de l’utilisateur aux visuels de produits pertinents.

Indexation avancée des images pour les médias et l’édition#

De même, dans des domaines comme le journalisme, les blogs et le marketing numérique, les visuels sont essentiels à la narration. La bonne image peut étayer un message, donner le ton et maintenir l’intérêt des lecteurs. Pourtant, trouver l’image idéale nécessite souvent de parcourir de nombreux fichiers.

Prenons l’exemple d’un blogueur qui écrit sur les tendances en décoration intérieure. Il pourrait vouloir une image d’un salon lumineux et minimaliste, baigné de lumière naturelle. Mais si les images disponibles ne sont associées qu’à des termes génériques comme « pièce » ou « intérieur », trouver la bonne correspondance peut être frustrant.

Avec la recherche sémantique d’images, il suffit de saisir une description comme « un salon lumineux et minimaliste avec de grandes fenêtres » pour trouver instantanément des images correspondant à cette idée. Inutile de s’appuyer sur des étiquettes ou des noms de fichiers exacts.

Fig. 5. Les équipes de contenu peuvent utiliser la solution de recherche sémantique d’images d’Ultralytics pour optimiser la sélection d’images.

La recherche sémantique d’images pour trouver de l’inspiration artistique et graphique#

En général, les projets créatifs, comme la création d’un moodboard ou la recherche d’inspiration pour un nouveau projet, impliquent de parcourir de grandes collections d’images pour trouver des visuels correspondant à un style ou à une idée précise. Prenons l’exemple intéressant de graphistes qui travaillent sur le décor d’un film. Ils peuvent avoir besoin de créer une ambiance, une époque ou une atmosphère particulière. Il peut s’agir aussi bien d’une ville futuriste que d’un salon douillet au style des années 1980.

La recherche sémantique d’images d’Ultralytics facilite cette tâche en reliant le langage au sens visuel. Les équipes peuvent ainsi explorer rapidement des idées et rester concentrées sans perdre de temps à effectuer des recherches manuelles.

Fig. 6. La solution de recherche sémantique d’images d’Ultralytics facilite l’exploration visuelle des projets créatifs.

Avantages et inconvénients de la recherche d’images par IA#

Voici quelques-uns des principaux avantages de la recherche d’images par IA pour améliorer les flux de travail visuels et l’efficacité des recherches :

• Prise en charge du langage naturel : Les utilisateurs peuvent trouver des images en les décrivant avec leurs propres mots, sans utiliser d’étiquettes prédéfinies.
• Prise en charge des formats d’image courants : Ces systèmes fonctionnent généralement avec des formats standard comme JPG et PNG ; il n’est donc pas nécessaire de convertir ou de reformater les fichiers.
• Intégration à d’autres outils : La recherche d’images par IA peut souvent être intégrée à des pipelines, des tableaux de bord ou des logiciels de création plus complets.

Les solutions de recherche d’images par IA offrent de nombreux avantages, mais elles présentent aussi quelques limites à garder à l’esprit. Voici certains facteurs à prendre en compte :

• Précision limitée pour les requêtes pointues : Si une requête est très précise ou inhabituelle, le système peut renvoyer des résultats moins pertinents en raison de lacunes dans les données d’entraînement du modèle.
• Biais dans les données d’entraînement : Les modèles d’IA peuvent refléter les biais présents dans les jeux de données utilisés pour leur entraînement, ce qui risque de produire des résultats faussés ou incomplets.
• Les performances dépendent de la qualité des images : Les images de basse résolution ou peu nettes peuvent réduire l’efficacité de la génération d’embeddings et la précision des recherches.

Points clés à retenir#

La recherche sémantique d’images ne se limite plus à faire correspondre des mots-clés : elle cherche à comprendre le sens, ce qui aide les utilisateurs à trouver des images en fonction du contexte plutôt que de simples tags ou noms de fichiers. Les recherches sont ainsi plus rapides, plus précises et mieux adaptées aux besoins réels des utilisateurs.

Pour les équipes créatives et les secteurs axés sur le contenu, cela signifie moins de temps passé à trier des fichiers sans intérêt et plus de temps consacré au développement d’idées. Les organisations qui gèrent de grands volumes de données visuelles peuvent utiliser des solutions comme la recherche sémantique d’images d’Ultralytics pour simplifier la découverte de contenu, réduire le tri manuel et prendre des décisions plus avisées et plus rapides en fonction du contexte visuel.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’IA. Découvre nos pages de solutions pour en apprendre davantage sur des innovations comme l’IA dans la logistique et la vision par ordinateur dans le secteur de la santé. Consulte nos options de licence et lance-toi dès aujourd’hui !