Présentation de la solution de recherche d’images sémantique d’Ultralytics

Parcourir une galerie de centaines d’images peut rapidement devenir accablant, surtout lorsque tu essaies de trouver quelque chose de très précis. Par exemple, une personne qui cherche une carte de la Rome antique peut plutôt trouver des cartes de villes aléatoires ou des photos de voyage.

Ces situations se produisent parce que la plupart des systèmes de recherche d’images s’appuient sur les noms de fichiers ou les balises. Cela peut fonctionner pour les requêtes générales, mais ces systèmes sont souvent insuffisants lorsque la précision, le niveau de détail et le contexte sont importants.

En réalité, de nombreuses personnes dans des domaines comme le design, le marketing et la recherche ont du mal à trouver les bonnes images, car les recherches par mots-clés capturent rarement l’idée précise qu’elles recherchent. Cela peut entraîner des retards et perturber la productivité.

Cependant, grâce aux avancées récentes de l’intelligence artificielle (AI), les limites traditionnelles des outils de recherche d’images sont progressivement remplacées par des systèmes plus intelligents et intuitifs. Par exemple, la vision par ordinateur, une branche de l’AI qui se concentre sur l’interprétation et la compréhension des données visuelles, permet d’effectuer des recherches d’images plus rapides et plus précises en analysant leur contenu réel.

En particulier, la recherche d’images sémantique va au-delà de la correspondance entre mots-clés en comprenant le sens d’une recherche. Elle te permet d’utiliser le langage naturel pour décrire ce que tu recherches et trouve des images qui correspondent à l’idée, et pas seulement aux balises. Par exemple, une recherche sur « des animaux dans un zoo » peut renvoyer des images d’animaux aléatoires dans un système traditionnel, tandis qu’une recherche sémantique comprend le contexte et trouve des images d’animaux dans un zoo.

Fig. 1. Exemple d’utilisation de la recherche d’images sémantique pour retrouver des images d’animaux dans un zoo.

Dans cet article, nous allons explorer le fonctionnement de la recherche d’images sémantique et présenter quelques cas d’utilisation concrets. Nous examinerons également la solution de recherche d’images sémantique d’Ultralytics, qui facilite l’application de ce concept dans les projets du quotidien. C’est parti !

Présentation de la solution de recherche d’images sémantique d’Ultralytics#

Le package Python d’Ultralytics propose un éventail de solutions prêtes à l’emploi pour les applications courantes de vision par ordinateur, notamment la gestion des files d’attente, le comptage d’objets par région, le calcul des distances et la recherche d’images sémantique. Ces solutions sont conçues pour être faciles à utiliser, même sans expertise en AI ou en vision par ordinateur.

Parmi elles, la solution de recherche d’images sémantique permet de trouver des images pertinentes à l’aide de descriptions en langage naturel, sans dépendre des noms de fichiers ni de balises ajoutées manuellement. Elle comprend le sens d’une requête et renvoie les images qui correspondent à l’idée, ce qui la rend particulièrement utile lorsque la précision et le contexte sont importants.

Fonctionnement de la solution de recherche d’images sémantique#

La solution de recherche d’images sémantique d’Ultralytics s’appuie sur deux modèles d’AI avancés : CLIP (préentraînement contrastif langage-image) d’OpenAI et FAISS (recherche de similarité en AI de Facebook) de Meta. CLIP convertit le texte et les images en représentations numériques appelées embeddings, qui capturent leur signification et leur contexte. FAISS parcourt efficacement des millions de ces embeddings pour trouver ceux qui sont les plus pertinents pour ta requête.

De plus, une interface web optimisée, développée avec Flask, rend la solution facile à utiliser. Les utilisateurs peuvent saisir des requêtes en langage naturel et récupérer les images correspondantes sans étiquetage manuel ni préparation des données.

L’un des principaux avantages de cette solution est sa capacité zero-shot. Cela signifie qu’elle peut interpréter et traiter des requêtes portant sur des objets ou des scènes sur lesquels elle n’a pas été spécifiquement entraînée. En tirant parti de sa compréhension étendue du langage et des éléments visuels, elle peut renvoyer des résultats pertinents, même pour du contenu inconnu ou non balisé.

Par exemple, si tu utilises la solution pour rechercher un « environnement de bureau », elle peut renvoyer des images de bureaux, de salles de réunion ou d’espaces de travail, même si ces mots ne sont pas associés aux fichiers. Cela fait de la recherche d’images sémantique d’Ultralytics un outil pratique et flexible pour les projets créatifs, la recherche et le travail avec de grandes bibliothèques d’images.

Fig. 2. Recherche d’images d’un environnement de bureau à l’aide de la solution de recherche d’images sémantique d’Ultralytics.

Applications concrètes de la solution de recherche d’images sémantique#

Maintenant que nous comprenons mieux la solution de recherche d’images sémantique d’Ultralytics, examinons quelques applications concrètes et voyons comment différents secteurs peuvent l’intégrer à leurs flux de travail visuels.

Utiliser des outils de recherche d’images propulsés par l’AI pour gérer les jeux de données#

La gestion d’immenses jeux de données d’images est l’une des tâches les plus chronophages lors de la création de solutions de vision par ordinateur. Dans la plupart des cas, les développeurs n’ont pas besoin de l’intégralité du jeu de données. Ils peuvent plutôt rechercher des types d’images précis pour entraîner des modèles ou créer des jeux de validation propres. Mais trouver exactement ces images parmi des milliers peut s’avérer difficile.

Supposons que tu travailles sur un projet portant sur des images d’équitation. Tu peux avoir besoin uniquement de photos où le cavalier porte un casque, monte avec d’autres personnes ou est photographié de profil en pleine action. Sans étiquettes appropriées, trouver ces images manuellement peut demander beaucoup de temps et d’efforts.

La solution de recherche d’images sémantique, proposée par Ultralytics, peut résoudre ce problème en permettant aux développeurs d’utiliser des requêtes en langage naturel pour trouver rapidement ce dont ils ont besoin, même dans des jeux de données désordonnés ou non étiquetés. Cela réduit le temps consacré au tri et permet aux équipes de se concentrer plus efficacement sur la création de meilleurs modèles.

Fig. 3. Tu peux rechercher facilement des images précises dans de grands jeux de données.

Recherche zero-shot d’images de produits e-commerce#

Rechercher des produits précis en ligne peut être frustrant. Les acheteurs décrivent souvent ce qu’ils recherchent avec leurs propres mots, tandis que les fiches produits peuvent utiliser des termes ou des libellés différents. Cette discordance rend plus difficile la recherche des bons articles, en particulier dans les grands catalogues.

Imagine une personne qui achète des meubles et recherche un « ensemble comprenant un canapé, une chaise et une table ». Le produit recherché peut être proposé sous un autre libellé, comme « ensemble de salon trois pièces ». Comme les termes ne correspondent pas exactement, l’article peut ne pas apparaître dans les résultats de recherche, alors qu’il correspond précisément au besoin du client.

Fig. 4. La solution de recherche d’images sémantique d’Ultralytics aide à associer l’intention de l’utilisateur à des visuels de produits pertinents.

Indexation avancée des images pour les médias et l’édition#

De même, dans des domaines comme le journalisme, les blogs et le marketing numérique, les visuels sont essentiels pour raconter une histoire. La bonne image peut appuyer un message, définir le ton et maintenir l’intérêt des lecteurs. Cependant, trouver l’image parfaite implique souvent de parcourir de nombreux fichiers.

Un bon exemple est celui d’un blogueur qui écrit sur les tendances de la décoration intérieure. Il peut vouloir une image d’un salon lumineux et minimaliste bénéficiant d’un éclairage naturel. Cependant, si les images disponibles sont uniquement associées à des termes génériques comme « pièce » ou « intérieur », trouver la bonne correspondance peut être frustrant.

Avec la recherche d’images sémantique, il peut simplement saisir une phrase descriptive comme « un salon minimaliste lumineux avec de grandes fenêtres » et récupérer instantanément les images qui correspondent à l’idée. Il n’est pas nécessaire de dépendre de balises ou de noms de fichiers exacts.

Fig. 5. Les équipes de contenu peuvent utiliser la solution de recherche d’images sémantique d’Ultralytics pour optimiser la sélection des images.

Recherche d’images sémantique pour trouver de l’inspiration artistique et design#

En général, un travail créatif comme la conception d’un moodboard ou la recherche d’inspiration pour un nouveau projet implique de parcourir de grandes collections d’images afin de trouver des visuels correspondant à un style ou à une idée précise. Prenons l’exemple de designers qui travaillent sur un décor de film. Ils peuvent avoir besoin de restituer une ambiance, une époque ou une atmosphère particulière. Cela peut aller d’une ville futuriste à un salon chaleureux décoré dans le style des années 1980.

La recherche d’images sémantique d’Ultralytics facilite cette tâche en reliant le langage au sens visuel. Les équipes peuvent ainsi explorer rapidement des idées et rester concentrées, sans être ralenties par une recherche manuelle.

Fig. 6. La solution de recherche d’images sémantique d’Ultralytics accélère l’exploration visuelle pour les projets créatifs.

Avantages et inconvénients de la recherche d’images propulsée par l’AI#

Voici quelques-uns des principaux avantages de l’utilisation de la recherche d’images propulsée par l’AI pour améliorer les flux de travail visuels et l’efficacité des recherches :

• Prise en charge du langage naturel : Les utilisateurs peuvent trouver des images en les décrivant avec leurs propres mots, sans utiliser de libellés prédéfinis.
• Prise en charge des formats d’image courants : Ces systèmes fonctionnent généralement avec des formats standards comme JPG et PNG, sans qu’il soit nécessaire de convertir ou de reformater les fichiers.
• Intégration à d’autres outils : La recherche d’images propulsée par l’AI peut souvent être intégrée à des pipelines, des tableaux de bord ou des logiciels créatifs plus larges.

Même si les solutions de recherche d’images propulsées par l’AI offrent de nombreux avantages, elles présentent aussi quelques limites à prendre en compte. Voici certains facteurs à considérer :

• Précision limitée pour les requêtes spécialisées : Si une requête est très précise ou inhabituelle, le système peut renvoyer des résultats moins pertinents en raison de lacunes dans les données d’entraînement du modèle.
• Biais dans les données d’entraînement : Les modèles d’AI peuvent refléter les biais présents dans les jeux de données utilisés pour leur entraînement, ce qui peut entraîner des résultats biaisés ou incomplets.
• Les performances dépendent de la qualité des images : Les images de faible résolution ou peu nettes peuvent réduire l’efficacité de la génération des embeddings et la précision de la recherche.

Points clés à retenir#

La recherche d’images sémantique déplace l’attention de la correspondance entre mots-clés vers la compréhension du sens, ce qui aide les utilisateurs à trouver des images en fonction du contexte plutôt que des seules balises ou des seuls noms de fichiers. L’expérience de recherche devient ainsi plus rapide, plus précise et mieux alignée sur ce que les utilisateurs recherchent réellement.

Pour les équipes créatives et les secteurs axés sur le contenu, cela signifie moins de temps passé à trier des fichiers non pertinents et davantage de temps consacré au développement d’idées. Les organisations qui gèrent d’importants volumes de données visuelles peuvent utiliser des solutions comme la recherche d’images sémantique d’Ultralytics pour rationaliser la découverte de contenu, réduire le tri manuel et prendre des décisions plus intelligentes et plus rapides en fonction du contexte visuel.

Rejoins notre communauté et explore notre dépôt GitHub pour en savoir plus sur l’AI. Consulte nos pages de solutions pour découvrir des innovations comme l’AI dans la logistique et la vision par ordinateur dans le secteur de la santé. Découvre nos options de licence et lance-toi dès aujourd’hui !