Qu’est-ce que la transformée de caractéristiques invariante à l’échelle (SIFT) ?

Pour découvrir visuellement les concepts abordés dans cet article, regarde la vidéo ci-dessous.

De nos jours, bon nombre des appareils intelligents que nous utilisons, des téléphones et appareils photo aux systèmes domotiques, intègrent des solutions d’IA capables de reconnaître des visages, des objets et même des scènes visuelles entières. Cette capacité vient de la vision par ordinateur, un domaine de l’intelligence artificielle qui permet aux machines de comprendre et d’interpréter les images et les vidéos.

Par exemple, si tu prends une photo de la tour Eiffel sous n’importe quel angle ou à n’importe quelle distance, ton appareil peut généralement encore la reconnaître grâce à la vision par ordinateur et la classer dans le bon dossier de ta galerie. Même si cela paraît simple, la reconnaissance d’objets ne l’est pas toujours. Les images peuvent être très différentes selon leur taille, leur angle, leur échelle ou leur éclairage, ce qui complique leur identification cohérente par les machines.

Pour résoudre ce problème, les chercheurs ont développé un algorithme de vision par ordinateur appelé transformation de caractéristiques invariantes à l’échelle, ou SIFT. Cet algorithme permet de détecter des objets dans différentes conditions d’observation. Créé par David Lowe en 1999, SIFT a été conçu pour trouver et décrire des points clés uniques dans une image, comme des coins, des contours ou des motifs qui restent reconnaissables même lorsque l’image est redimensionnée, pivotée ou éclairée différemment.

Avant que les modèles de vision par ordinateur fondés sur l’apprentissage profond, comme Ultralytics YOLO11, ne deviennent populaires, SIFT était une technique largement utilisée en vision par ordinateur. Il s’agissait d’une approche standard pour des tâches comme la reconnaissance d’objets, dont l’objectif est d’identifier un élément précis dans une photo, et la mise en correspondance d’images, qui consiste à aligner des photos en trouvant les caractéristiques communes aux images.

Dans cet article, nous allons découvrir SIFT en présentant brièvement ce que c’est, son fonctionnement général et son importance dans l’évolution de la vision par ordinateur. Commençons !

Pourquoi l’algorithme SIFT est essentiel à la vision par ordinateur#

Dans une image, un objet peut apparaître de nombreuses façons différentes. Par exemple, une tasse à café peut être photographiée d’en haut, de côté, en plein soleil ou sous une lampe à lumière chaude. La même tasse peut aussi paraître plus grande lorsqu’elle est proche de l’appareil photo et plus petite lorsqu’elle en est éloignée.

Toutes ces différences rendent complexe l’apprentissage de la reconnaissance d’un objet par un ordinateur. Cette tâche de vision par ordinateur, appelée détection d’objets, exige que les modèles d’IA visuelle identifient et localisent précisément les objets, même lorsque leur taille, leur angle ou leurs conditions d’éclairage changent.

Pour rendre cela possible, la vision par ordinateur s’appuie sur un processus appelé extraction ou détection de caractéristiques. Au lieu d’essayer de comprendre toute l’image d’un seul coup, un modèle recherche des caractéristiques distinctives, comme des coins marqués, des motifs uniques ou des textures qui restent reconnaissables selon les angles, les échelles et les conditions d’éclairage.

C’est précisément ce que la transformation de caractéristiques invariantes à l’échelle, ou SIFT, a été conçue pour faire. SIFT est un algorithme de détection et de description de caractéristiques capable d’identifier de manière fiable des objets dans les images, quelle que soit la façon dont ils sont capturés.

Obtenir l’invariance d’échelle#

L’algorithme SIFT possède plusieurs propriétés importantes qui le rendent utile pour la reconnaissance d’objets. L’une des principales est appelée invariance d’échelle. Cela signifie que SIFT peut reconnaître différentes parties d’un objet, qu’il paraisse grand et proche de l’appareil photo ou petit et éloigné. Même si l’objet n’est pas entièrement visible, l’algorithme peut toujours retrouver les mêmes points clés.

Pour cela, il utilise un concept appelé théorie de l’espace des échelles. En termes simples, l’image est floutée à différents niveaux afin de créer plusieurs versions. SIFT parcourt ensuite ces versions pour trouver les motifs et les détails qui restent identiques, quelle que soit la manière dont la taille ou la netteté de l’image évolue.

Par exemple, un panneau routier photographié à quelques mètres paraîtra beaucoup plus grand que le même panneau pris à distance, mais SIFT peut tout de même détecter les mêmes caractéristiques distinctives. Il devient ainsi possible de mettre correctement les deux images en correspondance, même si le panneau apparaît à des échelles très différentes.

Garantir l’invariance de rotation#

Les objets présents dans les images peuvent également être pivotés, parfois même à l’envers. SIFT gère cela grâce à une propriété appelée invariance de rotation. Pour chaque point clé qu’il détecte, l’algorithme attribue une orientation cohérente fondée sur les gradients locaux de l’image. Ainsi, le même objet peut être reconnu quelle que soit sa rotation.

Tu peux voir cela comme le fait de marquer chaque point clé avec une petite flèche indiquant la direction vers laquelle il est orienté. En alignant les caractéristiques sur ces orientations, SIFT garantit la bonne mise en correspondance des points clés, même lorsque l’objet est pivoté. Par exemple, un monument photographié dans un paysage peut toujours être correctement identifié si une autre photo est prise avec l’appareil incliné.

Résister aux autres variations de l’image#

Au-delà de la taille et de la rotation, les images peuvent aussi changer d’autres façons, notamment en raison de variations d’éclairage. La lumière sur un objet peut passer de vive à faible, l’angle de l’appareil photo peut légèrement changer, ou l’image peut être floue ou bruitée.

SIFT est conçu pour gérer ces types de variations. Pour cela, il se concentre sur des points clés distinctifs et très contrastés, car ces caractéristiques sont moins affectées par les changements d’éclairage ou les petits changements de point de vue. Par conséquent, SIFT est généralement plus fiable que les méthodes simples de détection de contours ou de coins, qui échouent souvent lorsque les conditions changent.

Fig. 1. Points clés SIFT extraits de (a) une image pluvieuse et (b) son image d’entrée nette correspondante. (Source)

Prenons l’exemple d’un tableau dans une galerie. Il peut toujours être reconnu qu’il soit photographié sous une lumière naturelle douce, sous de puissants projecteurs artificiels ou même avec un léger flou de mouvement dû à un appareil tenu à la main. Les points clés restent suffisamment stables pour permettre une mise en correspondance précise malgré ces différences.

Fonctionnement de l’algorithme de transformation de caractéristiques invariantes à l’échelle (SIFT)#

Voyons maintenant comment fonctionne l’algorithme SIFT. Ce processus peut être décomposé en quatre étapes principales : détection des points clés, localisation des points clés, attribution de l’orientation et description des points clés.

Étape 1 : détection des extrêmes dans l’espace des échelles#

La première étape consiste à trouver et détecter les points clés, c’est-à-dire des zones distinctives de l’image, comme des coins ou des variations nettes de texture, qui facilitent le suivi ou la reconnaissance d’un objet.

Pour garantir que ces points clés potentiels puissent être reconnus à n’importe quelle taille, SIFT construit ce que l’on appelle un espace des échelles. Il s’agit d’un ensemble d’images créé en floutant progressivement l’image originale avec un filtre gaussien, une technique de lissage, puis en regroupant les résultats en couches appelées octaves. Chaque octave contient la même image avec des niveaux de flou croissants, tandis que l’octave suivante est une version plus petite de l’image.

En soustrayant une image floutée d’une autre, SIFT calcule la différence de Gaussiennes (DoG), qui met en évidence les zones où la luminosité varie fortement. Ces zones sont sélectionnées comme points clés candidats, car elles restent cohérentes lorsque l’image est agrandie ou réduite.

Fig. 2. La DoG met en évidence les structures clés en soustrayant des images floutées à différents niveaux. (Source)

Étape 2 : localisation des points clés#

Tous les points clés candidats ne sont pas utiles, car certains peuvent être faibles ou instables. Pour les affiner, SIFT utilise une méthode mathématique appelée développement en série de Taylor, qui aide à estimer la position exacte d’un point clé avec une plus grande précision.

Au cours de cette étape, les points peu fiables sont supprimés. Les points clés à faible contraste, qui se fondent dans leur environnement, sont éliminés, tout comme ceux qui se trouvent directement sur des contours, car ils peuvent se déplacer trop facilement. Cette étape de filtrage ne conserve que les points clés les plus stables et distinctifs.

Étape 3 : attribution de l’orientation#

Une fois les points clés stables identifiés, SIFT les rend invariants à la rotation, ce qui signifie qu’ils peuvent toujours être mis en correspondance même si l’image est tournée sur le côté ou à l’envers. Pour cela, SIFT analyse les variations de luminosité autour de chaque point clé, ce que l’on appelle le gradient. Les gradients indiquent à la fois la direction et l’intensité de la variation de l’intensité des pixels et capturent ensemble la structure locale autour du point.

Pour chaque point clé, SIFT examine les gradients dans une région environnante et les regroupe dans un histogramme des orientations. Le pic le plus élevé de cet histogramme indique la direction dominante de variation de l’intensité, qui est ensuite attribuée comme orientation du point clé. Les directions des gradients, qui indiquent où l’intensité varie, et les amplitudes des gradients, qui indiquent la force de cette variation, servent toutes deux à construire cet histogramme.

Si d’autres pics sont presque aussi forts, SIFT attribue plusieurs orientations au même point clé. Cela évite de perdre des caractéristiques importantes lorsque les objets apparaissent sous des angles inhabituels. En alignant chaque point clé sur son orientation, SIFT garantit que les descripteurs générés à l’étape suivante restent cohérents.

Autrement dit, même si deux images du même objet sont pivotées différemment, les points clés alignés sur leur orientation seront toujours correctement mis en correspondance. Cette étape confère à SIFT sa grande capacité à gérer les rotations et le rend bien plus robuste que les méthodes antérieures de détection de caractéristiques.

Fig. 3. Gros plan sur l’étape 3 de l’algorithme SIFT (Source)

Étape 4 : descripteur de point clé#

La dernière étape de SIFT consiste à créer une description de chaque point clé afin qu’il puisse être reconnu dans d’autres images.

SIFT y parvient en examinant une petite zone carrée autour de chaque point clé, d’environ 16 × 16 pixels. Cette zone est d’abord alignée sur l’orientation du point clé afin que la rotation ne l’affecte pas. Elle est ensuite divisée en une grille de 4 × 4 petits carrés.

Dans chaque petit carré, SIFT mesure les variations de luminosité dans différentes directions. Ces variations sont stockées dans ce que l’on appelle un histogramme, semblable à un graphique indiquant les directions les plus fréquentes. Chaque carré possède son propre histogramme et les 16 carrés produisent donc 16 histogrammes.

Enfin, ces histogrammes sont combinés en une seule liste de nombres, au nombre de 128. Cette liste est appelée vecteur de caractéristiques et agit comme une empreinte digitale du point clé. Comme elle capture la texture et la structure uniques autour du point, cette empreinte permet de mettre en correspondance le même point clé entre différentes images, même si celles-ci sont redimensionnées, pivotées ou éclairées différemment.

Fig. 4. Vue d’ensemble du fonctionnement de SIFT (Source)

Principales applications de SIFT en vision par ordinateur#

Maintenant que nous comprenons mieux ce qu’est SIFT et comment il fonctionne, explorons certaines de ses applications concrètes en vision par ordinateur.

Reconnaissance et détection d’objets#

L’une des principales utilisations de SIFT concerne la reconnaissance et la détection d’objets. Il s’agit d’apprendre à un ordinateur à reconnaître et à localiser des objets dans des images, même lorsque ces objets n’ont pas toujours la même apparence. Par exemple, SIFT peut détecter un livre qu’il soit proche de l’appareil photo, plus éloigné ou pivoté selon un angle.

Cela fonctionne parce que SIFT extrait des points clés très distinctifs et stables. Associés aux descripteurs SIFT, ces points clés forment des caractéristiques SIFT qui offrent un moyen fiable de mettre en correspondance le même objet dans différentes images. Ces caractéristiques capturent des détails uniques de l’objet qui restent cohérents, ce qui permet une mise en correspondance fiable entre les images même lorsque la taille, la position ou l’orientation de l’objet change.

Fig. 5. Utilisation de SIFT pour reconnaître une couverture de livre dans une nouvelle image prise sous une orientation différente de l’originale. Image de l’auteur.

Avant que l’apprentissage profond ne devienne populaire, SIFT était l’une des méthodes les plus fiables pour créer des systèmes de reconnaissance d’objets. Il était largement utilisé dans la recherche et les applications nécessitant la mise en correspondance d’objets dans de grands jeux de données d’images, même s’il demandait souvent d’importantes ressources de calcul.

Assemblage d’images et création de panoramas#

SIFT peut également servir à créer des images panoramiques, c’est-à-dire de larges photos obtenues en assemblant plusieurs clichés. Avec SIFT, des points clés distinctifs sont trouvés dans les parties superposées de différentes images, puis mis en correspondance entre eux. Ces correspondances servent de points d’ancrage et indiquent à l’algorithme d’assemblage comment aligner les photos.

Une fois la mise en correspondance terminée, des algorithmes d’assemblage peuvent calculer l’alignement correct, souvent à l’aide de transformations géométriques qui projettent une image sur une autre. Les images sont ensuite fusionnées de manière à faire disparaître les raccords. Le résultat final est un panorama homogène qui ressemble à une seule photo grand angle, bien qu’il ait été créé à partir de plusieurs prises de vue.

Reconstruction 3D et robotique#

Une autre application intéressante de SIFT concerne la reconstruction 3D, dans laquelle plusieurs photos 2D prises sous différents angles sont combinées pour construire un modèle tridimensionnel. SIFT fonctionne en trouvant et en mettant en correspondance les mêmes points dans ces images.

Une fois les correspondances établies, les positions 3D de ces points peuvent être estimées par triangulation, une méthode qui calcule la profondeur à partir de différents points de vue. Ce processus fait partie de la structure obtenue par mouvement (SfM), une technique qui utilise plusieurs images superposées pour estimer la forme 3D d’une scène ainsi que les positions des appareils photo ayant pris les clichés.

Le résultat est généralement un nuage de points 3D, un ensemble de points dans l’espace qui décrit l’objet ou l’environnement. SIFT a été l’un des premiers outils à rendre la structure obtenue par mouvement réellement pratique. Même si les techniques plus récentes sont aujourd’hui plus rapides et plus courantes, SIFT continue d’être utilisé lorsque la précision est plus importante que la vitesse.

SIFT a également été utilisé en robotique, notamment dans le SLAM visuel (localisation et cartographie simultanées). Le SLAM permet à un robot de déterminer où il se trouve tout en construisant simultanément une carte de son environnement.

Les points clés SIFT servent de repères fiables qu’un robot peut reconnaître d’une image à l’autre, même lorsque l’éclairage ou les angles changent. En suivant ces repères, le robot peut estimer sa position et mettre à jour sa carte en temps réel. Bien que des détecteurs de caractéristiques plus rapides soient aujourd’hui plus souvent utilisés en robotique, SIFT a joué un rôle important dans les premiers systèmes SLAM et reste essentiel lorsque la robustesse est plus importante que la vitesse.

Avantages et points à prendre en compte concernant SIFT#

Bien que l’algorithme SIFT ait été largement utilisé en vision par ordinateur et soit réputé fiable, il implique aussi certains compromis. Il est donc important d’évaluer ses avantages et ses inconvénients avant de décider s’il convient à un projet. Passons maintenant en revue ses principales forces et limites.

Principaux avantages de SIFT#

Voici quelques avantages de l’utilisation de l’algorithme SIFT :

• Invariance d’échelle et de rotation : SIFT fournit des points clés invariants à l’échelle qui restent relativement stables lorsque les objets apparaissent à des tailles ou orientations différentes, ce qui représente une avancée importante par rapport aux premiers détecteurs de caractéristiques.
• Robustesse modérée aux changements d’éclairage et de point de vue : SIFT peut gérer les changements de luminosité, de contraste ou les légères variations du point de vue, même s’il est moins fiable dans des conditions plus extrêmes.
• Capacité à fonctionner dans des scènes encombrées ou partiellement masquées : Comme SIFT détecte de nombreux points clés locaux, il peut souvent encore identifier un objet même si une partie est recouverte ou si l’arrière-plan est complexe.

Considérations relatives aux performances et alternatives#

Voici quelques inconvénients de l’utilisation de l’algorithme SIFT :

• Coût de calcul élevé : Le processus en plusieurs étapes et les descripteurs détaillés de SIFT le rendent plus lent et plus gourmand en ressources que les détecteurs de caractéristiques modernes. Pour améliorer ce point, les chercheurs ont développé l’algorithme SURF (caractéristiques robustes accélérées), qui utilise des calculs plus rapides pour trouver et décrire les caractéristiques. SURF est moins précis que SIFT dans certains cas, mais son exécution est beaucoup plus rapide, ce qui le rend plus pratique pour les tâches sensibles au temps.
• Peu adapté à l’utilisation en temps réel : En raison de son coût de calcul, SIFT montre ses limites dans les applications où la vitesse est essentielle, comme le suivi en temps réel ou la robotique mobile.
• Polyvalence limitée : Bien qu’il soit robuste dans de nombreux cas, SIFT est moins efficace face aux changements extrêmes d’éclairage, aux importantes variations du point de vue ou aux scènes très dynamiques, où les algorithmes plus récents ou les méthodes d’apprentissage automatique sont plus performants.

En examinant les avantages et les inconvénients de SIFT, tu peux constater que bon nombre de ses limites ont ouvert la voie à des techniques plus avancées. Plus précisément, les réseaux neuronaux convolutifs (CNN) se sont imposés comme une alternative puissante.

Un CNN est un type de modèle d’apprentissage profond inspiré du fonctionnement du système visuel humain. Il traite une image par couches, en commençant par des motifs simples comme les contours et les textures, puis en construisant progressivement des formes et des objets plus complexes. Contrairement aux règles de caractéristiques conçues manuellement de SIFT, les CNN apprennent directement leurs représentations de caractéristiques à partir des données.

Cet apprentissage fondé sur les données permet aux CNN de surpasser SIFT dans les tâches de mise en correspondance de descripteurs et de classification. Les CNN sont également plus expressifs et plus robustes, et s’adaptent mieux à la variabilité et à la complexité des données visuelles.

Par exemple, les modèles fondés sur les CNN ont obtenu des résultats remarquables sur ImageNet, un vaste jeu de données de référence contenant des millions d’images annotées réparties dans des milliers de catégories. Conçu pour évaluer la capacité des algorithmes à reconnaître et à classer des objets, ImageNet met en évidence l’écart entre les anciennes méthodes fondées sur les caractéristiques et l’apprentissage profond.

Les CNN ont rapidement dépassé SIFT en apprenant des représentations bien plus riches et flexibles, ce qui leur permet de reconnaître des objets sous un éclairage variable, depuis différents points de vue et même lorsqu’ils sont partiellement masqués, des situations dans lesquelles SIFT rencontre souvent des difficultés.

Points clés à retenir#

L’algorithme de transformation de caractéristiques invariantes à l’échelle occupe une place importante dans l’histoire de la vision par ordinateur. Il a fourni un moyen fiable de détecter des caractéristiques même dans des environnements changeants et a influencé nombre des méthodes utilisées aujourd’hui.

Même si les techniques plus récentes sont plus rapides et plus efficaces, SIFT a posé leurs fondations. SIFT montre les origines des progrès actuels en vision par ordinateur et souligne le chemin parcouru par les systèmes d’IA de pointe.

Rejoins notre communauté internationale et consulte notre dépôt GitHub pour en savoir plus sur la vision par ordinateur. Explore nos pages de solutions pour découvrir des innovations comme l’IA dans l’agriculture et la vision par ordinateur dans le commerce de détail. Consulte nos options de licence et commence à créer ton propre modèle de vision par ordinateur.