Cos'è lo Scale-Invariant Feature Transform (SIFT)?

Per una panoramica visiva dei concetti trattati in questo articolo, guarda il video qui sotto.

Oggi, molti dei dispositivi intelligenti che usiamo, dai telefoni alle fotocamere fino ai sistemi di domotica, sono dotati di soluzioni AI in grado di riconoscere volti, oggetti e persino intere scene visive. Questa capacità deriva dalla computer vision, un campo dell'intelligenza artificiale che consente alle macchine di comprendere e interpretare immagini e video.

Ad esempio, se scatti una foto alla Torre Eiffel da qualsiasi angolazione o distanza, il tuo dispositivo è solitamente in grado di riconoscerla tramite la computer vision e di organizzarla nella cartella corretta della tua galleria. Sebbene sembri semplice, il riconoscimento degli oggetti non lo è sempre. Le immagini possono apparire molto diverse a seconda delle dimensioni, dell'angolazione, della scala o dell'illuminazione, il che rende difficile per le macchine identificarle in modo coerente.

Per aiutare a risolvere questo problema, i ricercatori hanno sviluppato un algoritmo di computer vision chiamato Scale Invariant Feature Transform, o SIFT. Questo algoritmo rende possibile rilevare oggetti in condizioni di visione differenti. Creato da David Lowe nel 1999, SIFT è stato progettato per trovare e descrivere keypoint unici in un'immagine, come angoli, bordi o pattern che rimangono riconoscibili anche quando l'immagine viene ridimensionata, ruotata o illuminata in modo diverso.

Prima che i modelli di computer vision basati sul deep learning, come Ultralytics YOLO11, diventassero popolari, SIFT era una tecnica ampiamente utilizzata nella computer vision. Era un approccio standard per compiti come il riconoscimento di oggetti, dove l'obiettivo è identificare un elemento specifico in una foto, e l'image matching, dove le foto vengono allineate trovando caratteristiche d'immagine sovrapposte.

In questo articolo esploreremo SIFT con una rapida panoramica su cosa sia, come funzioni a grandi linee e perché sia importante nell'evoluzione della computer vision. Iniziamo!

Link to this sectionPerché l'algoritmo SIFT è essenziale per la computer vision#

In un'immagine, un oggetto può apparire in molti modi diversi. Ad esempio, una tazza da caffè potrebbe essere fotografata dall'alto, di lato, sotto una luce intensa o sotto una lampada calda. La stessa tazza può anche sembrare più grande quando è vicina alla fotocamera e più piccola quando è più lontana.

Tutte queste differenze rendono l'insegnamento a un computer per riconoscere un oggetto un compito complesso. Questo compito di computer vision, noto come object detection, richiede che i modelli di Vision AI identifichino e localizzino gli oggetti con precisione, anche quando le loro dimensioni, l'angolazione o le condizioni di illuminazione cambiano.

Per rendere ciò possibile, la computer vision si affida a un processo chiamato feature extraction o rilevamento. Invece di cercare di comprendere l'intera immagine in una volta sola, un modello cerca caratteristiche distintive dell'immagine come angoli netti, pattern unici o texture che rimangono riconoscibili attraverso angolazioni, scale e condizioni di illuminazione.

In particolare, è proprio questo ciò che la Scale Invariant Feature Transform, o SIFT, è stata progettata per fare. SIFT è un algoritmo di rilevamento e descrizione delle caratteristiche che può identificare in modo affidabile gli oggetti nelle immagini, indipendentemente da come vengono catturati.

Link to this sectionOttenere l'invarianza di scala#

L'algoritmo SIFT possiede alcune proprietà importanti che lo rendono utile per il riconoscimento degli oggetti. Una delle proprietà chiave è chiamata invarianza di scala. Ciò significa che SIFT può riconoscere varie parti di un oggetto, sia che appaia grande e vicino alla fotocamera, sia piccolo e lontano. Anche se l'oggetto non è completamente visibile, l'algoritmo può comunque individuare gli stessi keypoint.

Ci riesce utilizzando un concetto chiamato scale-space theory. In parole povere, l'immagine viene sfocata a diversi livelli per crearne versioni multiple. SIFT quindi analizza queste versioni per trovare pattern e dettagli che rimangono invariati, indipendentemente da come l'immagine cambi in termini di dimensioni o nitidezza.

Ad esempio, un segnale stradale fotografato da pochi metri di distanza sembrerà molto più grande dello stesso segnale catturato a distanza, ma SIFT può comunque rilevare le stesse caratteristiche distintive. Ciò rende possibile abbinare correttamente le due immagini, anche se il segnale appare a scale molto diverse.

Link to this sectionGarantire l'invarianza alla rotazione#

Gli oggetti nelle immagini possono anche apparire ruotati, a volte persino capovolti. SIFT gestisce questo aspetto attraverso una proprietà chiamata invarianza alla rotazione. Per ogni keypoint che rileva, l'algoritmo assegna un orientamento coerente basato sui gradienti locali dell'immagine. In questo modo, lo stesso oggetto può essere riconosciuto indipendentemente da come viene ruotato.

Puoi immaginarlo come se segnassi ogni keypoint con una piccola freccia che indica la direzione in cui è rivolto. Allineando le caratteristiche a questi orientamenti, SIFT assicura che i keypoint corrispondano correttamente anche quando l'oggetto è ruotato. Ad esempio, un punto di riferimento catturato in una foto paesaggistica può ancora essere identificato correttamente anche se un'altra foto dello stesso viene scattata con la fotocamera inclinata ad angolo.

Link to this sectionResilienza ad altre variazioni dell'immagine#

Oltre alle dimensioni e alla rotazione, le immagini possono cambiare anche in altri modi, come le variazioni di illuminazione. L'illuminazione su un oggetto potrebbe passare da luminosa a tenue, l'angolazione della fotocamera potrebbe spostarsi leggermente o l'immagine potrebbe risultare sfocata o rumorosa.

SIFT è costruito per gestire questi tipi di variazioni. Lo fa concentrandosi su keypoint che sono distintivi e ad alto contrasto, poiché queste caratteristiche sono meno influenzate dai cambiamenti di illuminazione o da piccoli spostamenti nel punto di vista. Di conseguenza, SIFT tende a essere più affidabile rispetto ai semplici metodi di rilevamento di bordi o angoli, che spesso falliscono quando le condizioni cambiano.

Fig 1. Keypoint SIFT estratti da (a) un'immagine piovosa e (b) la sua corrispondente immagine pulita di input. (Fonte)

Considera un dipinto in una galleria. Può ancora essere riconosciuto sia che venga fotografato sotto una luce diurna soffusa, sotto faretti artificiali luminosi, o persino con una leggera sfocatura da movimento dovuta a una fotocamera tenuta in mano. I keypoint rimangono abbastanza stabili per un abbinamento accurato nonostante queste differenze.

Link to this sectionCome funziona l'algoritmo Scale-Invariant Feature Transform (SIFT)#

Successivamente, diamo un'occhiata a come funziona l'algoritmo SIFT. Questo processo può essere suddiviso in quattro passaggi principali: rilevamento dei keypoint, localizzazione dei keypoint, assegnazione dell'orientamento e descrizione dei keypoint.

Link to this sectionPassaggio 1: Rilevamento degli estremi nello spazio di scala#

Il primo passaggio consiste nel trovare e rilevare i keypoint, ovvero punti distintivi nell'immagine, come angoli o cambiamenti netti nella texture, che aiutano a tracciare o riconoscere un oggetto.

Per assicurarsi che questi potenziali keypoint possano essere riconosciuti a qualsiasi dimensione, SIFT costruisce quello che viene chiamato spazio di scala. Si tratta di una collezione di immagini create sfocando gradualmente l'immagine originale con un filtro Gaussiano, che è una tecnica di smoothing, e raggruppando i risultati in strati chiamati ottave. Ogni ottava contiene la stessa immagine a livelli crescenti di sfocatura, mentre l'ottava successiva è una versione più piccola dell'immagine.

Sottraendo un'immagine sfocata da un'altra, SIFT calcola la Difference of Gaussians (DoG), che evidenzia le aree in cui la luminosità cambia bruscamente. Queste aree vengono scelte come potenziali keypoint perché rimangono coerenti quando l'immagine viene ingrandita o rimpicciolita.

Fig 2. La DoG evidenzia strutture chiave sottraendo immagini sfocate a diversi livelli. (Fonte)

Link to this sectionPassaggio 2: Localizzazione dei keypoint#

Non tutti i potenziali keypoint sono utili perché alcuni potrebbero essere deboli o instabili. Per raffinarli, SIFT utilizza un metodo matematico chiamato espansione in serie di Taylor, che aiuta a stimare la posizione esatta di un keypoint con maggiore precisione.

Durante questo passaggio, i punti inaffidabili vengono rimossi. I keypoint con basso contrasto, che si confondono con l'ambiente circostante, vengono scartati, così come quelli che giacciono direttamente sui bordi, poiché possono spostarsi troppo facilmente. Questo passaggio di filtraggio lascia solo i keypoint più stabili e distintivi.

Link to this sectionPassaggio 3: Assegnazione dell'orientamento#

Una volta identificati i keypoint stabili, SIFT li rende invarianti alla rotazione, il che significa che possono ancora essere abbinati anche se l'immagine viene ruotata di lato o capovolta. Per fare ciò, SIFT analizza come cambia la luminosità attorno a ciascun keypoint, operazione nota come gradiente. I gradienti mostrano sia la direzione che l'intensità del cambiamento nell'intensità dei pixel, e insieme catturano la struttura locale attorno al punto.

Per ogni keypoint, SIFT considera i gradienti all'interno di una regione circostante e li raggruppa in un istogramma degli orientamenti. Il picco più alto in questo istogramma indica la direzione dominante del cambiamento di intensità, che viene poi assegnata come orientamento del keypoint. Sia le direzioni del gradiente, che mostrano dove sta cambiando l'intensità, sia le grandezze del gradiente, che indicano quanto è forte quel cambiamento, vengono utilizzate per costruire questo istogramma.

Se ci sono altri picchi quasi altrettanto forti, SIFT assegna più orientamenti allo stesso keypoint. Ciò impedisce che caratteristiche importanti vadano perse quando gli oggetti appaiono ad angolazioni insolite. Allineando ogni keypoint con il suo orientamento, SIFT assicura che i descrittori generati nel passaggio successivo rimangano coerenti.

In altre parole, anche se due immagini dello stesso oggetto sono ruotate in modo diverso, i keypoint allineati per orientamento corrisponderanno comunque correttamente. Questo passaggio è ciò che conferisce a SIFT la sua forte capacità di gestire la rotazione e lo rende molto più robusto rispetto ai precedenti metodi di rilevamento delle caratteristiche.

Fig 3. Uno sguardo più da vicino al passaggio 3 dell'algoritmo SIFT (Fonte)

Link to this sectionPassaggio 4: Descrittore dei keypoint#

L'ultimo passaggio in SIFT consiste nel creare una descrizione di ogni keypoint in modo che possa essere riconosciuto in altre immagini.

SIFT raggiunge questo obiettivo esaminando una piccola patch quadrata attorno a ogni keypoint, di circa 16 per 16 pixel. Questa patch viene prima allineata all'orientamento del keypoint in modo che la rotazione non la influenzi. La patch viene poi suddivisa in una griglia di 4 per 4 quadratini più piccoli.

In ogni quadratino, SIFT misura come cambia la luminosità in diverse direzioni. Questi cambiamenti sono memorizzati in quello che viene chiamato istogramma, che è come un grafico che mostra quali direzioni sono più comuni. Ogni quadrato ottiene il proprio istogramma e, insieme, i 16 quadrati producono 16 istogrammi.

Infine, questi istogrammi vengono combinati in un'unica lista di numeri, 128 in totale. Questa lista è chiamata vettore di caratteristiche e funge da impronta digitale per il keypoint. Poiché cattura la texture e la struttura uniche attorno al punto, questa impronta digitale rende possibile abbinare lo stesso keypoint tra immagini diverse, anche se sono ridimensionate, ruotate o illuminate in modo diverso.

Fig 4. Una panoramica di come funziona SIFT (Fonte)

Link to this sectionApplicazioni chiave di SIFT nella computer vision#

Ora che abbiamo una migliore comprensione di cosa sia SIFT e di come funzioni, esploriamo alcune delle sue applicazioni nel mondo reale nella computer vision.

Link to this sectionRiconoscimento e rilevamento di oggetti#

Uno dei principali utilizzi di SIFT è nel riconoscimento e rilevamento di oggetti. Ciò implica insegnare a un computer a riconoscere e localizzare oggetti nelle immagini, anche quando gli oggetti non appaiono sempre uguali. Ad esempio, SIFT può rilevare un libro indipendentemente dal fatto che sia vicino alla fotocamera, più lontano o ruotato ad angolo.

Il motivo per cui questo funziona è che SIFT estrae keypoint altamente distintivi e stabili. Quando questi keypoint vengono abbinati ai descrittori SIFT, formano le caratteristiche SIFT, che forniscono un modo affidabile per abbinare lo stesso oggetto tra immagini diverse. Queste caratteristiche catturano dettagli unici dell'oggetto che rimangono coerenti, consentendo un abbinamento affidabile delle caratteristiche tra le immagini anche quando le dimensioni, la posizione o l'orientamento dell'oggetto cambiano.

Fig 5. Utilizzo di SIFT per riconoscere la copertina di un libro in una nuova immagine scattata con un orientamento diverso rispetto all'originale. Immagine dell'autore.

Prima che il deep learning diventasse popolare, SIFT era uno dei metodi più affidabili per costruire sistemi di riconoscimento oggetti. Era ampiamente utilizzato nella ricerca e in applicazioni che richiedevano l'abbinamento di oggetti su grandi dataset di immagini, anche se spesso richiedeva risorse computazionali significative.

Link to this sectionStitching di immagini e creazione di panorami#

SIFT può anche essere utilizzato per creare immagini panoramiche, che sono foto ampie realizzate unendo diverse immagini. Usando SIFT, keypoint distintivi vengono trovati nelle parti sovrapposte di diverse immagini e quindi abbinati tra loro. Questi abbinamenti fungono da ancora, guidando il processo di stitching su come le foto dovrebbero essere allineate.

Una volta completato l'abbinamento, è possibile utilizzare algoritmi di stitching per calcolare l'allineamento corretto, spesso utilizzando trasformazioni geometriche che mappano un'immagine sull'altra. Le immagini vengono quindi fuse in modo che le giunzioni scompaiano. Il risultato finale è un panorama senza interruzioni che appare come un'unica foto ampia, anche se è stata creata da scatti multipli.

Link to this sectionRicostruzione 3D e robotica#

Un'altra applicazione interessante di SIFT è nella ricostruzione 3D, dove diverse foto 2D scattate da angolazioni differenti vengono combinate per costruire un modello tridimensionale. SIFT funziona trovando e abbinando gli stessi punti tra queste immagini.

Una volta effettuati gli abbinamenti, le posizioni 3D di quei punti possono essere stimate usando la triangolazione, un metodo che calcola la profondità da diversi punti di vista. Questo processo fa parte dello Structure from Motion (SfM), una tecnica che utilizza immagini sovrapposte multiple per stimare la forma 3D di una scena insieme alle posizioni delle fotocamere che hanno scattato le foto.

Il risultato è solitamente una nuvola di punti 3D, una collezione di punti nello spazio che delinea l'oggetto o l'ambiente. SIFT è stato uno dei primi strumenti a rendere pratica la Structure-from-Motion. Sebbene tecniche più recenti siano oggi più veloci e comuni, SIFT continua a essere applicato quando la precisione è più importante della velocità.

SIFT è stato utilizzato anche nella robotica, in particolare nel visual SLAM (Simultaneous Localization and Mapping). Lo SLAM consente a un robot di capire dove si trova mentre costruisce contemporaneamente una mappa dei suoi dintorni.

I keypoint SIFT agiscono come punti di riferimento affidabili che un robot può riconoscere tra i frame, anche quando l'illuminazione o le angolazioni cambiano. Tracciando questi punti di riferimento, il robot può stimare la propria posizione e aggiornare la sua mappa al volo. Sebbene oggi nella robotica vengano utilizzati più spesso rilevatori di caratteristiche più veloci, SIFT ha giocato un ruolo importante nei primi sistemi SLAM ed è ancora fondamentale nei casi in cui la robustezza è più critica della velocità.

Link to this sectionVantaggi e considerazioni su SIFT#

Sebbene l'algoritmo SIFT sia stato ampiamente utilizzato nella computer vision e sia noto per essere un metodo affidabile, comporta anche alcuni compromessi. Ecco perché è importante valutare i pro e i contro prima di decidere se sia la soluzione giusta per un progetto. Successivamente, esaminiamo i suoi principali punti di forza e limiti.

Link to this sectionVantaggi principali di SIFT#

Ecco alcuni dei vantaggi dell'utilizzo dell'algoritmo SIFT:

• Invarianza di scala e rotazione: SIFT fornisce keypoint invarianti alla scala che rimangono relativamente stabili quando gli oggetti appaiono a dimensioni o orientamenti diversi, il che rappresenta un passo avanti significativo rispetto ai rilevatori di caratteristiche precedenti.
• Moderata robustezza ai cambiamenti di illuminazione e punto di vista: SIFT può gestire cambiamenti di luminosità, contrasto o piccoli spostamenti nel punto di vista, sebbene sia meno affidabile in condizioni più estreme.
• Capacità di lavorare in scene ingombre o parzialmente nascoste: Poiché SIFT rileva molti keypoint locali, spesso può ancora identificare un oggetto anche se una parte di esso è coperta o lo sfondo è complesso.

Link to this sectionConsiderazioni sulle prestazioni e alternative#

Ecco alcuni dei contro dell'utilizzo dell'algoritmo SIFT:

• Computazionalmente costoso: Il processo multi-passaggio e i descrittori dettagliati di SIFT lo rendono più lento e più pesante in termini di risorse rispetto ai moderni rilevatori di caratteristiche. Per migliorare questo aspetto, i ricercatori hanno sviluppato l'algoritmo SURF (Speeded-Up Robust Features), che utilizza calcoli più rapidi per trovare e descrivere le caratteristiche. SURF è meno preciso di SIFT in alcuni casi, ma viene eseguito molto più velocemente, rendendolo più pratico per attività sensibili al tempo.
• Non ideale per l'uso in tempo reale: A causa del suo costo computazionale, SIFT fatica in applicazioni in cui la velocità è critica, come il tracking in tempo reale o la robotica mobile.
• Versatilità limitata: Sebbene robusto in molti casi, SIFT è meno efficace in caso di cambiamenti di illuminazione estremi, grandi spostamenti del punto di vista o scene altamente dinamiche, dove algoritmi più recenti o metodi di machine learning offrono prestazioni migliori.

Esplorando i pro e i contro di SIFT, potresti notare che molte delle sue limitazioni hanno aperto la strada a tecniche più avanzate. Nello specifico, le reti neurali convoluzionali (CNN) sono emerse come una potente alternativa.

Una CNN è un tipo di modello di deep learning ispirato al funzionamento del sistema visivo umano. Elabora un'immagine in strati, partendo da pattern semplici come bordi e texture, per arrivare gradualmente a forme e oggetti più complessi. A differenza delle regole di caratteristica artigianali di SIFT, le CNN apprendono le rappresentazioni delle caratteristiche direttamente dai dati.

Questo apprendimento basato sui dati significa che le CNN possono superare SIFT nelle attività di abbinamento dei descrittori e classificazione. Le CNN sono anche più espressive e robuste, adattandosi meglio alla variabilità e alla complessità dei dati visivi.

Ad esempio, i modelli basati su CNN hanno ottenuto risultati rivoluzionari su ImageNet, un massiccio dataset di riferimento contenente milioni di immagini etichettate in migliaia di categorie. Progettato per testare quanto bene gli algoritmi possano riconoscere e classificare gli oggetti, ImageNet è in grado di evidenziare il divario tra i vecchi metodi basati sulle caratteristiche e il deep learning.

Le CNN hanno rapidamente superato SIFT imparando rappresentazioni molto più ricche e flessibili, consentendo loro di riconoscere oggetti in condizioni di illuminazione mutevoli, da punti di vista differenti e anche quando parzialmente nascosti, scenari in cui SIFT spesso fatica.

Link to this sectionPunti chiave#

L'algoritmo Scale Invariant Feature Transform occupa un posto importante nella storia della computer vision. Ha fornito un modo affidabile per rilevare caratteristiche anche in ambienti mutevoli e ha influenzato molti dei metodi utilizzati oggi.

Sebbene le tecniche più recenti siano più veloci ed efficienti, SIFT ha gettato le basi per esse. SIFT mostra da dove è iniziato il progresso odierno nella computer vision ed evidenzia quanto siano avanzati i sistemi AI all'avanguardia.

Unisciti alla nostra community globale e consulta il nostro repository GitHub per saperne di più sulla computer vision. Esplora le nostre pagine delle soluzioni per scoprire innovazioni come l'AI nell'agricoltura e la computer vision nel retail. Controlla le nostre opzioni di licenza e inizia a costruire il tuo modello di computer vision.