Cos'è la trasformata delle caratteristiche invarianti alla scala (SIFT)?

Per una panoramica visiva dei concetti trattati in questo articolo, guarda il video qui sotto.

Oggi molti dei dispositivi intelligenti che usiamo, dagli smartphone alle fotocamere e ai sistemi per la casa intelligente, includono soluzioni di IA in grado di riconoscere volti, oggetti e persino intere scene visive. Questa funzionalità deriva dalla visione artificiale, un campo dell'intelligenza artificiale che consente alle macchine di comprendere e interpretare immagini e video.

Per esempio, se scatti una foto della Torre Eiffel da qualsiasi angolazione o distanza, il tuo dispositivo in genere riesce comunque a riconoscerla usando la visione artificiale e a organizzarla nella cartella corretta della galleria. Anche se sembra semplice, riconoscere gli oggetti non è sempre facile. Le immagini possono apparire molto diverse a seconda delle dimensioni, dell'angolazione, della scala o dell'illuminazione, rendendo difficile per le macchine identificarle in modo coerente.

Per contribuire a risolvere questo problema, i ricercatori hanno sviluppato un algoritmo di visione artificiale chiamato trasformata delle caratteristiche invarianti alla scala, o SIFT. Questo algoritmo consente di rilevare gli oggetti in condizioni di visualizzazione diverse. Creato da David Lowe nel 1999, SIFT è stato progettato per individuare e descrivere keypoint univoci in un'immagine, come angoli, bordi o motivi che rimangono riconoscibili anche quando l'immagine viene ridimensionata, ruotata o illuminata diversamente.

Prima che i modelli di visione artificiale basati sul deep learning, come Ultralytics YOLO11, diventassero popolari, SIFT era una tecnica ampiamente utilizzata nella visione artificiale. Era un approccio standard per attività come il riconoscimento degli oggetti, in cui l'obiettivo è identificare un elemento specifico in una foto, e il matching delle immagini, in cui le foto vengono allineate individuando caratteristiche sovrapposte.

In questo articolo analizzeremo SIFT con una breve panoramica di cos'è, di come funziona a grandi linee e del motivo per cui è importante nell'evoluzione della visione artificiale. Iniziamo!

Perché l'algoritmo SIFT è essenziale per la visione artificiale#

In un'immagine, un oggetto può apparire in molti modi diversi. Per esempio, una tazza da caffè può essere fotografata dall'alto, di lato, alla luce intensa del sole o sotto una lampada dalla luce calda. La stessa tazza può anche apparire più grande quando è vicina alla fotocamera e più piccola quando è lontana.

Tutte queste differenze rendono complesso insegnare a un computer a riconoscere un oggetto. Questa attività di visione artificiale, nota come rilevamento degli oggetti, richiede che i modelli di Vision AI identifichino e localizzino gli oggetti con precisione, anche quando cambiano le loro dimensioni, l'angolazione o le condizioni di illuminazione.

Per rendere possibile tutto questo, la visione artificiale si basa su un processo chiamato estrazione o rilevamento delle caratteristiche. Invece di cercare di comprendere l'intera immagine in una volta, un modello cerca caratteristiche distintive dell'immagine, come angoli netti, motivi unici o texture che rimangono riconoscibili attraverso angolazioni, scale e condizioni di illuminazione diverse.

In particolare, è proprio questo lo scopo per cui è stata progettata la trasformata delle caratteristiche invarianti alla scala, o SIFT. SIFT è un algoritmo di rilevamento e descrizione delle caratteristiche in grado di identificare in modo affidabile gli oggetti nelle immagini, indipendentemente da come vengono acquisite.

Ottenere l'invarianza alla scala#

L'algoritmo SIFT ha alcune proprietà importanti che lo rendono utile per il riconoscimento degli oggetti. Una delle principali è chiamata invarianza alla scala. Ciò significa che SIFT può riconoscere varie parti di un oggetto, sia quando appare grande e vicino alla fotocamera, sia quando appare piccolo e lontano. Anche se l'oggetto non è completamente visibile, l'algoritmo può comunque individuare gli stessi keypoint.

Lo fa usando un concetto chiamato teoria dello spazio delle scale. In parole semplici, l'immagine viene sfocata a diversi livelli per creare più versioni. SIFT esamina poi queste versioni per trovare motivi e dettagli che rimangono uguali, indipendentemente da come cambiano le dimensioni o la nitidezza dell'immagine.

Per esempio, un segnale stradale fotografato a pochi metri di distanza apparirà molto più grande dello stesso segnale ripreso da lontano, ma SIFT può comunque rilevare le stesse caratteristiche distintive. Questo consente di eseguire correttamente il matching delle due immagini, anche se il segnale appare a scale molto diverse.

Garantire l'invarianza alla rotazione#

Gli oggetti nelle immagini possono apparire anche ruotati, talvolta persino capovolti. SIFT gestisce questo caso attraverso una proprietà chiamata invarianza alla rotazione. Per ogni keypoint rilevato, l'algoritmo assegna un orientamento coerente basato sui gradienti locali dell'immagine. In questo modo, lo stesso oggetto può essere riconosciuto indipendentemente da come viene ruotato.

Puoi immaginarlo come se ogni keypoint fosse contrassegnato da una piccola freccia che indica la direzione verso cui è rivolto. Allineando le caratteristiche a questi orientamenti, SIFT garantisce che i keypoint corrispondano correttamente anche quando l'oggetto è ruotato. Per esempio, un punto di riferimento catturato in una foto paesaggistica può essere identificato correttamente anche se un'altra sua foto viene scattata con la fotocamera inclinata.

Resistenza ad altre variazioni dell'immagine#

Oltre alle dimensioni e alla rotazione, le immagini possono cambiare anche in altri modi, per esempio a causa delle variazioni di illuminazione. La luce su un oggetto può passare da intensa a fioca, l'angolazione della fotocamera può cambiare leggermente oppure l'immagine può risultare sfocata o rumorosa.

SIFT è progettato per gestire questo tipo di variazioni. Lo fa concentrandosi su keypoint distintivi e ad alto contrasto, poiché queste caratteristiche sono meno influenzate dai cambiamenti di illuminazione o da piccoli spostamenti del punto di vista. Di conseguenza, SIFT tende a essere più affidabile dei semplici metodi di rilevamento dei bordi o degli angoli, che spesso falliscono quando cambiano le condizioni.

Fig. 1. Keypoint SIFT estratti da (a) un'immagine piovosa e (b) dalla relativa immagine di input nitida. (Fonte)

Pensa a un dipinto in una galleria. Può essere riconosciuto anche se viene fotografato alla luce naturale soffusa, sotto faretti artificiali intensi o persino con una lieve sfocatura da movimento causata da una fotocamera tenuta in mano. Nonostante queste differenze, i keypoint rimangono abbastanza stabili da consentire un matching accurato.

Come funziona l'algoritmo della trasformata delle caratteristiche invarianti alla scala (SIFT)#

Ora vediamo come funziona l'algoritmo SIFT. Il processo può essere suddiviso in quattro fasi principali: rilevamento dei keypoint, localizzazione dei keypoint, assegnazione dell'orientamento e descrizione dei keypoint.

Passaggio 1: rilevamento degli estremi nello spazio delle scale#

Il primo passaggio consiste nel trovare e rilevare i keypoint, ovvero punti distintivi dell'immagine, come angoli o variazioni nette della texture, che aiutano a seguire o riconoscere un oggetto.

Per assicurarsi che questi potenziali keypoint possano essere riconosciuti a qualsiasi dimensione, SIFT costruisce quello che viene chiamato spazio delle scale. Si tratta di una raccolta di immagini create sfocando gradualmente l'immagine originale con un filtro gaussiano, una tecnica di smoothing, e raggruppando i risultati in livelli chiamati ottave. Ogni ottava contiene la stessa immagine con livelli crescenti di sfocatura, mentre l'ottava successiva è una versione più piccola dell'immagine.

Sottraendo un'immagine sfocata da un'altra, SIFT calcola la differenza di gaussiane (DoG), che evidenzia le aree in cui la luminosità cambia bruscamente. Queste aree vengono selezionate come keypoint candidati perché rimangono coerenti quando l'immagine viene ingrandita o ridotta.

Fig. 2. DoG evidenzia le strutture principali sottraendo immagini sfocate a livelli diversi. (Fonte)

Passaggio 2: localizzazione dei keypoint#

Non tutti i keypoint candidati sono utili, perché alcuni possono essere deboli o instabili. Per perfezionarli, SIFT usa un metodo matematico chiamato sviluppo in serie di Taylor, che aiuta a stimare con maggiore precisione la posizione esatta di un keypoint.

Durante questo passaggio, i punti inaffidabili vengono rimossi. I keypoint a basso contrasto, che si confondono con l'ambiente circostante, vengono scartati, così come quelli che si trovano direttamente sui bordi, poiché possono spostarsi troppo facilmente. Questo filtraggio lascia solo i keypoint più stabili e distintivi.

Passaggio 3: assegnazione dell'orientamento#

Una volta identificati i keypoint stabili, SIFT li rende invarianti alla rotazione, il che significa che possono essere associati anche se l'immagine viene ruotata lateralmente o capovolta. A questo scopo, SIFT analizza come cambia la luminosità intorno a ciascun keypoint, un fenomeno noto come gradiente. I gradienti mostrano sia la direzione sia l'intensità della variazione dell'intensità dei pixel e, insieme, descrivono la struttura locale intorno al punto.

Per ogni keypoint, SIFT considera i gradienti all'interno di una regione circostante e li raggruppa in un istogramma degli orientamenti. Il picco più alto di questo istogramma indica la direzione dominante della variazione di intensità, che viene quindi assegnata come orientamento del keypoint. Per costruire questo istogramma vengono usate sia le direzioni dei gradienti, che mostrano dove cambia l'intensità, sia le magnitudini dei gradienti, che indicano l'entità di tale variazione.

Se sono presenti altri picchi quasi altrettanto forti, SIFT assegna più orientamenti allo stesso keypoint. Questo impedisce che caratteristiche importanti vadano perse quando gli oggetti appaiono da angolazioni insolite. Allineando ogni keypoint al relativo orientamento, SIFT garantisce che i descrittori generati nel passaggio successivo rimangano coerenti.

In altre parole, anche se due immagini dello stesso oggetto sono ruotate in modo diverso, i keypoint allineati all'orientamento corrisponderanno comunque correttamente. È questo passaggio a conferire a SIFT la sua notevole capacità di gestire la rotazione, rendendolo molto più robusto dei precedenti metodi di rilevamento delle caratteristiche.

Fig. 3. Uno sguardo più ravvicinato al passaggio 3 dell'algoritmo SIFT (Fonte)

Passaggio 4: descrittore dei keypoint#

L'ultimo passaggio di SIFT consiste nel creare una descrizione di ogni keypoint, in modo che possa essere riconosciuto in altre immagini.

SIFT raggiunge questo obiettivo analizzando una piccola regione quadrata intorno a ciascun keypoint, di circa 16 per 16 pixel. Questa regione viene prima allineata all'orientamento del keypoint, così la rotazione non la influenza. Viene poi suddivisa in una griglia di 4 per 4 quadrati più piccoli.

In ogni quadrato piccolo, SIFT misura come cambia la luminosità in direzioni diverse. Queste variazioni vengono memorizzate in qualcosa chiamato istogramma, simile a un grafico che mostra quali direzioni sono più comuni. Ogni quadrato riceve il proprio istogramma e, insieme, i 16 quadrati producono 16 istogrammi.

Infine, questi istogrammi vengono combinati in un unico elenco di numeri, 128 in totale. Questo elenco è chiamato vettore delle caratteristiche e funziona come un'impronta digitale del keypoint. Poiché cattura la texture e la struttura uniche intorno al punto, questa impronta consente di associare lo stesso keypoint tra immagini diverse, anche se vengono ridimensionate, ruotate o illuminate diversamente.

Fig. 4. Una panoramica del funzionamento di SIFT (Fonte)

Principali applicazioni di SIFT nella visione artificiale#

Ora che abbiamo compreso meglio cos'è SIFT e come funziona, esploriamo alcune delle sue applicazioni reali nella visione artificiale.

Riconoscimento e rilevamento degli oggetti#

Uno dei principali impieghi di SIFT è il riconoscimento e il rilevamento degli oggetti. Consiste nell'insegnare a un computer a riconoscere e localizzare gli oggetti nelle immagini, anche quando non hanno sempre lo stesso aspetto. Per esempio, SIFT può rilevare un libro indipendentemente dal fatto che sia vicino alla fotocamera, più lontano o ruotato.

Questo funziona perché SIFT estrae keypoint altamente distintivi e stabili. Quando questi keypoint vengono associati ai descrittori SIFT, formano caratteristiche SIFT che offrono un modo affidabile per associare lo stesso oggetto tra immagini diverse. Queste caratteristiche catturano dettagli unici dell'oggetto che rimangono coerenti, consentendo un matching affidabile delle caratteristiche tra immagini anche quando cambiano le dimensioni, la posizione o l'orientamento dell'oggetto.

Fig. 5. Uso di SIFT per riconoscere la copertina di un libro in una nuova immagine acquisita con un orientamento diverso dall'originale. Immagine dell'autore.

Prima che il deep learning diventasse popolare, SIFT era uno dei metodi più affidabili per creare sistemi di riconoscimento degli oggetti. Era ampiamente utilizzato nella ricerca e nelle applicazioni che richiedevano il matching degli oggetti tra grandi dataset di immagini, anche se spesso richiedeva notevoli risorse computazionali.

Cucitura delle immagini e creazione di panorami#

SIFT può essere usato anche per creare immagini panoramiche, ovvero foto ampie ottenute unendo diverse immagini. Con SIFT, i keypoint distintivi vengono individuati nelle parti sovrapposte di immagini diverse e poi associati tra loro. Queste corrispondenze fungono da ancoraggi e guidano il processo di cucitura indicando come allineare le foto.

Una volta completato il matching, gli algoritmi di cucitura possono calcolare l'allineamento corretto, spesso usando trasformazioni geometriche che mappano un'immagine sull'altra. Le immagini vengono poi fuse in modo che le giunzioni scompaiano. Il risultato finale è un panorama uniforme che sembra un'unica foto ampia, anche se è stato creato da più scatti.

Ricostruzione 3D e robotica#

Un'altra interessante applicazione di SIFT è la ricostruzione 3D, in cui più foto 2D scattate da angolazioni diverse vengono combinate per creare un modello tridimensionale. SIFT funziona individuando e associando gli stessi punti tra queste immagini.

Una volta stabilite le corrispondenze, le posizioni 3D di questi punti possono essere stimate usando la triangolazione, un metodo che calcola la profondità da diversi punti di vista. Questo processo fa parte della struttura dal movimento (SfM), una tecnica che usa più immagini sovrapposte per stimare la forma 3D di una scena insieme alle posizioni delle fotocamere che hanno scattato le foto.

Il risultato è generalmente una nuvola di punti 3D, una raccolta di punti nello spazio che delinea l'oggetto o l'ambiente. SIFT è stato uno dei primi strumenti a rendere pratica la struttura dal movimento. Sebbene oggi le tecniche più recenti siano più veloci e comuni, SIFT continua a essere utilizzato quando la precisione è più importante della velocità.

SIFT è stato utilizzato anche nella robotica, in particolare nello SLAM visivo (localizzazione e mappatura simultanee). Lo SLAM consente a un robot di determinare la propria posizione mentre costruisce contemporaneamente una mappa dell'ambiente circostante.

I keypoint SIFT fungono da punti di riferimento affidabili che un robot può riconoscere tra i fotogrammi, anche quando cambiano l'illuminazione o le angolazioni. Tracciando questi punti di riferimento, il robot può stimare la propria posizione e aggiornare la mappa in tempo reale. Sebbene oggi nella robotica vengano usati più spesso rilevatori di caratteristiche più veloci, SIFT ha svolto un ruolo importante nei primi sistemi SLAM ed è ancora fondamentale nei casi in cui la robustezza è più importante della velocità.

Vantaggi e aspetti da considerare di SIFT#

Sebbene l'algoritmo SIFT sia stato ampiamente utilizzato nella visione artificiale e sia noto per essere un metodo affidabile, comporta anche alcuni compromessi. Per questo è importante valutarne i pro e i contro prima di decidere se sia adatto a un progetto. Esaminiamo ora i suoi principali punti di forza e limiti.

Vantaggi principali di SIFT#

Ecco alcuni vantaggi dell'utilizzo dell'algoritmo SIFT:

• Invarianza alla scala e alla rotazione: SIFT fornisce keypoint invarianti alla scala che rimangono relativamente stabili quando gli oggetti appaiono con dimensioni o orientamenti diversi, rappresentando un passo avanti significativo rispetto ai precedenti rilevatori di caratteristiche.
• Robustezza moderata ai cambiamenti di illuminazione e punto di vista: SIFT può gestire variazioni di luminosità, contrasto o piccoli cambiamenti del punto di vista, anche se è meno affidabile in condizioni più estreme.
• Capacità di lavorare in scene affollate o parzialmente nascoste: Poiché SIFT rileva molti keypoint locali, spesso riesce comunque a identificare un oggetto anche se una parte è coperta o lo sfondo è complesso.

Aspetti prestazionali e alternative#

Ecco alcuni svantaggi dell'utilizzo dell'algoritmo SIFT:

• Costoso dal punto di vista computazionale: Il processo multi-passaggio e i descrittori dettagliati di SIFT lo rendono più lento e più esigente in termini di risorse rispetto ai moderni rilevatori di caratteristiche. Per migliorarlo, i ricercatori hanno sviluppato l'algoritmo SURF (caratteristiche robuste accelerate), che usa calcoli più rapidi per trovare e descrivere le caratteristiche. In alcuni casi SURF è meno preciso di SIFT, ma viene eseguito molto più velocemente, risultando più pratico per le attività sensibili al tempo.
• Non ideale per l'uso in tempo reale: A causa del suo costo computazionale, SIFT incontra difficoltà nelle applicazioni in cui la velocità è fondamentale, come il tracking in tempo reale o la robotica mobile.
• Versatilità limitata: Sebbene sia robusto in molti casi, SIFT è meno efficace in presenza di variazioni estreme dell'illuminazione, grandi cambiamenti del punto di vista o scene altamente dinamiche, in cui gli algoritmi più recenti o i metodi di machine learning offrono prestazioni migliori.

Esaminando i pro e i contro di SIFT, potresti notare che molti dei suoi limiti hanno aperto la strada a tecniche più avanzate. In particolare, le reti neurali convoluzionali (CNNs) sono emerse come una potente alternativa.

Una CNN è un tipo di modello di deep learning ispirato al funzionamento del sistema visivo umano. Elabora un'immagine a strati, partendo da motivi semplici come bordi e texture e arrivando gradualmente a forme e oggetti più complessi. A differenza delle regole per le caratteristiche progettate manualmente di SIFT, le CNN apprendono direttamente dai dati le rappresentazioni delle caratteristiche.

Questo apprendimento basato sui dati significa che le CNN possono superare SIFT nelle attività di matching dei descrittori e di classificazione. Le CNN sono inoltre più espressive e robuste e si adattano meglio alla variabilità e alla complessità dei dati visivi.

Per esempio, i modelli basati su CNN hanno ottenuto risultati rivoluzionari su ImageNet, un enorme dataset di riferimento contenente milioni di immagini etichettate distribuite in migliaia di categorie. Progettato per testare la capacità degli algoritmi di riconoscere e classificare gli oggetti, ImageNet riesce a evidenziare il divario tra i precedenti metodi basati sulle caratteristiche e il deep learning.

Le CNN hanno rapidamente superato SIFT apprendendo rappresentazioni molto più ricche e flessibili, che consentono loro di riconoscere gli oggetti con illuminazione variabile, da punti di vista diversi e persino quando sono parzialmente nascosti, situazioni in cui SIFT incontra spesso difficoltà.

Punti chiave#

L'algoritmo della trasformata delle caratteristiche invarianti alla scala occupa un posto importante nella storia della visione artificiale. Ha fornito un modo affidabile per rilevare le caratteristiche anche in ambienti mutevoli e ha influenzato molti dei metodi utilizzati oggi.

Sebbene le tecniche più recenti siano più veloci ed efficienti, SIFT ha gettato le basi per il loro sviluppo. SIFT mostra da dove è iniziato il progresso odierno nella visione artificiale e mette in evidenza quanto siano avanzati i sistemi di IA all'avanguardia.

Unisciti alla nostra community globale e consulta il nostro repository GitHub per saperne di più sulla visione artificiale. Esplora le nostre pagine dedicate alle soluzioni per scoprire innovazioni come l'IA nell'agricoltura e la visione artificiale nel retail. Scopri le nostre opzioni di licenza e inizia a creare il tuo modello di visione artificiale.