Che cos'è il matching delle immagini nella vision AI? Una rapida introduzione

Quando guardi due immagini dello stesso oggetto, come un dipinto e una fotografia di un’auto, è facile notare cosa hanno in comune. Per le macchine, però, non è così semplice.

Per effettuare questi confronti, le macchine si affidano alla computer vision, un ramo dell’intelligenza artificiale (AI) che le aiuta a interpretare e comprendere le informazioni visive. La computer vision consente ai sistemi di rilevare oggetti, comprendere le scene ed estrarre pattern da immagini o video.

In particolare, alcune attività visive vanno oltre l’analisi di una singola immagine. Prevedono il confronto tra immagini per trovare somiglianze, individuare differenze o monitorare i cambiamenti nel tempo.

La vision AI comprende un’ampia gamma di tecniche e una capacità essenziale, nota come image matching, si concentra sull’identificazione delle somiglianze tra immagini, anche quando variano l’illuminazione, gli angoli o gli sfondi. Questa tecnica può essere utilizzata in diverse applicazioni, tra cui robotica, realtà aumentata e mappatura geografica.

In questo articolo esploreremo cos’è l’image matching, le sue tecniche fondamentali e alcune applicazioni nel mondo reale. Iniziamo!

Che cos’è l’image matching?#

L’image matching permette a un sistema informatico di capire se due immagini contengono contenuti simili. Gli esseri umani possono farlo intuitivamente osservando forme, colori e pattern.

I computer, invece, si affidano ai dati numerici. Analizzano le immagini esaminando ogni pixel, l’unità più piccola di un’immagine digitale.

Ogni immagine viene memorizzata come una griglia di pixel e ogni pixel contiene in genere valori per rosso, verde e blu (RGB). Questi valori possono cambiare quando un’immagine viene ruotata, ridimensionata, osservata da un’angolazione diversa o acquisita in condizioni di illuminazione differenti. A causa di queste variazioni, confrontare le immagini pixel per pixel è spesso inaffidabile.

Per rendere i confronti più coerenti, l’image matching si concentra sulle caratteristiche locali, come angoli, bordi e regioni texturizzate, che tendono a rimanere stabili anche quando un’immagine cambia leggermente. Rilevando queste caratteristiche, o keypoint, in più immagini, un sistema può confrontarle con una precisione molto maggiore.

Questo processo è ampiamente utilizzato in casi d’uso come navigazione, localizzazione, realtà aumentata, mappatura, ricostruzione 3D e ricerca visiva. Quando i sistemi identificano gli stessi punti in immagini diverse o in più fotogrammi, possono monitorare i movimenti, comprendere la struttura della scena e prendere decisioni affidabili in ambienti dinamici.

Fig. 1. Un esempio di image matching di un’auto in cui vengono identificati keypoint simili. (Fonte)

Come funziona l’image matching#

L’image matching comprende diversi passaggi fondamentali che aiutano i sistemi a identificare e confrontare regioni simili all’interno delle immagini. Ogni passaggio migliora precisione, coerenza e robustezza in condizioni diverse.

Ecco una panoramica passo dopo passo del funzionamento dell’image matching:

• Rilevamento delle caratteristiche: il sistema identifica innanzitutto i keypoint distintivi di un’immagine che rimangono fissi anche quando cambiano illuminazione, scala o angolo di visualizzazione. Questi evidenziano aree come angoli, bordi o regioni texturizzate che risaltano visivamente.
• Descrizione delle caratteristiche: ogni keypoint viene quindi convertito in un descrittore, ovvero un vettore numerico compatto che cattura il pattern visivo circostante quel punto. Questi descrittori forniscono un metodo affidabile per confrontare le caratteristiche tra immagini diverse.
• Matching delle caratteristiche: i descrittori di due immagini vengono confrontati usando algoritmi di matching che calcolano quanto siano simili. Questo passaggio abbina i keypoint che sembrano corrispondere e filtra i match più deboli o inaffidabili.
• Verifica geometrica: infine, il sistema verifica se i keypoint corrispondenti formano una relazione geometrica realistica. Rimuove i match errati, chiamati outlier, usando un metodo noto come RANSAC (consenso di campioni casuali), che garantisce la conservazione delle sole coppie di punti affidabili. Una volta identificati i match corretti, il sistema stima la trasformazione che mette meglio in relazione le due immagini. Spesso si tratta di una trasformazione affine, che corregge cambiamenti come ridimensionamento, rotazione e traslazione, oppure di un’omografia, che può gestire anche i cambiamenti prospettici. L’uso di queste trasformazioni consente al sistema di allineare accuratamente le immagini, anche quando sono state acquisite da punti di vista leggermente diversi.

Fig. 2. (a) Estrazione dei punti caratteristici e (b) matching delle caratteristiche. (Fonte)

Tecniche fondamentali coinvolte nell’image matching#

Prima di esaminare le applicazioni dell’image matching nel mondo reale, analizziamo più da vicino le tecniche di image matching utilizzate nei sistemi di computer vision.

Image matching basato sul template matching#

Il template matching è uno dei metodi di image matching più semplici. In genere è considerato una tecnica di elaborazione delle immagini anziché un moderno metodo di computer vision, perché si basa sul confronto diretto dei pixel e non estrae caratteristiche visive più profonde.

Viene utilizzato per individuare un’immagine di riferimento più piccola, o template, all’interno di una scena più grande. Funziona tramite un algoritmo che fa scorrere un template sull’immagine principale e calcola un punteggio di similarità in ogni posizione, per misurare quanto le due regioni corrispondano. L’area con il punteggio più alto viene considerata il match migliore e indica il punto in cui è più probabile che l’oggetto si trovi nella scena.

Fig. 3. Uno sguardo all’utilizzo del template matching. (Fonte)

Questa tecnica funziona bene quando scala, rotazione e illuminazione dell’oggetto rimangono costanti, rendendola una buona scelta per ambienti controllati o confronti di riferimento. Tuttavia, le prestazioni diminuiscono quando l’oggetto appare diverso dal template, ad esempio quando cambia dimensione, viene ruotato, è parzialmente occluso o compare su uno sfondo rumoroso o complesso.

Tecniche classiche basate sulle caratteristiche per l’image matching#

Prima che il deep learning venisse adottato su larga scala, l’image matching si basava soprattutto su algoritmi classici di computer vision che rilevavano keypoint distintivi in un’immagine. Anziché confrontare ogni pixel, questi metodi analizzano i gradienti dell’immagine, ovvero i cambiamenti di intensità, per evidenziare angoli, bordi e regioni texturizzate che risaltano.

Ogni keypoint rilevato viene quindi rappresentato tramite un riepilogo numerico compatto chiamato descrittore. Quando si confrontano due immagini, un matcher valuta questi descrittori per trovare le coppie più simili.

Un punteggio di similarità elevato indica generalmente che lo stesso punto fisico compare in entrambe le immagini. I matcher utilizzano inoltre metriche di distanza specifiche o regole di punteggio per valutare quanto bene le caratteristiche siano allineate, migliorando l’affidabilità complessiva.

Ecco alcuni dei principali algoritmi classici di computer vision utilizzati per l’image matching:

• SIFT (trasformazione delle caratteristiche invariante alla scala): identifica i keypoint analizzando i gradienti di intensità dell’immagine, consentendo loro di rimanere riconoscibili quando un’immagine viene ingrandita, ridotta o ruotata.

• SURF (caratteristiche robuste accelerate): questo algoritmo è simile a SIFT, ma è ottimizzato per la velocità. Utilizza rapide approssimazioni delle operazioni basate sui gradienti, rendendolo adatto alle applicazioni che richiedono tempi di risposta rapidi.

• ORB (FAST orientato e BRIEF ruotato): combina due algoritmi chiamati FAST e BRIEF. FAST individua rapidamente i punti simili ad angoli in un’immagine, mentre BRIEF crea una descrizione compatta di ogni punto, così che possano essere abbinati tra immagini. ORB migliora inoltre entrambi i passaggi aggiungendo la gestione della rotazione, risultando veloce e affidabile.

Fig. 4. Punti caratteristici SURF estratti e abbinati tra due immagini. (Fonte)

Tecniche di image matching basate sul deep learning#

A differenza dei metodi classici, che si basano su regole specifiche, il deep learning apprende automaticamente le caratteristiche da grandi dataset, ovvero raccolte di dati visivi da cui i modelli di AI apprendono i pattern. Questi modelli vengono generalmente eseguiti su GPU (unità di elaborazione grafica), che forniscono l’elevata potenza di calcolo necessaria per elaborare grandi batch di immagini e addestrare in modo efficiente reti neurali complesse.

Questo consente ai modelli di AI di gestire cambiamenti del mondo reale come illuminazione, angolazioni della fotocamera e occlusioni. Alcuni modelli combinano inoltre tutti i passaggi in un unico workflow, garantendo prestazioni robuste in condizioni difficili.

Ecco alcuni approcci basati sul deep learning per l’estrazione e il matching delle caratteristiche delle immagini:

• Estrazione delle caratteristiche basata su CNN: questi modelli apprendono automaticamente i principali pattern visivi da grandi dataset. Riconoscono caratteristiche che difficilmente cambiano, risultando affidabili per il matching di oggetti in scene diverse.

• Matching basato su embedding: invece di confrontare direttamente i pixel, questo metodo trasforma le immagini in rappresentazioni numeriche compatte note come embedding. Il matcher confronta quindi questi embedding per trovare elementi visivi simili. Modelli come FaceNet, che genera embedding per riconoscere e confrontare i volti, e CLIP, che mappa immagini e testo in uno spazio condiviso per attività come la ricerca di immagini e il matching semantico, seguono questo approccio.

• Pipeline di matching end-to-end: i sistemi di deep learning all’avanguardia combinano spesso rilevamento, descrizione e matching dei keypoint in un workflow unificato. Modelli come SuperPoint e D2-Net apprendono sia i keypoint sia i descrittori direttamente dalle mappe delle caratteristiche delle CNN, mentre SuperGlue funge da matcher appreso che abbina questi descrittori in modo più affidabile rispetto ai metodi tradizionali. Insieme, questi componenti creano una pipeline end-to-end che offre maggiore accuratezza e robustezza in condizioni difficili rispetto agli approcci classici basati sulle caratteristiche.

• Matching basato su Transformer: questo metodo utilizza meccanismi di attenzione per collegare regioni corrispondenti tra due immagini, consentendo di allineare le aree anche in presenza di forti cambiamenti del punto di vista, dell’illuminazione o della texture. Modelli come LoFTR (Transformer delle caratteristiche locali) raggiungono una precisione molto maggiore perché il campo ricettivo globale del Transformer permette un matching affidabile in aree con poche texture, sfocate o ripetitive, dove i rilevatori tradizionali falliscono. LoFTR produce match semidensi ad alta affidabilità e supera di gran lunga i precedenti metodi all’avanguardia nei benchmark indoor e outdoor.

• Modelli orientati all’efficienza: i modelli di image matching più recenti mirano a offrire un’elevata accuratezza funzionando al contempo più velocemente. Modelli come LightGlue sono progettati per funzionare in modo efficiente su dispositivi con potenza di calcolo limitata, mantenendo comunque una buona qualità di matching.

Applicazioni dell’image matching nel mondo reale#

Ora che comprendiamo meglio come funziona l’image matching, esaminiamo alcune applicazioni nel mondo reale in cui svolge un ruolo importante.

Robotica più intelligente grazie all’image matching#

I robot operano spesso in ambienti affollati e soggetti a cambiamenti, dove devono comprendere quali oggetti sono presenti e come sono disposti. L’image matching può aiutare i robot a comprendere gli oggetti che vedono, confrontandoli con immagini archiviate o di riferimento. Questo facilita il riconoscimento degli oggetti, il monitoraggio dei loro movimenti e l’adattamento anche quando cambiano l’illuminazione o le angolazioni della fotocamera.

Ad esempio, in un magazzino, un sistema robotico di prelievo e posizionamento può utilizzare l’image matching per identificare e gestire articoli diversi. Il robot afferra innanzitutto un oggetto, quindi confronta la sua immagine con campioni di riferimento per identificarlo.

Fig. 5. Un robot riconosce e raccoglie oggetti confrontandoli con immagini di riferimento. (Fonte)

Una volta trovato il match, il robot sa come smistarlo o posizionarlo correttamente. Questo approccio consente ai robot di riconoscere sia oggetti familiari sia oggetti nuovi senza riaddestrare l’intero sistema. Li aiuta inoltre a prendere decisioni migliori in tempo reale, come organizzare gli scaffali, assemblare componenti o riorganizzare gli articoli.

Migliorare la ricostruzione 3D con un image matching più efficace#

In ambiti come la mappatura tramite droni, la realtà virtuale e l’ispezione degli edifici, i sistemi devono spesso ricostruire un modello 3D a partire da più immagini 2D. Per farlo, si affidano all’image matching per identificare keypoint comuni, come angoli o regioni texturizzate, presenti in diverse immagini.

Questi punti condivisi aiutano il sistema a comprendere come le immagini siano correlate tra loro nello spazio 3D. Questa idea è strettamente correlata alla struttura dal movimento (SfM), una tecnica che costruisce strutture 3D identificando e abbinando keypoint tra immagini acquisite da punti di vista diversi.

Se il matching non è accurato, il modello 3D risultante può apparire distorto o incompleto. Per questo motivo, i ricercatori lavorano per migliorare l’affidabilità dell’image matching nella ricostruzione 3D e i recenti progressi hanno mostrato risultati promettenti.

Un esempio interessante è HashMatch, un algoritmo di image matching più veloce e robusto. HashMatch converte i dettagli delle immagini in pattern compatti chiamati codici hash, facilitando l’identificazione dei match corretti e la rimozione degli outlier, anche quando variano illuminazione o punti di vista.

Nei test su dataset su larga scala, HashMatch ha prodotto modelli di ricostruzione 3D più puliti e realistici, con meno errori di allineamento. Questo lo rende particolarmente utile per applicazioni come la mappatura tramite droni, i sistemi AR e la conservazione del patrimonio culturale, dove la precisione è fondamentale.

Il ruolo dell’image matching nella realtà aumentata#

Nel caso della realtà aumentata (AR), mantenere gli oggetti virtuali allineati con il mondo reale è spesso una sfida. Gli ambienti esterni possono cambiare continuamente in base a condizioni ambientali come luce solare e meteo. Sottili differenze nel mondo reale possono far apparire instabili o leggermente fuori posizione gli elementi virtuali.

Per risolvere questo problema, i sistemi AR utilizzano l’image matching per interpretare ciò che li circonda. Confrontando i fotogrammi acquisiti in tempo reale dalla fotocamera con immagini di riferimento archiviate, possono comprendere dove si trova l’utente e come è cambiata la scena.

Fig. 6. Punti caratteristici abbinati tra due immagini. (Fonte: theijes.com)

Ad esempio, in uno studio che prevedeva addestramento AR outdoor in stile militare con occhiali XR (realtà estesa), i ricercatori hanno utilizzato SIFT e altri metodi basati sulle caratteristiche per abbinare dettagli visivi tra immagini reali e di riferimento. Match accurati hanno mantenuto gli elementi virtuali correttamente allineati con il mondo reale, anche quando l’utente si muoveva rapidamente o cambiava l’illuminazione.

Punti chiave#

L’image matching è un componente fondamentale della computer vision e consente ai sistemi di comprendere come immagini diverse siano correlate tra loro o come una scena cambi nel tempo. Svolge un ruolo essenziale nella robotica, nella realtà aumentata, nella ricostruzione 3D, nella navigazione autonoma e in molte altre applicazioni del mondo reale in cui precisione e stabilità sono fondamentali.

Grazie a modelli di AI avanzati come SuperPoint e LoFTR, i sistemi odierni stanno diventando molto più robusti rispetto ai metodi precedenti. Con il continuo progresso delle tecniche di machine learning, dei moduli specializzati di vision, delle reti neurali e dei dataset, è probabile che l’image matching diventi più veloce, accurato e adattabile.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse pratiche sull’AI. Per sviluppare oggi con la vision AI, scopri le nostre opzioni di licenza. Scopri come l’AI nell’agricoltura sta trasformando il settore agricolo e come la vision AI nel settore sanitario sta plasmando il futuro visitando le nostre pagine dedicate alle soluzioni.