Che cos’è il matching di immagini nell’IA visiva? Una breve introduzione

Quando guardi due immagini dello stesso oggetto, come un dipinto e una fotografia di un'auto, è facile notare cosa hanno in comune. Per le macchine, invece, non è così semplice.

Per fare confronti di questo tipo, le macchine si affidano alla visione artificiale, un ramo dell'intelligenza artificiale (AI) che le aiuta a interpretare e comprendere le informazioni visive. La visione artificiale consente ai sistemi di rilevare oggetti, comprendere le scene ed estrarre schemi da immagini o video.

In particolare, alcune attività visive vanno oltre l'analisi di una singola immagine. Prevedono il confronto tra immagini per trovare somiglianze, individuare differenze o monitorare i cambiamenti nel tempo.

La Vision AI comprende un'ampia gamma di tecniche e una capacità essenziale, nota come image matching, si concentra sull'individuazione di somiglianze tra immagini, anche quando cambiano l'illuminazione, le angolazioni o gli sfondi. Questa tecnica può essere usata in diverse applicazioni, tra cui robotica, realtà aumentata e mappatura geografica.

In questo articolo vedremo cos'è l'abbinamento di immagini, quali sono le sue tecniche principali e alcune delle sue applicazioni nel mondo reale.

Cos'è l'image matching?#

L'image matching consente a un sistema informatico di capire se due immagini contengono elementi simili. Gli esseri umani riescono a farlo in modo intuitivo, notando forme, colori e schemi.

I computer, invece, si basano su dati numerici. Analizzano le immagini esaminando ogni pixel, l'unità più piccola di un'immagine digitale.

Ogni immagine è memorizzata come una griglia di pixel e ogni pixel contiene generalmente valori per rosso, verde e blu (RGB). Questi valori possono cambiare quando un'immagine viene ruotata, ridimensionata, osservata da un'altra angolazione o acquisita con condizioni di illuminazione diverse. A causa di queste variazioni, il confronto tra immagini pixel per pixel spesso non è affidabile.

Per rendere i confronti più coerenti, l'abbinamento di immagini si concentra su caratteristiche locali come angoli, bordi e aree testurizzate, che tendono a rimanere stabili anche quando un'immagine subisce lievi modifiche. Rilevando queste caratteristiche, o punti chiave, in più immagini, un sistema può confrontarle con molta più precisione.

Questo processo è ampiamente usato in applicazioni come navigazione, localizzazione, realtà aumentata, mappatura, ricostruzione 3D e ricerca visiva. Quando i sistemi identificano gli stessi punti in immagini diverse o in più fotogrammi, possono monitorare i movimenti, comprendere la struttura delle scene e prendere decisioni affidabili in ambienti dinamici.

Fig. 1. Esempio di image matching di un'auto in cui vengono identificati punti chiave simili. (Fonte)

Come funziona l'image matching#

L'image matching comprende diversi passaggi fondamentali che aiutano i sistemi a identificare e confrontare regioni simili all'interno delle immagini. Ogni passaggio migliora l'accuratezza, la coerenza e la robustezza in condizioni diverse.

Ecco una panoramica passo passo del funzionamento dell'image matching:

• Rilevamento delle caratteristiche: il sistema individua innanzitutto i punti chiave distintivi di un'immagine, che restano riconoscibili anche quando cambiano l'illuminazione, la scala o l'angolo di visuale. Questi punti evidenziano aree come angoli, bordi o regioni testurizzate che risaltano visivamente.
• Descrizione delle caratteristiche: ogni punto chiave viene poi convertito in un descrittore, ovvero un vettore numerico compatto che cattura lo schema visivo attorno a quel punto. Questi descrittori offrono un metodo affidabile per confrontare le caratteristiche di immagini diverse.
• Corrispondenza delle caratteristiche: i descrittori di due immagini vengono confrontati usando algoritmi di corrispondenza che calcolano quanto siano simili. Questo passaggio abbina i punti chiave che sembrano corrispondere e filtra quelli deboli o inaffidabili.
• Verifica geometrica: infine, il sistema verifica che i punti chiave corrispondenti formino una relazione geometrica plausibile. Rimuove le corrispondenze errate (chiamate valori anomali) usando un metodo noto come RANSAC (consenso a campione casuale), che garantisce di conservare solo le coppie di punti affidabili. Una volta individuate le corrispondenze valide, il sistema stima la trasformazione che mette in relazione nel modo migliore le due immagini. Spesso si tratta di una trasformazione affine, che corregge cambiamenti come ridimensionamento, rotazione e traslazione, oppure di un'omografia, che può gestire anche i cambiamenti di prospettiva. L'uso di queste trasformazioni consente al sistema di allineare accuratamente le immagini, anche quando sono state acquisite da punti di vista leggermente diversi.

Fig. 2. (a) Estrazione dei punti caratteristici e (b) abbinamento delle caratteristiche. (Fonte)

Tecniche fondamentali utilizzate nell'abbinamento di immagini#

Prima di esplorare le applicazioni pratiche dell'abbinamento di immagini, diamo un'occhiata più da vicino alle tecniche di abbinamento delle immagini usate nei sistemi di visione artificiale.

Abbinamento di immagini basato sul confronto con un modello#

L'abbinamento di modelli è uno dei metodi di abbinamento delle immagini più semplici. In genere è considerato una tecnica di elaborazione delle immagini, anziché un metodo moderno di visione artificiale, perché si basa sul confronto diretto dei pixel e non estrae caratteristiche visive più profonde.

Viene usato per individuare un'immagine di riferimento più piccola, o modello, all'interno di una scena più ampia. Funziona mediante un algoritmo che fa scorrere un modello sull'immagine principale e calcola un punteggio di somiglianza in ogni posizione per misurare quanto le due aree corrispondano. L'area con il punteggio più alto è considerata la corrispondenza migliore e indica dove è più probabile che si trovi l'oggetto nella scena.

Fig. 3. Uno sguardo all'uso del confronto con un modello. (Fonte)

Questa tecnica funziona bene quando scala, rotazione e illuminazione dell'oggetto rimangono costanti, il che la rende una buona scelta per ambienti controllati o confronti di riferimento. Tuttavia, le prestazioni peggiorano quando l'oggetto appare diverso dal modello, ad esempio se cambia dimensione, viene ruotato, è parzialmente occluso o si trova davanti a uno sfondo rumoroso o complesso.

Tecniche classiche di abbinamento delle immagini basate sulle caratteristiche#

Prima che il deep learning si diffondesse, l'abbinamento di immagini si basava soprattutto su algoritmi classici di visione artificiale che rilevavano punti chiave distintivi in un'immagine. Invece di confrontare ogni pixel, questi metodi analizzano i gradienti dell'immagine, ovvero le variazioni di intensità, per evidenziare angoli, bordi e aree con texture che si distinguono.

Ogni punto chiave rilevato viene quindi rappresentato con un riepilogo numerico compatto chiamato descrittore. Quando si confrontano due immagini, un algoritmo di abbinamento valuta questi descrittori per trovare le coppie più simili.

Un punteggio di somiglianza elevato indica in genere che lo stesso punto fisico è presente in entrambe le immagini. Gli algoritmi di abbinamento usano anche metriche di distanza o regole di punteggio specifiche per valutare quanto le caratteristiche siano allineate, migliorando l'affidabilità complessiva.

Ecco alcuni dei principali algoritmi classici di visione artificiale usati per l'abbinamento di immagini:

• SIFT (Scale-Invariant Feature Transform): identifica i punti chiave analizzando i gradienti di intensità dell'immagine, così da mantenerli riconoscibili quando un'immagine viene ingrandita, rimpicciolita o ruotata.
• SURF (Speeded-Up Robust Features): questo algoritmo è simile a SIFT, ma ottimizzato per la velocità. Usa approssimazioni rapide delle operazioni basate sui gradienti, risultando adatto alle applicazioni che richiedono tempi di risposta brevi.
• ORB (Oriented FAST and Rotated BRIEF): combina due algoritmi chiamati FAST e BRIEF. FAST individua rapidamente punti simili ad angoli nell'immagine, mentre BRIEF crea una descrizione compatta di ciascun punto per consentire l'abbinamento tra immagini. ORB migliora entrambe le fasi aggiungendo la gestione della rotazione, risultando rapido e affidabile.

Fig. 4. Punti caratteristici SURF estratti e abbinati tra due immagini. (Fonte)

Tecniche di abbinamento delle immagini basate sul deep learning#

A differenza dei metodi classici, che si basano su regole specifiche, il deep learning apprende automaticamente le caratteristiche da grandi dataset, ovvero raccolte di dati visivi da cui i modelli di IA apprendono schemi. Questi modelli vengono in genere eseguiti su GPU (Graphics Processing Units), che offrono la potenza di calcolo necessaria per elaborare grandi batch di immagini e addestrare in modo efficiente reti neurali complesse.

Questo consente ai modelli di IA di gestire cambiamenti del mondo reale, come variazioni dell'illuminazione, angolazioni della fotocamera e occlusioni. Alcuni modelli combinano anche tutte le fasi in un unico flusso di lavoro, garantendo prestazioni robuste in condizioni difficili.

Ecco alcuni approcci basati sul deep learning per l'estrazione e l'abbinamento delle caratteristiche delle immagini:

• Estrazione delle caratteristiche basata su CNN: questi modelli apprendono automaticamente schemi visivi fondamentali da grandi dataset. Riconoscono caratteristiche che difficilmente cambiano, rendendoli affidabili per abbinare oggetti in scene diverse.
• Abbinamento basato su embedding: invece di confrontare direttamente i pixel, questo metodo converte le immagini in rappresentazioni numeriche compatte, dette embedding. L'abbinatore confronta poi questi embedding per individuare immagini simili. Seguono questo approccio modelli come FaceNet, che genera embedding per riconoscere e confrontare i volti, e CLIP, che mappa immagini e testo in uno spazio condiviso per attività come la ricerca di immagini e l'abbinamento semantico.
• Pipeline di abbinamento end-to-end: i moderni sistemi di deep learning spesso combinano il rilevamento dei punti chiave, la descrizione e l'abbinamento in un flusso di lavoro unificato. Modelli come SuperPoint e D2-Net apprendono sia i punti chiave sia i descrittori direttamente dalle mappe delle caratteristiche delle CNN, mentre SuperGlue funge da abbinatore appreso, associando questi descrittori in modo più affidabile rispetto ai metodi tradizionali. Insieme, questi componenti creano una pipeline end-to-end che offre maggiore precisione e robustezza in condizioni difficili rispetto agli approcci classici basati sulle caratteristiche.
• Abbinamento basato su Transformer: questo metodo usa meccanismi di attenzione per collegare le aree corrispondenti tra due immagini e allineare le porzioni anche in presenza di forti variazioni del punto di vista, dell'illuminazione o della texture. Modelli come LoFTR (Local Feature Transformer) raggiungono una precisione molto più elevata perché il campo recettivo globale del Transformer consente abbinamenti affidabili in aree con poche texture, sfocate o ripetitive, dove i rilevatori tradizionali falliscono. LoFTR produce corrispondenze semidense ad alta affidabilità e supera nettamente i precedenti metodi allo stato dell'arte nei benchmark sia per ambienti interni sia per ambienti esterni.
• Modelli ottimizzati per l'efficienza: i modelli più recenti per l'abbinamento di immagini mirano a offrire elevata precisione con tempi di esecuzione ridotti. Modelli come LightGlue sono progettati per funzionare in modo efficiente su dispositivi con capacità di calcolo limitata, mantenendo comunque una buona qualità di abbinamento.

Applicazioni pratiche dell'abbinamento di immagini#

Ora che abbiamo capito meglio come funziona l'abbinamento di immagini, vediamo alcune applicazioni pratiche in cui svolge un ruolo importante.

Robotica più intelligente grazie all'abbinamento di immagini#

I robot operano spesso in ambienti affollati e mutevoli, dove devono capire quali oggetti sono presenti e come sono disposti. L'abbinamento di immagini può aiutare i robot a comprendere gli oggetti che vedono confrontandoli con immagini archiviate o di riferimento. In questo modo i robot possono riconoscere più facilmente gli oggetti, seguirne i movimenti e adattarsi anche quando cambiano l'illuminazione o l'angolazione della fotocamera.

Per esempio, in un magazzino, un sistema robotico di prelievo e posizionamento può usare l'abbinamento di immagini per identificare e gestire articoli diversi. Il robot afferra prima un oggetto, poi confronta la sua immagine con campioni di riferimento per identificarlo.

Fig. 5. Un robot riconosce e raccoglie oggetti abbinandoli a immagini di riferimento. (Fonte)

Una volta trovata la corrispondenza, il robot sa come smistare o posizionare correttamente l'oggetto. Questo approccio consente ai robot di riconoscere sia oggetti familiari sia oggetti nuovi senza riaddestrare l'intero sistema. Li aiuta anche a prendere decisioni migliori in tempo reale, ad esempio organizzando gli scaffali, assemblando componenti o riordinando gli articoli.

Migliorare la ricostruzione 3D con un abbinamento di immagini più accurato#

In ambiti come la mappatura con droni, la realtà virtuale e l'ispezione degli edifici, spesso i sistemi devono ricostruire un modello 3D a partire da più immagini 2D. Per farlo, usano l'abbinamento di immagini per individuare punti chiave comuni, come angoli o aree con texture, presenti in più immagini.

Questi punti condivisi aiutano il sistema a capire come le immagini sono correlate tra loro nello spazio 3D. Questa idea è strettamente legata alla Structure from Motion (SfM), una tecnica che crea strutture 3D individuando e abbinando punti chiave in immagini acquisite da diversi punti di vista.

Se l'abbinamento non è accurato, il modello 3D risultante può apparire distorto o incompleto. Per questo motivo, i ricercatori lavorano per migliorare l'affidabilità dell'abbinamento di immagini nella ricostruzione 3D e i progressi recenti hanno dato risultati promettenti.

Un esempio interessante è HashMatch, un algoritmo di abbinamento delle immagini più rapido e robusto. HashMatch converte i dettagli delle immagini in schemi compatti chiamati codici hash, facilitando l'individuazione delle corrispondenze corrette e la rimozione degli outlier, anche quando l'illuminazione o il punto di vista variano.

Nei test su dataset di grandi dimensioni, HashMatch ha prodotto modelli di ricostruzione 3D più puliti e realistici, con meno errori di allineamento. Questo lo rende particolarmente utile per applicazioni come la mappatura con droni, i sistemi AR e la conservazione del patrimonio culturale, dove la precisione è fondamentale.

Il ruolo dell'abbinamento di immagini nella realtà aumentata#

Con la realtà aumentata (AR), mantenere gli oggetti virtuali allineati al mondo reale è spesso una sfida. Gli ambienti esterni possono cambiare continuamente in base a condizioni ambientali come la luce solare e il meteo. Differenze impercettibili nel mondo reale possono far apparire gli elementi virtuali instabili o leggermente fuori posizione.

Per risolvere questo problema, i sistemi AR usano l'abbinamento di immagini per interpretare ciò che li circonda. Confrontando i fotogrammi acquisiti in tempo reale dalla fotocamera con immagini di riferimento archiviate, possono capire dove si trova l'utente e come è cambiata la scena.

Fig. 6. Punti caratteristici abbinati tra due immagini. (Fonte: theijes.com)

Per esempio, in uno studio sull'addestramento AR all'aperto in stile militare con occhiali XR (realtà estesa), i ricercatori hanno usato SIFT e altri metodi basati sulle caratteristiche per abbinare i dettagli visivi tra immagini reali e di riferimento. Le corrispondenze accurate hanno mantenuto gli elementi virtuali correttamente allineati al mondo reale, anche quando l'utente si muoveva rapidamente o l'illuminazione cambiava.

Punti chiave#

L'abbinamento di immagini è un componente fondamentale della visione artificiale, perché consente ai sistemi di capire come immagini diverse siano correlate tra loro o come una scena cambi nel tempo. Svolge un ruolo cruciale nella robotica, nella realtà aumentata, nella ricostruzione 3D, nella navigazione autonoma e in molte altre applicazioni pratiche in cui precisione e stabilità sono essenziali.

Grazie a modelli di IA avanzati come SuperPoint e LoFTR, i sistemi odierni sono molto più robusti rispetto ai metodi precedenti. Con il continuo progresso delle tecniche di machine learning, dei moduli di visione specializzati, delle reti neurali e dei dataset, è probabile che l'abbinamento di immagini diventi più rapido, preciso e adattabile.

Unisciti alla nostra community in crescita ed esplora il nostro repository GitHub per trovare risorse pratiche sull'IA. Per sviluppare oggi soluzioni di IA per la visione, scopri le nostre opzioni di licenza. Scopri come l'IA in agricoltura sta trasformando il settore agricolo e come la Vision AI in ambito sanitario sta plasmando il futuro visitando le pagine delle nostre soluzioni.