L'AI visiva rende possibile la tecnologia di riconoscimento dei gesti senza contatto

Con l'evoluzione della tecnologia, cambia anche il modo in cui interagiamo con essa. Le prime macchine si basavano sullo sforzo fisico e sui controlli meccanici, mentre l'informatica moderna ha introdotto i touchscreen e l'interazione vocale.

Oggi, il riconoscimento dei gesti rappresenta un passo ulteriore: usa i movimenti naturali come interfaccia utente. Un semplice saluto con la mano, un pizzico o un rapido gesto della mano possono già controllare app, schermi e macchine.

Questa interazione senza contatto può basarsi sulla computer vision, un ramo dell'AI che aiuta le macchine a vedere e interpretare ciò che riprende una telecamera. I sistemi di AI visiva possono essere integrati in smartphone, visori per la realtà virtuale (VR) e la realtà aumentata (AR), auto e dispositivi per la casa intelligente, dove i gesti possono sostituire tocchi, clic e pulsanti per un'esperienza utente più fluida.

Il controllo senza contatto è sempre più diffuso nella vita quotidiana. Negli ambienti di lavoro e negli spazi condivisi, evitare il contatto fisico può migliorare l'igiene e la sicurezza. Anche molti prodotti digitali si stanno orientando verso l'interazione a mani libere, e i gesti offrono un modo semplice e intuitivo per controllare i dispositivi senza toccarli.

In questo articolo vedremo cos'è il riconoscimento dei gesti, come la visione artificiale ne migliora l'accuratezza e quali sono le sue applicazioni nel mondo reale.

Che cos'è il riconoscimento dei gesti?#

Il riconoscimento dei gesti è una tecnologia di rilevamento che consente alle macchine di comprendere i gesti umani, come i segni delle mani o i movimenti del corpo, e di convertirli in azioni digitali. Invece di toccare uno schermo o premere pulsanti, gli utenti possono controllare i dispositivi con movimenti semplici e naturali.

Questo rende le interazioni più intuitive ed è il motivo per cui l'input basato sui gesti viene adottato in molti sistemi di controllo basati sul machine learning e sull'AI. In particolare, il riconoscimento dei gesti delle mani è una delle forme più diffuse di riconoscimento dei gesti e spesso si basa sulla computer vision.

In parole semplici, una soluzione di AI visiva può individuare le mani nelle immagini di una telecamera, seguirne i movimenti o i cambiamenti di forma e confrontare questi schemi con un gesto noto per attivare un'azione sullo schermo.

Una componente fondamentale di queste soluzioni è un modello di computer vision, addestrato su set di dati di immagini o video etichettati che mostrano diversi gesti delle mani. Con dati di addestramento diversificati e una valutazione accurata, il modello può generalizzare meglio a utenti, condizioni di illuminazione e sfondi diversi, aiutandolo a riconoscere i gesti in modo più affidabile nel mondo reale.

Fig. 1. Dati usati per addestrare un modello di computer vision a rilevare i keypoint dei gesti (Fonte)

Esplorare i diversi tipi di gesti e l'interazione uomo-computer#

Prima di esaminare più da vicino il ruolo della computer vision nel riconoscimento dei gesti, facciamo un passo indietro e vediamo quali tipi di gesti riconoscono di solito questi sistemi.

Nella maggior parte dei casi, i gesti rientrano in due categorie: statici e dinamici. I gesti statici sono pose fisse della mano, come il pollice alzato, il segnale di stop o il segno della pace. Poiché non comportano movimento, spesso possono essere riconosciuti da un singolo fotogramma.

I gesti dinamici, invece, comportano un movimento nel tempo, come salutare o fare un movimento di scorrimento nell'aria. Per riconoscerli, un sistema di AI visiva deve analizzare più fotogrammi, così da seguire il movimento della mano e comprenderne la direzione e la tempistica.

Il ruolo degli algoritmi di computer vision nel riconoscimento dei gesti#

I sistemi di riconoscimento dei gesti possono essere realizzati in modi diversi. Alcuni usano sensori indossabili, come guanti o dispositivi di tracciamento da polso, per acquisire i movimenti delle mani.

Queste soluzioni possono essere precise, ma non sono sempre pratiche. I dispositivi indossabili vanno indossati, configurati, ricaricati e mantenuti, e possono risultare limitanti negli spazi condivisi o nell'uso quotidiano.

Per questo molti sistemi moderni si affidano invece alla visione artificiale. Con normali telecamere RGB e sensori di profondità o a tempo di volo, i dispositivi possono acquisire in tempo reale i movimenti delle mani e del corpo senza che gli utenti debbano indossare dispositivi aggiuntivi. Questo rende il riconoscimento dei gesti basato sulla visione ideale per smartphone, auto, smart TV e visori AR e VR.

Per esempio, modelli di visione artificiale come Ultralytics YOLO11 e il più recente Ultralytics YOLO26 supportano attività come il rilevamento degli oggetti, il tracciamento degli oggetti e la stima della posa. Queste funzionalità possono essere usate per rilevare le mani in ogni fotogramma, seguirne i movimenti nel tempo e mappare punti chiave come la punta delle dita e le articolazioni. In questo modo è possibile riconoscere gesti come il palmo alzato per mettere in pausa, il pizzicamento per ingrandire, uno scorrimento per navigare nei menu o un gesto di indicazione per selezionare un elemento in AR e VR.

Attività di computer vision usate per riconoscere le interazioni uomo-macchina#

Ecco una panoramica di alcune delle principali attività di computer vision usate nel riconoscimento dei gesti:

• Rilevamento degli oggetti: questa attività serve a localizzare le mani in un'immagine o in un fotogramma video, di solito disegnando attorno a esse riquadri di delimitazione. Aiuta il sistema a concentrarsi sull'area del gesto e a ignorare i dettagli irrilevanti dello sfondo.
• Tracciamento degli oggetti: basandosi sul rilevamento degli oggetti, questa attività segue le mani rilevate attraverso più fotogrammi e ne mantiene l'identità nel tempo. È particolarmente utile per i gesti dinamici, nei quali il movimento e la direzione sono fondamentali.
• Stima della posa: anziché concentrarsi sui riquadri di delimitazione, la stima della posa individua i punti chiave della mano, come la punta delle dita, le nocche e il polso. Questi punti di riferimento formano uno scheletro semplificato della mano che rappresenta la posizione delle dita e i movimenti più sottili, consentendo una classificazione dei gesti più dettagliata. Set di dati come Hand Keypoints forniscono punti di riferimento delle mani etichettati per l'addestramento.
• Segmentazione delle istanze: questa attività mira a separare ogni mano dallo sfondo a livello di pixel, generando una maschera per ogni mano visibile. È utile nelle scene affollate, quando le mani si sovrappongono o quando nell'inquadratura compaiono più mani.

Molte soluzioni di AI visiva combinano queste attività in un'unica pipeline. Per esempio, un sistema potrebbe iniziare rilevando gli oggetti per individuare le mani, quindi usare il tracciamento per seguirle nei fotogrammi durante i gesti dinamici.

Se il gesto dipende dalla posizione delle dita, la stima della posa può aggiungere keypoint per ottenere maggiori dettagli, mentre la segmentazione delle istanze può isolare ogni mano con più precisione nelle scene affollate o quando più mani si sovrappongono. Queste fasi, lavorando insieme, forniscono informazioni sia sulla posizione sia sul movimento, rendendo il riconoscimento dei gesti più preciso e affidabile.

Come funziona il riconoscimento dei gesti basato sulla visione#

Ora che abbiamo capito meglio quali attività di computer vision sono alla base del riconoscimento dei gesti, vediamo passo dopo passo come funziona un sistema basato sulla visione.

Un sistema tipico inizia acquisendo il video da una telecamera, a volte insieme ai dati di profondità, se il dispositivo li supporta. I fotogrammi vengono quindi preprocessati con tecniche di elaborazione delle immagini per renderli più facili da gestire in modo coerente per il modello, per esempio ridimensionandoli, stabilizzandoli o riducendo il rumore e l'effetto mosso.

In seguito, il sistema individua le mani nel fotogramma tramite rilevamento o segmentazione e le segue nel tempo tramite tracciamento. Se l'applicazione necessita di maggiori dettagli, può anche eseguire la stima della posa per estrarre punti chiave come la punta delle dita e le articolazioni. Usando queste informazioni, il modello classifica il gesto, che sia una posa di un singolo fotogramma, come il pollice alzato, o uno schema di movimento, come uno scorrimento.

Infine, il gesto riconosciuto viene associato a un'azione nell'interfaccia, come scorrere, ingrandire, selezionare un elemento, regolare il volume o controllare le interazioni AR e VR. La pipeline esatta può variare: le applicazioni più semplici usano meno passaggi, mentre quelle più complesse combinano rilevamento, tracciamento e stima della posa per ottenere una maggiore precisione.

Applicazioni del riconoscimento dei gesti basato sulla visione#

Vediamo ora alcune applicazioni reali del riconoscimento dei gesti basato sulla visione.

Interazione tramite gesti con i sistemi di infotainment delle auto#

Il riconoscimento dei gesti sta iniziando a comparire nelle interfacce dei veicoli intelligenti, soprattutto nei sistemi di infotainment. È un modo pratico per controllare alcune funzioni con semplici movimenti della mano, riducendo la frequenza con cui i conducenti devono raggiungere touchscreen o pulsanti fisici. Per esempio, un gesto rapido può servire a regolare il volume, gestire le chiamate o navigare nei menu sullo schermo.

Fig. 2. Un conducente esegue gesti con le mani nell'area di rilevamento di un sistema di infotainment (Fonte)

Interazioni nei videogiochi controllate tramite gesti#

Nei videogiochi e nelle esperienze immersive, il controllo basato sui gesti sta cambiando il modo in cui le persone interagiscono con i mondi virtuali. Invece di affidarsi solo a controller o joystick, i giocatori possono usare movimenti naturali delle mani per navigare nei menu, raccogliere oggetti virtuali, controllare personaggi o attivare azioni nel gioco.

Fig. 3. Giocare usando i gesti delle mani (Fonte).

Questo tipo di interazione senza contatto può risultare più fluido, soprattutto in AR e VR. Di conseguenza, il tracciamento delle mani e il controllo tramite gesti stanno diventando funzionalità comuni nei visori VR e per la realtà mista.

Controllo dei dispositivi per la casa intelligente tramite gesti, senza interruzioni#

I dispositivi per la casa intelligente, come smart TV, altoparlanti e luci connesse, iniziano a supportare il controllo tramite gesti per eseguire azioni rapide senza contatto. Con un semplice movimento della mano, gli utenti possono accendere le luci, regolare il volume o attivare comandi di base senza raggiungere interruttori o telecomandi.

Per esempio, nei sistemi di intrattenimento domestico, le telecamere di profondità integrate o collegate possono riconoscere gesti come scorrere, indicare o alzare una mano. Questo può semplificare la navigazione nei menu, la modifica delle impostazioni o la conferma delle selezioni dall'altra parte della stanza. Dietro le quinte, i modelli di computer vision elaborano in tempo reale le immagini della telecamera per rilevare e interpretare questi gesti.

Controllo tramite gesti nella robotica basato sull'intelligenza artificiale#

Immagina un operaio in fabbrica che deve guidare un robot mentre trasporta componenti, indossa guanti o si trova a distanza di sicurezza da apparecchiature in movimento. In queste situazioni, raggiungere pulsanti o un pannello di controllo può essere lento o persino pericoloso.

Al contrario, i sistemi di controllo tramite gesti possono offrire un modo più pratico di interagire con queste macchine, a mani libere. È particolarmente utile per i robot collaborativi, o cobot, progettati per lavorare al fianco delle persone.

Invece di avvicinarsi a un pannello di controllo, gli operatori possono usare semplici segnali delle mani per avviare, fermare o guidare un robot a distanza. Questo riduce la dipendenza dai controlli fisici e può favorire flussi di lavoro più sicuri in fabbrica.

I sistemi di controllo avanzati basati sulla visione e abilitati da modelli di deep learning o algoritmi di apprendimento possono andare oltre i comandi di base. Possono interpretare movimenti più sottili delle mani e reagire con fluidità ai piccoli cambi di direzione, consentendo una guida e un'automazione più precise.

Fig. 4. Una mano robotica analizza il gesto di un utente (Fonte)

Vantaggi e svantaggi della tecnologia di riconoscimento dei gesti#

Ecco alcuni dei principali vantaggi dell'uso della tecnologia di riconoscimento dei gesti:

• Maggiore accessibilità: I gesti possono offrire un'alternativa agli utenti che hanno difficoltà a usare tastiere, touchscreen o controller.
• Funziona a distanza: I gesti possono essere riconosciuti da un punto qualsiasi della stanza, una caratteristica utile per smart TV, chioschi e dispositivi domestici.
• Flessibilità tra dispositivi: Gli stessi insiemi di gesti possono funzionare su telefoni, auto, schermi intelligenti e visori AR o VR, rendendo coerente l'interazione.

Allo stesso tempo, alcune difficoltà del mondo reale possono compromettere la precisione e la coerenza. Ecco alcuni fattori da considerare:

• Problemi di illuminazione e qualità delle telecamere: La scarsa illuminazione, i riflessi, le ombre o le telecamere a bassa risoluzione possono ridurre le prestazioni di riconoscimento. Questo, a sua volta, può influire sul controllo del movimento.
• Variazioni tra gli utenti: Le persone eseguono naturalmente i gesti in modo diverso e le differenze nella dimensione delle mani, nella flessibilità delle dita o negli accessori possono influire sulla precisione.
• Limiti dei movimenti rapidi: i gesti veloci possono causare sfocatura da movimento o indurre il modello a perdere fotogrammi chiave, soprattutto con le videocamere a bassa frequenza di fotogrammi.

Punti chiave#

La tecnologia di riconoscimento dei gesti è uscita dai laboratori di ricerca ed è ormai parte dei dispositivi e delle innovazioni di tutti i giorni. In particolare, la visione artificiale consente il controllo senza contatto nei videogiochi, nella robotica, nelle case intelligenti e nei sistemi automobilistici. Con il miglioramento dei modelli di visione, queste interfacce senza contatto diventeranno probabilmente più facili da realizzare e più diffuse.

Scopri la nostra community e il nostro repository GitHub per saperne di più sui modelli di visione artificiale. Esplora le nostre pagine dedicate alle soluzioni per approfondire applicazioni come la visione artificiale nella robotica e la visione artificiale nella logistica. Consulta le nostre opzioni di licenza e inizia a creare il tuo modello di IA per la visione.