Migliorare la stima dei keypoint delle mani con Ultralytics YOLO11

Di recente, gli interpreti della lingua dei segni al Super Bowl hanno attirato molta attenzione. Quando li guardi cantare la canzone del tuo artista preferito in TV, puoi capirli se conosci la lingua dei segni, perché il tuo cervello elabora i loro movimenti delle mani. Ma cosa succederebbe se anche un computer potesse fare lo stesso? Grazie alle soluzioni di tracciamento delle mani basate sull'IA, le macchine possono monitorare e interpretare i movimenti delle mani con una precisione impressionante.

Al centro di queste soluzioni c'è la visione artificiale, un sottocampo dell'IA che consente alle macchine di elaborare e comprendere le informazioni visive. Analizzando immagini e video, l'IA per la visione artificiale le aiuta a rilevare oggetti, monitorare i movimenti e riconoscere gesti complessi con notevole precisione.

Ad esempio, i modelli di visione artificiale come Ultralytics YOLO11 possono essere addestrati per rilevare e analizzare i keypoint della mano in tempo reale usando la stima della posa. In questo modo, questi modelli possono essere utilizzati per applicazioni come il riconoscimento dei gesti, la traduzione della lingua dei segni e le interazioni AR/VR.

In questo articolo esploreremo come Ultralytics YOLO11 abilita il tracciamento delle mani basato sull'IA, i dataset utilizzati per l'addestramento e come addestrare un modello personalizzato per la stima della posa della mano. Esamineremo anche applicazioni nel mondo reale. Iniziamo!

Comprendere il rilevamento dei keypoint della mano basato sull'IA#

L'IA può essere utilizzata per riconoscere e monitorare i movimenti delle mani nei dati visivi identificando keypoint come il polso, la punta delle dita e le articolazioni delle dita. Un approccio noto come stima della posa aiuta i computer a comprendere il movimento umano mappando i keypoint e analizzando come cambiano nel tempo. Ciò consente ai sistemi di IA di interpretare la postura del corpo, i gesti e gli schemi di movimento con grande precisione.

I modelli di visione artificiale rendono tutto questo possibile analizzando immagini o video per identificare i keypoint sulla mano e monitorarne il movimento. Una volta mappati questi punti, l'IA può riconoscere i gesti analizzando le relazioni spaziali tra i keypoint e il modo in cui cambiano nel tempo.

Ad esempio, se la distanza tra il pollice e l'indice diminuisce, l'IA può interpretarla come un movimento di pizzicamento. Allo stesso modo, monitorare il movimento dei keypoint in sequenze aiuta a identificare gesti complessi delle mani e persino a prevedere i movimenti futuri.

Fig. 1 Un esempio di riconoscimento dei keypoint di una mano mediante la visione artificiale.

È interessante notare che la stima della posa per il tracciamento delle mani ha aperto possibilità entusiasmanti, dal controllo senza mani dei dispositivi intelligenti al miglioramento della precisione robotica e dell'assistenza nelle applicazioni sanitarie. Con la continua evoluzione dell'IA e della visione artificiale, è probabile che il tracciamento delle mani svolga un ruolo sempre più importante nel rendere la tecnologia più interattiva, accessibile e intuitiva nella vita quotidiana.

Esplorare Ultralytics YOLO11 per la stima della posa#

Prima di approfondire come creare una soluzione per il tracciamento delle mani basato sull'IA, esaminiamo più da vicino la stima della posa e il modo in cui Ultralytics YOLO11 supporta questa attività di visione artificiale. A differenza del rilevamento standard degli oggetti, che identifica oggetti interi, la stima della posa si concentra sul rilevamento di punti di riferimento chiave, come articolazioni, arti o bordi, per analizzare il movimento e la postura.

In particolare, Ultralytics YOLO11 è progettato per la stima della posa in tempo reale. Sfruttando sia i metodi top-down sia quelli bottom-up, rileva in modo efficiente le persone e stima i keypoint in un unico passaggio, superando i modelli precedenti in velocità e precisione.

Ultralytics YOLO11 viene fornito già addestrato sul dataset COCO-Pose e può riconoscere i keypoint del corpo umano, inclusi testa, spalle, gomiti, polsi, fianchi, ginocchia e caviglie.

Fig. 2 Utilizzo di YOLO11 per la stima della posa umana.

Oltre alla stima della posa umana, Ultralytics YOLO11 può essere addestrato su misura per rilevare keypoint su una varietà di oggetti, sia animati sia inanimati. Questa flessibilità rende YOLO11 un'ottima opzione per un'ampia gamma di applicazioni.

Panoramica del dataset Hand Keypoints#

Il primo passo per l'addestramento personalizzato di un modello consiste nel raccogliere e annotare i dati oppure nel trovare un dataset esistente adatto alle esigenze del progetto. Ad esempio, il dataset Hand Keypoints è un buon punto di partenza per addestrare modelli di IA per la visione artificiale al tracciamento delle mani e alla stima della posa. Con 26.768 immagini annotate, elimina la necessità di un'etichettatura manuale.

Può essere utilizzato per addestrare modelli come Ultralytics YOLO11 a imparare rapidamente a rilevare e monitorare i movimenti delle mani. Il dataset include 21 keypoint per mano, che coprono il polso, le dita e le articolazioni. Inoltre, le annotazioni del dataset sono state generate con Google MediaPipe, uno strumento per sviluppare soluzioni basate sull'IA per l'elaborazione dei media in tempo reale, garantendo un rilevamento dei keypoint preciso e affidabile.

Fig. 3 I 21 keypoint inclusi nel dataset Hand Keypoints.

L'utilizzo di un dataset strutturato come questo fa risparmiare tempo e consente agli sviluppatori di concentrarsi sull'addestramento e sull'ottimizzazione dei modelli invece di raccogliere ed etichettare i dati. Il dataset è infatti già suddiviso in sottoinsiemi di addestramento (18.776 immagini) e convalida (7.992 immagini), facilitando la valutazione delle prestazioni del modello.

Come addestrare Ultralytics YOLO11 per la stima della posa della mano#

L'addestramento di YOLO11 per la stima della posa della mano è un processo semplice, soprattutto con il pacchetto Python di Ultralytics, che semplifica la configurazione e l'addestramento del modello. Poiché il dataset Hand Keypoints è già supportato nella pipeline di addestramento, può essere utilizzato immediatamente senza formattazione aggiuntiva, risparmiando tempo e fatica.

Ecco come funziona il processo di addestramento:

• Configura l'ambiente: il primo passo consiste nell'installare il pacchetto Python di Ultralytics.
• Carica il dataset Hand Keypoints: Ultralytics YOLO11 supporta nativamente questo dataset, quindi può essere scaricato e preparato automaticamente.
• Utilizza un modello preaddestrato: puoi iniziare con un modello Ultralytics YOLO11 preaddestrato per la stima della posa, che aiuta a migliorare la precisione e accelera il processo di addestramento.
• Addestra il modello: il modello impara a rilevare e monitorare i keypoint della mano attraverso molteplici cicli di addestramento.
• Monitora le prestazioni: il pacchetto Ultralytics fornisce anche strumenti integrati per monitorare metriche chiave come precisione e perdita, contribuendo a garantire che il modello migliori nel tempo.
• Salva e distribuisci: una volta addestrato, il modello può essere esportato e utilizzato per applicazioni di tracciamento delle mani in tempo reale.

Valutare il tuo modello addestrato su misura#

Seguendo i passaggi per creare un modello personalizzato, noterai che monitorare le prestazioni è essenziale. Oltre a seguire i progressi durante l'addestramento, valutare il modello in seguito è fondamentale per assicurarti che rilevi e monitori accuratamente i keypoint della mano.

Le principali metriche delle prestazioni, come la precisione, i valori di perdita e la precisione media media (mAP), aiutano a valutare il rendimento del modello. Il pacchetto Python di Ultralytics fornisce strumenti integrati per visualizzare i risultati e confrontare le predizioni con le annotazioni reali, facilitando l'individuazione delle aree da migliorare.

Per comprendere meglio le prestazioni del modello, puoi consultare grafici di valutazione come le curve della perdita, i grafici precisione-richiamo e le matrici di confusione, che vengono generati automaticamente nei log di addestramento.

Questi grafici aiutano a identificare problemi come l'overfitting (quando il modello memorizza i dati di addestramento ma ha difficoltà con dati nuovi) o l'underfitting (quando il modello non riesce ad apprendere sufficientemente bene gli schemi per ottenere prestazioni accurate) e guidano gli aggiustamenti necessari per migliorare la precisione. Inoltre, è importante testare il modello su nuove immagini o video per verificare quanto bene funzioni in scenari del mondo reale.

Applicazioni delle soluzioni di tracciamento delle mani basate sull'IA#

Esaminiamo ora alcune delle applicazioni più rilevanti della stima dei keypoint della mano con Ultralytics YOLO11.

Riconoscimento dei gesti in tempo reale con Ultralytics YOLO11#

Immagina di poter regolare il volume del televisore semplicemente agitando la mano o di poter navigare in un sistema domotico con un semplice gesto di scorrimento nell'aria. Il riconoscimento dei gesti in tempo reale basato su Ultralytics YOLO11 rende possibili queste interazioni senza contatto rilevando accuratamente i movimenti delle mani in tempo reale.

Questo avviene utilizzando telecamere basate sull'IA per monitorare i punti chiave della mano e interpretare i gesti come comandi. Le telecamere con rilevamento della profondità, i sensori a infrarossi o persino le normali webcam acquisiscono i movimenti delle mani, mentre Ultralytics YOLO11 può elaborare i dati per riconoscere gesti diversi. Ad esempio, un sistema di questo tipo può distinguere tra uno scorrimento per cambiare canzone, un pizzicamento per ingrandire o un movimento circolare per regolare il volume.

Rilevamento dei keypoint della mano basato sull'IA per il riconoscimento della lingua dei segni#

Le soluzioni di tracciamento delle mani basate sull'IA possono favorire una comunicazione fluida tra una persona sorda e qualcuno che non conosce la lingua dei segni. Ad esempio, i dispositivi intelligenti integrati con telecamere e Ultralytics YOLO11 possono essere utilizzati per tradurre istantaneamente la lingua dei segni in testo o parlato.

Grazie a innovazioni come Ultralytics YOLO11, gli strumenti di traduzione della lingua dei segni stanno diventando più precisi e accessibili. Questo ha un impatto su applicazioni come le tecnologie assistive, i servizi di traduzione dal vivo e le piattaforme educative. L'IA può contribuire a colmare le lacune comunicative e promuovere l'inclusività nei luoghi di lavoro, nelle scuole e negli spazi pubblici.

La visione artificiale per il tracciamento delle mani: migliorare le esperienze AR e VR#

Hai mai giocato a un gioco di realtà virtuale (VR) in cui potevi afferrare oggetti senza usare un controller? Il tracciamento delle mani basato sulla visione artificiale lo rende possibile, consentendo agli utenti di interagire naturalmente in ambienti di realtà aumentata (AR) e VR.

Fig. 4 Il tracciamento delle mani è un elemento chiave delle applicazioni AR e VR.

Grazie alla stima dei keypoint della mano con modelli come Ultralytics YOLO11, l'IA monitora i movimenti in tempo reale, consentendo gesti come pizzicare, afferrare e scorrere. Questo migliora il gaming, la formazione virtuale e la collaborazione a distanza, rendendo le interazioni più intuitive. Con il miglioramento della tecnologia di tracciamento delle mani, AR e VR saranno ancora più immersive e realistiche.

Punti chiave#

La stima dei keypoint della mano con Ultralytics YOLO11 sta rendendo le soluzioni di tracciamento delle mani basate sull'IA più accessibili e affidabili. Dal riconoscimento dei gesti in tempo reale all'interpretazione della lingua dei segni e alle applicazioni AR/VR, la visione artificiale sta aprendo nuove possibilità nell'interazione uomo-computer.

Inoltre, i processi semplificati di addestramento personalizzato e ottimizzazione stanno aiutando gli sviluppatori a creare modelli efficienti per diversi utilizzi nel mondo reale. Con l'evoluzione della tecnologia di visione artificiale, possiamo aspettarci ulteriori innovazioni in settori come sanità, robotica, gaming e sicurezza.

Interagisci con la nostra community ed esplora i progressi dell’AI nel nostro repository GitHub. Scopri l’impatto dell’AI nella produzione e della computer vision nel settore sanitario nelle nostre pagine dedicate alle soluzioni. Esplora i nostri piani di licenza e inizia oggi il tuo percorso nell’AI!