Migliorare la stima dei punti chiave della mano con Ultralytics YOLO11

Di recente, gli interpreti della lingua dei segni al Super Bowl hanno attirato molta attenzione. Quando li guardi cantare la canzone del tuo artista preferito in TV, puoi comprenderli se conosci la lingua dei segni, perché il tuo cervello elabora i movimenti delle loro mani. Ma cosa succederebbe se un computer potesse fare lo stesso? Grazie alle soluzioni di tracciamento manuale basate sull'IA, è possibile per le macchine tracciare e interpretare i movimenti delle mani con una precisione impressionante.

Al centro di queste soluzioni c'è la computer vision, un sottocampo dell'intelligenza artificiale che consente alle macchine di elaborare e comprendere le informazioni visive. Analizzando immagini e video, la visione artificiale le aiuta a rilevare oggetti, tracciare movimenti e riconoscere gesti complessi con notevole precisione.

Ad esempio, i modelli di computer vision come Ultralytics YOLO11 possono essere addestrati per rilevare e analizzare i keypoints della mano in tempo reale utilizzando la stima della posa. In questo modo, tali modelli possono essere utilizzati per applicazioni come il riconoscimento dei gesti, la traduzione del linguaggio dei segni e le interazioni AR/VR.

In questo articolo esploreremo come Ultralytics YOLO11 abilita il tracciamento delle mani basato su IA, i dataset utilizzati per l'addestramento e come addestrare in modo personalizzato un modello per la stima della posa della mano. Daremo anche un'occhiata alle applicazioni nel mondo reale. Iniziamo!

Comprendere il rilevamento dei punti chiave della mano basato sull'IA#

L'AI può essere utilizzata per riconoscere e tracciare i movimenti della mano nei dati visivi identificando keypoints come il polso, la punta delle dita e le articolazioni delle dita. Un approccio, noto come pose estimation, aiuta i computer a comprendere il movimento umano mappando i keypoints e analizzando come cambiano nel tempo. Ciò consente ai sistemi di AI di interpretare postura corporea, gesti e pattern di movimento con elevata precisione.

I Computer vision models rendono tutto ciò possibile analizzando immagini o video per identificare i keypoints sulla mano e tracciarne il movimento. Una volta mappati questi punti, l'AI può riconoscere i gesti analizzando le relazioni spaziali tra i keypoints e il loro cambiamento nel tempo.

Ad esempio, se la distanza tra il pollice e l'indice diminuisce, l'IA può interpretarlo come un movimento di presa. Allo stesso modo, tracciare come si muovono i punti chiave in sequenza aiuta a identificare gesti complessi della mano e persino a prevedere i movimenti futuri.

Fig 1. Un esempio di riconoscimento dei keypoints in una mano tramite computer vision.

È interessante notare che la stima della posa per il tracciamento della mano ha aperto possibilità entusiasmanti, dal controllo senza mani dei dispositivi smart a una maggiore precisione robotica e assistenza nelle applicazioni sanitarie. Man mano che l'IA e la visione artificiale continuano a evolversi, il tracciamento della mano svolgerà probabilmente un ruolo sempre più importante nel rendere la tecnologia più interattiva, accessibile e intuitiva nella vita quotidiana.

Esplorazione di Ultralytics YOLO11 per la stima della posa#

Prima di immergerci in come creare una soluzione per il tracciamento delle mani basato su IA, diamo un'occhiata più da vicino alla stima della posa e a come Ultralytics YOLO11 supporta questo compito di visione artificiale. A differenza del rilevamento di oggetti standard, che identifica interi oggetti, la stima della posa si concentra sul rilevamento di punti di riferimento chiave, come articolazioni, arti o bordi, per analizzare il movimento e la postura.

Nello specifico, Ultralytics YOLO11 è progettato per la stima della posa in tempo reale. Sfruttando sia metodi top-down che bottom-up, rileva in modo efficiente le persone e stima i punti chiave in un unico passaggio, superando i modelli precedenti in velocità e precisione.

Subito, Ultralytics YOLO11 è preaddestrato sul dataset COCO-Pose e può riconoscere i punti chiave del corpo umano, inclusi testa, spalle, gomiti, polsi, anche, ginocchia e caviglie.

Fig 2. Utilizzo di YOLO11 per la stima della posa umana.

Oltre alla stima della posa umana, Ultralytics YOLO11 può essere addestrato in modo personalizzato per rilevare punti chiave su una varietà di oggetti, sia animati che inanimati. Questa flessibilità rende YOLO11 un'ottima opzione per un'ampia gamma di applicazioni.

Una panoramica del dataset Hand Keypoints#

Il primo passo nell'addestramento personalizzato di un modello consiste nel raccogliere dati e annotarli o trovare un dataset esistente che soddisfi le esigenze del progetto. Ad esempio, il Hand Keypoints dataset rappresenta un buon punto di partenza per addestrare modelli di visione artificiale per il tracciamento della mano e la stima della posa. Con 26.768 immagini annotate, elimina la necessità dell'etichettatura manuale.

Può essere utilizzato per addestrare modelli come Ultralytics YOLO11 a imparare rapidamente come rilevare e tracciare i movimenti della mano. Il dataset include 21 punti chiave per mano, coprendo polso, dita e articolazioni. Inoltre, le annotazioni del dataset sono state generate con Google MediaPipe, uno strumento per lo sviluppo di soluzioni basate su IA per l'elaborazione dei media in tempo reale, garantendo un rilevamento dei punti chiave preciso e affidabile.

Fig 3. I 21 keypoints inclusi nel dataset Hand Keypoints.

L'utilizzo di un dataset strutturato come questo fa risparmiare tempo e consente agli sviluppatori di concentrarsi sull'addestramento e sul perfezionamento dei propri modelli invece che sulla raccolta e sull'etichettatura dei dati. Infatti, il dataset è già suddiviso in sottoinsiemi di addestramento (18.776 immagini) e validazione (7.992 immagini), rendendo facile valutare le prestazioni del modello.

Come addestrare Ultralytics YOLO11 per la stima della posa della mano#

L'addestramento di YOLO11 per la stima della posa della mano è un processo semplice, soprattutto grazie al Ultralytics Python package, che rende la configurazione e l'addestramento del modello più facili. Poiché il dataset Hand Keypoints è già supportato nella pipeline di addestramento, può essere utilizzato immediatamente senza formattazione extra, facendo risparmiare tempo e fatica.

Ecco come funziona il processo di addestramento:

• Configura l'ambiente: il primo passo è installare il pacchetto Python Ultralytics.
• Carica il dataset Hand Keypoints: Ultralytics YOLO11 supporta questo dataset in modo nativo, quindi può essere scaricato e preparato automaticamente.
• Usa un modello preaddestrato: Puoi iniziare con un modello di stima della posa di Ultralytics YOLO11 preaddestrato, che aiuta a migliorare la precisione e velocizza il processo di addestramento.
• Addestra il modello: il modello impara a rilevare e tracciare i punti chiave della mano attraversando più cicli di addestramento.
• Monitora le prestazioni: il pacchetto Ultralytics fornisce anche strumenti integrati per tracciare metriche chiave come precisione e perdita, aiutando a garantire che il modello migliori nel tempo.
• Salva e distribuisci: Una volta addestrato, il modello può essere esportato e utilizzato per applicazioni di tracciamento della mano in tempo reale.

Valutare il tuo modello addestrato in modo personalizzato#

Seguendo i passaggi per la creazione di un modello personalizzato, noterai che il monitoraggio delle prestazioni è essenziale. Oltre a tracciare i progressi durante l'addestramento, valutare il modello in seguito è fondamentale per assicurarsi che rilevi e tracci accuratamente i punti chiave della mano.

Performance metrics chiave come accuratezza, valori di perdita e mean average precision (mAP) aiutano a valutare le prestazioni del modello. Il pacchetto Python di Ultralytics fornisce strumenti integrati per visualizzare i risultati e confrontare le previsioni con le annotazioni reali, semplificando l'individuazione di aree di miglioramento.

Per comprendere meglio le prestazioni del modello, puoi controllare i grafici di valutazione come le curve di perdita, i grafici precisione-richiamo e le matrici di confusione, che vengono generati automaticamente nei log di addestramento.

Questi grafici aiutano a identificare problemi come l'overfitting (quando il modello memorizza i dati di addestramento ma ha difficoltà con i nuovi dati) o l'underfitting (quando il modello non riesce a imparare abbastanza bene i pattern per eseguire accuratamente) e guidano le regolazioni per migliorare la precisione. Inoltre, testare il modello su nuove immagini o video è importante per vedere come funziona in scenari reali.

Applicazioni delle soluzioni di tracciamento della mano basate sull'IA#

Successivamente, esaminiamo alcune delle applicazioni di maggior impatto della hand keypoints estimation with Ultralytics YOLO11.

Riconoscimento dei gesti in tempo reale con Ultralytics YOLO11#

Immagina di poter regolare il volume della TV semplicemente agitando la mano o di navigare in un sistema di smart home con un semplice gesto nell'aria. Il riconoscimento dei gesti in tempo reale basato su Ultralytics YOLO11 rende possibili queste interazioni senza contatto rilevando con precisione i movimenti della mano in tempo reale.

Questo funziona utilizzando telecamere IA per tracciare i punti chiave della mano e interpretare i gesti come comandi. Telecamere con rilevamento della profondità, sensori a infrarossi o persino normali webcam catturano i movimenti della mano, mentre Ultralytics YOLO11 può elaborare i dati per riconoscere diversi gesti. Ad esempio, un sistema di questo tipo può distinguere tra uno swipe per cambiare brano, un pizzico per ingrandire o un movimento circolare per regolare il volume.

Rilevamento dei punti chiave della mano basato sull'IA per il riconoscimento della lingua dei segni#

Le soluzioni di IA per il tracciamento della mano possono supportare una comunicazione fluida tra una persona non udente e qualcuno che non conosce la lingua dei segni. Ad esempio, dispositivi smart integrati con telecamere e Ultralytics YOLO11 possono essere utilizzati per tradurre istantaneamente la lingua dei segni in testo o voce.

Grazie a progressi come Ultralytics YOLO11, gli strumenti di traduzione della lingua dei segni stanno diventando più precisi e accessibili. Ciò ha un impatto su applicazioni come la tecnologia assistiva, i servizi di traduzione dal vivo e le piattaforme educative. L'IA può aiutare a colmare le lacune di comunicazione e promuovere l'inclusività in luoghi di lavoro, scuole e spazi pubblici.

Visione artificiale per il tracciamento della mano: migliorare le esperienze AR e VR#

Hai mai giocato a un gioco di realtà virtuale (VR) in cui potevi afferrare oggetti senza usare un controller? Il tracciamento della mano alimentato dalla computer vision rende tutto ciò possibile consentendo agli utenti di interagire in modo naturale in ambienti di augmented reality (AR) e VR.

Fig 4. Il tracciamento della mano è una parte fondamentale delle applicazioni AR e VR.

Con la stima dei punti chiave della mano utilizzando modelli come Ultralytics YOLO11, l'IA traccia i movimenti in tempo reale, abilitando gesti come pizzicare, afferrare e scorrere. Ciò migliora il gaming, la formazione virtuale e la collaborazione remota, rendendo le interazioni più intuitive. Man mano che la tecnologia di tracciamento della mano migliora, la AR e la VR sembreranno ancora più immersive e realistiche.

Punti chiave#

La stima dei punti chiave della mano con Ultralytics YOLO11 sta rendendo le soluzioni di tracciamento della mano basate sull'IA più accessibili e affidabili. Dal riconoscimento dei gesti in tempo reale all'interpretazione della lingua dei segni e alle applicazioni AR/VR, la visione artificiale sta aprendo nuove possibilità nell'interazione uomo-computer.

Inoltre, i processi semplificati di addestramento personalizzato e di perfezionamento stanno aiutando gli sviluppatori a costruire modelli efficienti per vari utilizzi nel mondo reale. Man mano che la tecnologia di visione artificiale si evolve, possiamo aspettarci ancora più innovazioni in settori come sanità, robotica, gaming e sicurezza.

Interagisci con our community ed esplora i progressi dell'AI sul nostro GitHub repository. Scopri l'impatto di AI in manufacturing e computer vision in healthcare attraverso le nostre pagine di soluzioni. Esplora our licensing plans e inizia oggi stesso il tuo viaggio nell'AI!