Che cos’è la segmentazione delle istanze? Una guida rapida

Le applicazioni di computer vision stanno diventando sempre più comuni nella nostra vita quotidiana, dalle telecamere del traffico che monitorano le condizioni stradali ai sistemi di pagamento automatico nei negozi. Consentendo alle macchine di comprendere i dati visivi in modo simile agli esseri umani, l'AI per la visione sta avendo un impatto su numerosi settori.

Molte di queste applicazioni si basano sul rilevamento degli oggetti, un task di computer vision che traccia riquadri delimitatori attorno agli oggetti principali nelle immagini. Sebbene questo approccio funzioni spesso bene, alcune soluzioni di analisi delle immagini richiedono una precisione ancora maggiore.

Per esempio, l'imaging medico richiede più del semplice rilevamento di un tumore: è fondamentale delinearne la forma esatta. Analogamente, nella robotica, le macchine devono riconoscere i contorni precisi di un oggetto per afferrarlo correttamente. Per affrontare queste sfide, la segmentazione delle istanze offre una soluzione più precisa.

La segmentazione delle istanze è un task di computer vision progettato per supportare i casi d'uso in cui rilevare gli oggetti non è sufficiente: offre una precisione a livello di pixel. I modelli di computer vision come Ultralytics YOLO11 possono essere utilizzati per applicare facilmente la segmentazione delle istanze a immagini e video.

Fig. 1 Esempio di utilizzo di YOLO11 per la segmentazione delle istanze.

In questa guida analizzeremo il funzionamento della segmentazione delle istanze, le sue applicazioni e il modo in cui Ultralytics YOLO11 può essere addestrato su misura per specifici task di segmentazione.

Che cos'è la segmentazione delle istanze?#

Immagina una foto di gruppo con persone in piedi molto vicine. Il rilevamento degli oggetti può aiutare a tracciare riquadri attorno a ciascuna persona, ma non ne mostra la forma esatta.

La segmentazione delle istanze, invece, è simile a tracciare con attenzione il contorno di ogni persona per poterne vedere la sagoma completa, anche quando le persone si sovrappongono. Anziché limitarsi a indicare la posizione di qualcosa con un riquadro, identifica la forma esatta di ogni oggetto a livello di pixel, rendendo più semplice comprendere immagini complesse.

Il risultato è una maschera dettagliata che riempie la forma di un oggetto, individuando esattamente quali pixel gli appartengono. Questo livello di precisione è utile in molte applicazioni del mondo reale in cui è importante comprendere la forma esatta e i confini degli oggetti.

Fig. 2. Panoramica del supporto di Ultralytics YOLO11 per la segmentazione delle istanze.

Segmentazione delle istanze e segmentazione semantica#

Esplorando la segmentazione delle istanze, potresti imbatterti nel concetto di segmentazione semantica.

Entrambe le tecniche aiutano i computer a comprendere le immagini a livello di pixel, ma hanno scopi diversi. La segmentazione semantica assegna un'etichetta a ogni pixel in base alla sua categoria, raggruppando tutti gli oggetti dello stesso tipo. Per esempio, in un'immagine con più automobili, la segmentazione semantica le contrassegnerebbe tutte come "auto" senza distinguere i singoli veicoli.

La segmentazione delle istanze, invece, fa un passo in più identificando ogni oggetto separatamente. Assegna etichette univoche alle singole istanze e crea maschere precise attorno alle loro forme. Quindi, nella stessa immagine, la segmentazione delle istanze non etichetterebbe semplicemente tutto come "auto", ma riconoscerebbe e delineerebbe ogni automobile individualmente.

La differenza principale tra le due tecniche è che la segmentazione semantica raggruppa gli oggetti per categoria, mentre la segmentazione delle istanze distingue ogni oggetto come entità univoca, con confini ben definiti. La scelta del task da utilizzare dipende dall'applicazione specifica: se è sufficiente sapere cosa c'è in un'immagine o se è importante distinguere i singoli oggetti.

Fig. 3 Segmentazione delle istanze e segmentazione semantica (rispettivamente a destra e a sinistra).

Modelli di segmentazione delle istanze più diffusi#

Oggi la comunità dell'AI per la visione ha a disposizione diversi modelli di segmentazione delle istanze. Alcuni sono più veloci, altri più accurati e altri ancora più semplici da usare.

Sebbene queste opzioni siano utili, possono far sorgere una domanda: qual è quella giusta per uno specifico task? Tra le opzioni disponibili, i modelli Ultralytics YOLO sono molto diffusi perché si concentrano su velocità e precisione.

Inoltre, questi modelli si sono evoluti notevolmente nel corso degli anni. Per esempio, Ultralytics YOLOv5 ha semplificato il deployment utilizzando framework come PyTorch, rendendo l'AI avanzata per la visione accessibile a un pubblico più ampio senza richiedere competenze tecniche approfondite.

Sulla base di questo successo, Ultralytics YOLOv8 ha introdotto un supporto avanzato per task di computer vision come la segmentazione delle istanze, la stima della posa e la classificazione delle immagini.

Ora Ultralytics YOLO11 porta le prestazioni a un nuovo livello. Ottiene una precisione media media (mAP) più elevata sul dataset COCO con il 22% di parametri in meno rispetto a YOLOv8m, il che significa che può riconoscere gli oggetti con maggiore precisione utilizzando meno risorse.

Fig. 4 Benchmark di YOLO11.

In poche parole, Ultralytics YOLO11 offre una precisione all'avanguardia senza compromettere l'efficienza, rappresentando una svolta nel settore.

Come funziona la segmentazione delle istanze#

Vediamo ora come funziona in genere la segmentazione delle istanze. I modelli di computer vision meno recenti utilizzano un approccio in due fasi.

Per prima cosa rilevano gli oggetti tracciando riquadri delimitatori attorno a essi. Poi generano una maschera a livello di pixel per delineare la forma esatta di ogni oggetto. Un esempio noto è Mask R-CNN, che si basa sui modelli di rilevamento degli oggetti aggiungendo una fase di predizione della maschera. Sebbene questo metodo sia efficace, può essere lento perché elabora l'immagine in più fasi, rendendo più impegnative le applicazioni in tempo reale.

I modelli come Ultralytics YOLO11, invece, elaborano le immagini in un'unica fase, prevedendo simultaneamente i riquadri delimitatori degli oggetti e le maschere di segmentazione delle istanze. Questo approccio semplificato è molto più veloce, pur mantenendo un'elevata precisione. Di conseguenza, è particolarmente utile per applicazioni in tempo reale come la guida autonoma, l'analisi video e la robotica, dove velocità e precisione sono fondamentali.

Addestramento personalizzato di Ultralytics YOLO11 per la segmentazione delle istanze#

YOLO11 viene fornito come modello pre-addestrato. È stato addestrato sul dataset COCO-Seg, che include oggetti di uso quotidiano per la segmentazione delle istanze. Tuttavia, il pacchetto Ultralytics Python supporta l'addestramento personalizzato, essenziale per applicazioni specializzate in cui è necessario segmentare oggetti unici.

Perché è importante l'addestramento personalizzato o il fine-tuning di un modello? L'addestramento personalizzato sfrutta il transfer learning basandosi sulle conoscenze già incorporate nei modelli pre-addestrati. Anziché partire da zero, adatta un modello esistente a nuovi task utilizzando dataset più piccoli e meno risorse di calcolo, mantenendo al contempo un'elevata precisione.

Come addestrare su misura Ultralytics YOLO11#

Ecco una panoramica più dettagliata dei passaggi necessari per eseguire il fine-tuning di Ultralytics YOLO11 per la segmentazione delle istanze:

• Preparazione dei dati: raccogli e annota le immagini in base alla tua applicazione specifica. Ultralytics supporta diversi dataset di immagini, ma puoi anche addestrare il modello utilizzando il tuo dataset, preparando immagini e annotazioni nel formato YOLO richiesto.
• Utilizzo di un modello pre-addestrato: anziché partire da zero, utilizza un modello Ultralytics YOLO11 pre-addestrato.
• Addestramento del modello: regola impostazioni fondamentali come la dimensione del batch (immagini elaborate per iterazione), la dimensione dell'immagine (risoluzione di input target) e le epoche (cicli di addestramento totali), quindi addestra il modello.
• Valutazione delle prestazioni: al termine dell'addestramento del modello, puoi testarne la precisione utilizzando metriche delle prestazioni come mAP. Il pacchetto Ultralytics Python offre anche funzioni integrate per la valutazione del modello.

Applicazioni della segmentazione delle istanze abilitate da Ultralytics YOLO11#

La segmentazione delle istanze può essere utilizzata per risolvere sfide del mondo reale, aiutando le macchine a vedere e comprendere gli oggetti con maggiore precisione. Dal miglioramento dell'automazione alla protezione dell'ambiente, svolge un ruolo fondamentale in molti ambiti. Vediamo alcuni esempi del suo impatto.

Sicurezza e monitoraggio dei cantieri con Ultralytics YOLO11#

La segmentazione delle istanze può essere fondamentale per garantire sicurezza ed efficienza nei cantieri. Per esempio, può essere utilizzata per monitorare i macchinari pesanti.

Ultralytics YOLO11 può essere sottoposto a fine-tuning per segmentare e identificare con precisione diversi tipi di attrezzature, come gru, escavatori e bulldozer, e monitorarne le posizioni in tempo reale. Questo consente ai responsabili del cantiere di assicurarsi che i macchinari operino esclusivamente nelle aree designate e non invadano le zone in cui sono presenti lavoratori o pericoli.

Inoltre, l'integrazione di queste soluzioni con sistemi di allerta in tempo reale consente di adottare rapidamente azioni correttive. Oltre a questo, gli insight raccolti possono contribuire a ottimizzare la disposizione e il flusso di lavoro del cantiere, riducendo ulteriormente i rischi e aumentando la produttività.

Fig. 5 Monitoraggio dei macchinari pesanti con Ultralytics YOLO11.

Monitoraggio degli animali con la segmentazione e Ultralytics YOLO11#

Il monitoraggio del comportamento animale aiuta ricercatori, agricoltori e ambientalisti a prendersi meglio cura degli animali in ambienti diversi. La segmentazione delle istanze svolge un ruolo utile in questi sistemi, identificando e segmentando singoli animali in fattorie, zoo e habitat naturali. A differenza del rilevamento tradizionale degli oggetti, che utilizza riquadri delimitatori, la segmentazione delle istanze fornisce una delineazione a livello di pixel di ciascun animale, particolarmente utile quando gli animali si trovano vicini.

Una segmentazione dettagliata facilita un monitoraggio più preciso dei movimenti e dei comportamenti. Gli animali sovrapposti o raggruppati a distanza ravvicinata possono essere riconosciuti distintamente, consentendo un'analisi più precisa delle interazioni, dello stato di salute e dei modelli di attività. Nel complesso, insight più approfonditi sul comportamento animale migliorano le pratiche di cura e gestione degli animali.

Fig. 6 Monitoraggio dei bovini con la segmentazione delle istanze.

Ultralytics YOLO11 nell'analisi sportiva e nel monitoraggio dei giocatori#

Il monitoraggio preciso dei giocatori e degli eventi è una componente fondamentale dell'analisi sportiva. I metodi di monitoraggio tradizionali si basano sull'assegnazione manuale di tag, che potrebbe non catturare interazioni dettagliate. La computer vision può essere utilizzata per segmentare a livello di pixel elementi come ogni giocatore, la palla e gli eventi principali, ottenendo insight dettagliati.

Per esempio, la segmentazione delle istanze può aiutare a rilevare eventi come falli o incidenti lontano dalla palla separando chiaramente ogni giocatore e oggetto. Questo monitoraggio granulare, abilitato da modelli come Ultralytics YOLO11, offre agli analisti informazioni più chiare per studiare i modelli di movimento, il posizionamento spaziale e le interazioni con elevata precisione. Un vantaggio importante di questi insight è che aiutano le squadre a perfezionare le proprie strategie e a migliorare le prestazioni complessive.

Vantaggi e svantaggi della segmentazione delle istanze#

Ecco alcuni dei principali vantaggi che la segmentazione delle istanze può offrire a diversi settori:

• Automazione migliorata: automatizzando attività come il controllo qualità e il monitoraggio della sicurezza, la segmentazione delle istanze riduce la necessità di interventi manuali e minimizza l'errore umano.
• Migliore comprensione della scena: delineando con precisione ogni oggetto, la segmentazione delle istanze contribuisce a una comprensione più approfondita delle scene complesse, supportando decisioni più consapevoli.
• Post-processing efficiente: l'output a livello di pixel semplifica attività come la rimozione dello sfondo, il conteggio degli oggetti e l'analisi spaziale, riducendo la necessità di ulteriori fasi di elaborazione.

Sebbene questi vantaggi evidenzino l'impatto della segmentazione delle istanze su diversi casi d'uso, è essenziale considerare anche le difficoltà legate alla sua implementazione.

Ecco alcune delle principali limitazioni della segmentazione delle istanze:

• Difficoltà con la trasparenza: segmentare oggetti trasparenti o riflettenti come vetro e acqua è difficile e porta a confini imprecisi.
• Onere della manutenzione: per mantenere i modelli accurati e pertinenti, sono necessari aggiornamenti e fine-tuning continui al variare delle condizioni ambientali e dei dataset.
• Elevato impegno nell'annotazione: l'addestramento dei modelli di segmentazione delle istanze richiede annotazioni dettagliate a livello di pixel, aumentando significativamente il tempo e i costi della preparazione dei dati.

Punti chiave#

La segmentazione delle istanze consente di distinguere con precisione i singoli oggetti, anche quando si sovrappongono. Catturando i confini degli oggetti a livello di pixel, offre una comprensione più approfondita dei dati visivi rispetto ai task di computer vision tradizionali come il rilevamento degli oggetti.

I recenti progressi nella computer vision hanno reso la segmentazione delle istanze più veloce e semplice da utilizzare. In particolare, i modelli di computer vision come Ultralytics YOLO11 semplificano il processo, consentendo la segmentazione in tempo reale con una configurazione minima e rendendola più accessibile a diversi settori e applicazioni.

Sei curioso di conoscere l'AI? Visita il nostro repository GitHub e connettiti con la nostra community per continuare a esplorare. Scopri innovazioni come l'AI nelle auto a guida autonoma e l'AI per la visione nell'agricoltura nelle nostre pagine dedicate alle soluzioni. Dai un'occhiata alle nostre opzioni di licenza e inizia un progetto di computer vision!