Cos'è l'instance segmentation? Una guida rapida

Le applicazioni di Computer vision stanno diventando sempre più comuni nella nostra vita quotidiana, dalle telecamere per il traffico che monitorano le condizioni stradali ai sistemi di cassa automatica nei negozi. Consentendo alle macchine di comprendere i dati visivi in un modo simile a quello umano, la visione IA sta avendo un impatto in una serie di settori.

Molte di queste applicazioni si basano sul rilevamento degli oggetti, un computer vision task che posiziona riquadri di delimitazione attorno agli oggetti chiave nelle immagini. Sebbene questo approccio funzioni spesso bene, alcune soluzioni di analisi delle immagini richiedono una precisione ancora maggiore.

Ad esempio, l'imaging medico richiede molto più che la semplice rilevazione di un tumore: è fondamentale delineare la sua forma esatta. Allo stesso modo, nella robotica, le macchine devono riconoscere i contorni esatti di un oggetto per afferrarlo correttamente. Per affrontare queste sfide, l'instance segmentation offre una soluzione più precisa.

La segmentazione d'istanza è un'attività di computer vision progettata per supportare i casi d'uso in cui il rilevamento degli oggetti non è sufficiente: fornisce una precisione a livello di pixel. I modelli di computer vision come Ultralytics YOLO11 possono essere utilizzati per applicare facilmente la segmentazione d'istanza a immagini e video.

Fig 1. Esempio di utilizzo di YOLO11 per la segmentazione d'istanza.

In questa guida, analizzeremo come funziona l'instance segmentation, le sue applicazioni e come Ultralytics YOLO11 possa essere addestrato in modo personalizzato per specifici task di segmentazione.

Cos'è l'instance segmentation?#

Supponiamo che ci sia una foto di gruppo di persone vicine tra loro. L'object detection può aiutare a disegnare dei riquadri attorno a ogni persona, ma questo non ti dice la loro forma esatta.

La segmentazione d'istanza, d'altra parte, è simile a tracciare attentamente il contorno di ogni persona in modo da poterne vedere la sagoma completa, anche se si sovrappongono. Invece di contrassegnare semplicemente dove si trova qualcosa con un riquadro, identifica la forma esatta di ciascun oggetto a livello di pixel, rendendo più semplice la comprensione di immagini complesse.

Il risultato è una maschera dettagliata che riempie la forma di un oggetto, individuando esattamente quali pixel gli appartengono. Questo livello di precisione è utile in molte applicazioni del mondo reale in cui è importante comprendere la forma e i confini esatti degli oggetti.

Fig 2. Esempio del supporto di Ultralytics YOLO11 per la segmentazione d'istanza.

Instance segmentation vs semantic segmentation#

Esplorando la segmentazione d'istanza, potresti imbatterti nel concetto di semantic segmentation.

Entrambe le tecniche aiutano i computer a comprendere le immagini a livello di pixel, ma servono a scopi diversi. La semantic segmentation etichetta ogni pixel in base alla sua categoria, raggruppando tutti gli oggetti dello stesso tipo. Ad esempio, in un'immagine con più auto, la semantic segmentation le contrassegnerebbe tutte come "auto" senza distinguere tra i singoli veicoli.

L'instance segmentation, d'altra parte, fa un passo avanti identificando ogni oggetto separatamente. Assegna etichette univoche alle singole istanze e crea maschere precise attorno alle loro forme. Quindi, nella stessa immagine, l'instance segmentation non si limiterebbe a etichettare tutto come "auto", ma riconoscerebbe e delineerebbe ogni auto individualmente.

La differenza principale tra le due è che la semantic segmentation raggruppa gli oggetti per categoria, mentre l'instance segmentation distingue ogni oggetto come un'entità unica con confini chiari. Scegliere quale task utilizzare dipende dall'applicazione specifica: se è sufficiente sapere cosa c'è in un'immagine o se è importante differenziare tra i singoli oggetti.

Fig 3. Segmentazione d'istanza rispetto alla segmentazione semantica (rispettivamente a destra e a sinistra).

Modelli di instance segmentation popolari#

Al giorno d'oggi sono disponibili vari modelli di instance segmentation per la comunità della visione artificiale. Alcuni sono più veloci, altri più precisi e altri ancora più facili da usare.

Queste opzioni, sebbene utili, possono portare alla domanda: qual è quella giusta da utilizzare per uno specifico task? Tra le opzioni, i modelli Ultralytics YOLO sono molto popolari perché si concentrano su velocità e precisione.

Inoltre, questi modelli si sono evoluti significativamente nel corso degli anni. Ad esempio, Ultralytics YOLOv5 ha semplificato il deployment utilizzando framework come PyTorch, rendendo la visione IA avanzata accessibile a un pubblico più ampio senza richiedere una profonda esperienza tecnica.

Basandosi su questo successo, Ultralytics YOLOv8 ha introdotto un supporto avanzato per attività di computer vision come la segmentazione d'istanza, la stima della posa e la classificazione delle immagini.

Ora, Ultralytics YOLO11 porta le prestazioni a un nuovo livello. Ottiene una precisione media superiore (mAP) sul dataset COCO con il 22% di parametri in meno rispetto a YOLOv8m, il che significa che pu$$ riconoscere gli oggetti con maggiore precisione utilizzando meno risorse.

Fig 4. Benchmarking di YOLO11.

In parole semplici, Ultralytics YOLO11 offre un'accuratezza all'avanguardia senza compromettere l'efficienza, rappresentando una vera svolta nel settore.

Comprendere come funziona l'instance segmentation#

Successivamente, esploriamo come funziona tipicamente la segmentazione d'istanza. I computer vision models più vecchi utilizzano un approccio in due fasi.

Innanzitutto, rilevano gli oggetti disegnando riquadri di delimitazione attorno ad essi. Quindi, generano una maschera a livello di pixel per delineare la forma esatta di ciascun oggetto. Un esempio ben noto è Mask R-CNN, che si basa sui modelli di object detection aggiungendo una fase di previsione delle maschere. Sebbene questo metodo sia efficace, può essere lento perché elabora l'immagine in più fasi, rendendo le applicazioni in tempo reale più impegnative.

Nel frattempo, modelli come Ultralytics YOLO11 elaborano le immagini in un solo passaggio, prevedendo simultaneamente i bounding box degli oggetti e le maschere di segmentazione delle istanze. Questo approccio ottimizzato lo rende molto più veloce pur mantenendo un'elevata accuratezza. Di conseguenza, è particolarmente utile per applicazioni in tempo reale come guida autonoma, analisi video e robotica, dove sia la velocità che la precisione sono cruciali.

Addestramento personalizzato di Ultralytics YOLO11 per la segmentazione d'istanza#

Subito pronto all'uso, YOLO11 si presenta come un modello pre-addestrato. È stato addestrato sul COCO-Seg dataset, che copre oggetti di uso quotidiano per la segmentazione d'istanza. Tuttavia, il pacchetto Python di Ultralytics supporta l'addestramento personalizzato, essenziale per applicazioni specializzate in cui è necessario segmentare oggetti unici.

Perché l'addestramento personalizzato o il fine-tuning di un modello sono importanti? Il custom training sfrutta il transfer learning basandosi sulle conoscenze già incorporate nei modelli pre-addestrati. Piuttosto che ricominciare da zero, adatta un modello esistente a nuove attività utilizzando set di dati più piccoli e minori risorse di calcolo, mantenendo al contempo un'elevata precisione.

Come eseguire l'addestramento personalizzato di Ultralytics YOLO11#

Ecco un'analisi più approfondita dei passaggi necessari per il fine-tuning di Ultralytics YOLO11 per la segmentazione delle istanze:

• Preparazione dei dati: raccogli e annota le immagini in base alla tua specifica applicazione. Ultralytics offre supporto per più image datasets, ma puoi anche effettuare l'addestramento utilizzando il tuo set di dati preparando immagini e annotazioni nel formato YOLO richiesto.
• Utilizzo di un modello pre-addestrato: Invece di ricominciare da zero, utilizza un modello Ultralytics YOLO11 pre-addestrato.
• Addestramento del modello: Regola le impostazioni di addestramento vitali come la dimensione del batch (immagini elaborate per iterazione), la dimensione dell'immagine (risoluzione di input target) e le epoche (cicli di addestramento totali) e addestra il modello.
• Valutazione delle prestazioni: Una volta completato l'addestramento, puoi testare la precisione del modello utilizzando metriche di performance come la mAP. Il pacchetto Python di Ultralytics fornisce anche funzioni integrate per la valutazione del modello.

Applicazioni di segmentazione delle istanze abilitate da Ultralytics YOLO11#

L'instance segmentation può essere utilizzata per risolvere sfide del mondo reale aiutando le macchine a vedere e comprendere gli oggetti in modo più accurato. Dal miglioramento dell'automazione alla protezione dell'ambiente, svolge un ruolo chiave in molti campi. Esaminiamo alcuni esempi in cui sta avendo un impatto.

Sicurezza e monitoraggio nei cantieri edili tramite Ultralytics YOLO11#

L'instance segmentation può essere una parte fondamentale per garantire sicurezza ed efficienza nei cantieri edili. Ad esempio, può essere utilizzata per monitorare macchinari pesanti.

Ultralytics YOLO11 può essere sottoposto a fine-tuning per segmentare e identificare con precisione diversi tipi di attrezzature, come gru, escavatori e bulldozer, e tracciarne le posizioni in tempo reale. Ciò consente ai responsabili del cantiere di assicurarsi che i macchinari operino rigorosamente all'interno delle aree designate e non invadano zone in cui sono presenti lavoratori o in cui esistono pericoli.

Inoltre, l'integrazione di tali soluzioni con sistemi di allerta in tempo reale consente di intraprendere rapide azioni correttive. Oltre a ciò, gli insight raccolti possono aiutare a ottimizzare il layout e il flusso di lavoro del sito, riducendo ulteriormente i rischi e aumentando la produttività.

Fig 5. Monitoraggio di macchinari pesanti tramite Ultralytics YOLO11.

Monitoraggio degli animali con la segmentazione e Ultralytics YOLO11#

Il monitoraggio del comportamento degli animali aiuta ricercatori, agricoltori e ambientalisti a prendersi cura al meglio degli animali in diversi ambienti. La segmentazione d'istanza svolge un ruolo utile in questi sistemi identificando e segmentando i singoli animali in fattorie, zoo e habitat naturali. A differenza del rilevamento degli oggetti tradizionale che utilizza riquadri di delimitazione, la segmentazione d'istanza fornisce una delimitazione a livello di pixel di ciascun animale, particolarmente utile quando gli animali si trovano in prossimità ravvicinata.

La segmentazione dettagliata facilita un tracciamento più accurato dei movimenti e dei comportamenti. Gli animali sovrapposti o strettamente raggruppati possono essere distinti chiaramente, fornendo un'analisi più precisa delle interazioni, delle valutazioni sanitarie e dei modelli di attività. Complessivamente, approfonditi insight sul comportamento animale migliorano le pratiche di cura e gestione degli animali.

Fig 6. Monitoraggio del bestiame tramite segmentazione d'istanza.

Ultralytics YOLO11 nell'analisi sportiva e nel tracciamento dei giocatori#

Il tracciamento preciso dei giocatori e degli eventi è una parte fondamentale dell'analisi sportiva. I metodi di tracciamento tradizionali si basano sulla marcatura manuale, che potrebbe non catturare le interazioni dettagliate. La visione artificiale può essere utilizzata per segmentare dettagli come ogni giocatore, palla e evento chiave a livello di pixel per ottenere insight approfonditi.

Ad esempio, la segmentazione delle istanze può aiutare a rilevare eventi come falli o incidenti senza palla separando chiaramente ciascun giocatore e oggetto. Questo monitoraggio granulare reso possibile da modelli come Ultralytics YOLO11 offre agli analisti informazioni più chiare per studiare i pattern di movimento, il posizionamento spaziale e le interazioni con elevata accuratezza. Un vantaggio chiave di questi insight è che aiutano le squadre a perfezionare le proprie strategie e a migliorare le prestazioni generali.

Pro e contro dell'instance segmentation#

Ecco alcuni dei principali vantaggi che l'instance segmentation può portare a vari settori:

• Automazione migliorata: Automatizzando task come il controllo qualità e il monitoraggio della sicurezza, l'instance segmentation riduce la necessità di intervento manuale e minimizza l'errore umano.
• Migliore comprensione della scena: Delineando accuratamente ogni oggetto, l'instance segmentation contribuisce a una comprensione più profonda di scene complesse, supportando un processo decisionale più informato.
• Post-elaborazione efficiente: L'output a livello di pixel semplifica task come la rimozione dello sfondo, il conteggio degli oggetti e l'analisi spaziale, riducendo la necessità di ulteriori passaggi di elaborazione.

Sebbene questi vantaggi evidenzino come l'instance segmentation influenzi diversi casi d'uso, è anche essenziale considerare le sfide coinvolte nella sua implementazione.

Ecco alcune delle principali limitazioni dell'instance segmentation:

• Sfide con la trasparenza: La segmentazione di oggetti trasparenti o riflettenti come vetro e acqua è difficile, portando a confini imprecisi.
• Costi di manutenzione: Per mantenere i modelli precisi e pertinenti, sono necessari aggiornamenti continui e fine-tuning man mano che le condizioni ambientali e i dataset cambiano.
• Elevato sforzo di annotazione: L'addestramento dei modelli di instance segmentation richiede annotazioni dettagliate a livello di pixel, il che aumenta significativamente i tempi e i costi necessari per la preparazione dei dati.

Punti chiave#

L'instance segmentation consente di distinguere i singoli oggetti con precisione, anche quando si sovrappongono. Catturando i confini degli oggetti a livello di pixel, fornisce una comprensione più profonda dei dati visivi rispetto ai task di visione artificiale tradizionali come l'object detection.

I recenti progressi nella visione artificiale hanno reso l'instance segmentation più veloce e più facile da usare. In particolare, modelli di visione artificiale come Ultralytics YOLO11 semplificano il processo, consentendo la segmentazione in tempo reale con una configurazione minima, rendendola più accessibile per vari settori e applicazioni.

Curioso riguardo all'IA? Visita our GitHub repository e connettiti con our community per continuare a esplorare. Scopri innovazioni come AI in self-driving cars e vision AI in agriculture sulle nostre pagine di soluzioni. Dai un'occhiata alle our licensing options e inizia un progetto di computer vision!