Segmentazione delle istanze

La segmentazione delle istanze è un'attività avanzata di computer vision (CV) che identifica e delinea i singoli oggetti all'interno di un'immagine a livello di pixel. A differenza di altri compiti di visione, non si limita a classificare un'immagine o a disegnare un riquadro di delimitazione intorno agli oggetti, ma genera una maschera precisa a livello di pixel per ogni istanza di oggetto distinta. Questa tecnica fornisce una comprensione molto più approfondita di una scena, in quanto è in grado di distinguere tra oggetti sovrapposti della stessa classe.

Rilevamento di istanze o semantico e di oggetti

È importante distinguere la segmentazione delle istanze da altre attività di computer vision correlate.

• Rilevamento di oggetti: Questo compito identifica la presenza e la posizione degli oggetti, in genere disegnando riquadri rettangolari intorno ad essi e assegnando un'etichetta di classe. Risponde alla domanda "Cosa c'è nell'immagine e dove si trova?", ma non fornisce informazioni sulla forma.
• Segmentazione semantica: Questo compito classifica ogni pixel di un'immagine in una categoria specifica. Ad esempio, tutti i pixel che appartengono alle auto vengono etichettati come "auto", ma non si distingue tra due auto diverse nell'immagine. Risponde alla domanda "A quale categoria appartiene ogni pixel?".
• Segmentazione delle istanze: Combina le capacità di rilevamento degli oggetti e di segmentazione semantica. Rileva ogni istanza di oggetto e genera una maschera di segmentazione unica per essa. In un'immagine con tre auto, la segmentazione delle istanze produrrebbe tre maschere separate, ciascuna corrispondente a un'auto specifica.
• Segmentazione panottica: È la più completa delle operazioni di segmentazione, che fonde la segmentazione semantica e quella di istanza. Assegna a ogni pixel un'etichetta di classe e un ID di istanza unico, fornendo una comprensione completa e unificata della scena.

Come funziona la segmentazione delle istanze

I modelli di segmentazione delle istanze svolgono in genere due funzioni principali: in primo luogo, rilevano tutte le istanze di oggetti in un'immagine e, in secondo luogo, generano una maschera di segmentazione per ciascuna istanza rilevata. Questo processo è stato reso famoso da architetture come Mask R-CNN, che estende i rilevatori di oggetti come Faster R-CNN aggiungendo un ramo parallelo che predice una maschera binaria per ogni regione di interesse. I modelli moderni hanno ulteriormente perfezionato questo processo per migliorare la velocità e la precisione, consentendo l'inferenza in tempo reale in molte applicazioni. Lo sviluppo si basa spesso su potenti framework di deep learning come PyTorch e TensorFlow.

Applicazioni del mondo reale

I contorni dettagliati degli oggetti forniti dalla segmentazione delle istanze sono preziosi in numerosi campi.

• Veicoli autonomi: Le auto a guida autonoma si affidano alla segmentazione delle istanze per identificare con precisione la forma e la posizione dei singoli pedoni, veicoli e ciclisti. Questo dettaglio granulare è fondamentale per la navigazione sicura e la pianificazione del percorso, soprattutto in ambienti urbani complessi con molti oggetti sovrapposti. Dataset come Cityscapes hanno contribuito in modo determinante a far progredire questo settore.
• Analisi delle immagini mediche: In radiologia, la segmentazione delle istanze viene utilizzata per delineare con precisione tumori, lesioni e organi da scansioni TC o RM. Questo aiuta i medici a misurare le dimensioni di un tumore, a pianificare interventi chirurgici e a monitorare l'efficacia dei trattamenti. Per saperne di più, consultate il nostro post sull'uso di YOLO11 per il rilevamento dei tumori.
• Robotica: I robot utilizzano la segmentazione delle istanze per comprendere l'ambiente circostante, identificare gli oggetti specifici da afferrare ed evitare gli ostacoli con maggiore precisione. Questo è fondamentale per le attività di produzione e logistica.
• Analisi delle immagini satellitari: Questa tecnica viene utilizzata per contare i singoli alberi di una foresta, per mappare gli edifici di una città o per tracciare i cambiamenti nell'uso del suolo nel tempo con i dati di organizzazioni come la NASA.
• Agricoltura: Può essere utilizzato per identificare e contare i singoli frutti per la stima della resa o per rilevare specifiche erbe infestanti per l'applicazione mirata di erbicidi, una parte fondamentale dell'agricoltura di precisione.

Segmentazione delle istanze con Ultralytics YOLO

Ultralytics offre modelli all'avanguardia in grado di eseguire una segmentazione efficiente delle istanze. Modelli come YOLOv8 e il più recente YOLO11 sono stati progettati per fornire prestazioni elevate in vari compiti di visione, tra cui la segmentazione delle istanze. Per maggiori dettagli, consultare la documentazione relativa all'attività di segmentazione. Gli utenti possono sfruttare modelli pre-addestrati o eseguire una messa a punto su set di dati personalizzati come COCO utilizzando strumenti come la piattaforma Ultralytics HUB, che semplifica il flusso di lavoro dell'apprendimento automatico (ML) dalla gestione dei dati alla distribuzione dei modelli. Per l'implementazione pratica, sono disponibili risorse come il nostro tutorial sulla segmentazione con modelli Ultralytics YOLOv8 pre-addestrati o la nostra guida sull'isolamento degli oggetti di segmentazione. È inoltre possibile imparare a utilizzare Ultralytics YOLO11 per la segmentazione delle istanze.