Segmentazione di istanza

La segmentazione delle istanze è una sofisticata tecnica di visione computerizzata (CV) che identifica, localizzare e delineare i singoli oggetti all'interno di un'immagine a livello di pixel. A differenza del rilevamento degli oggetti, che approssima la posizione di un oggetto di un oggetto con un riquadro di delimitazione rettangolare, la segmentazione dell'istanza genera una maschera precisa che delinea la forma esatta di ogni oggetto distinto. Questo livello granulare di di dettaglio permette ai sistemi di distinguere tra più istanze della stessa classe, come ad esempio separare due auto sovrapposte o singole persone in una folla. due auto che si sovrappongono o singole persone in una folla. intelligenza artificiale (AI) avanzate.

Differenza rispetto ai compiti correlati

Per comprendere appieno la segmentazione delle istanze, è utile confrontarla con altri compiti fondamentali di compiti fondamentali della visione artificiale:

• Segmentazione semantica: Questo compito classifica ogni pixel di un'immagine in una categoria (ad esempio, "cielo", "strada", "persona"), ma non distingue i singoli oggetti. "persona"), ma non distingue i singoli oggetti. Tutti i pixel appartenenti alla classe "auto" sono raggruppati insieme, il che significa che non è possibile distinguere un'auto da un'altra.
• Rilevamento dell'oggetto: Questa attività rileva la presenza e la posizione degli oggetti, racchiudendoli in caselle di delimitazione. Mentre distingue tra le singole istanze (ad esempio, auto A e auto B), non ne coglie la forma o i confini.
• Segmentazione panottica: Combina il meglio dei due mondi, assegnando un'etichetta di classe a ogni pixel (semantica) e identificando in modo univoco le singole istanze di oggetti (istanza), fornendo una comprensione completa della scena. istanze di oggetti individuali (istanza), fornendo una comprensione completa della scena.

La segmentazione delle istanze fonde efficacemente le capacità di localizzazione del rilevamento degli oggetti con la precisione a livello di pixel della segmentazione semantica. precisione della segmentazione semantica.

Come funziona

I modelli di segmentazione delle istanze utilizzano generalmente architetture di deep learning (DL), in particolare reti neurali convoluzionali (CNN), per estrarre le caratteristiche da un'immagine. Il processo prevede in genere due fasi parallele:

1. Localizzazione: Il modello predice la classe e le coordinate del rettangolo di selezione per ogni oggetto.
2. Generazione della maschera: Contemporaneamente, il modello predice una maschera binaria all'interno della regione rilevata, determinare esattamente quali pixel appartengono all'oggetto.

I primi approcci, come Mask R-CNN, utilizzavano un processo a due fasi, prima generando proposte di regioni e poi raffinandole. Le architetture moderne, come Ultralytics YOLO11hanno rivoluzionato questo aspetto eseguendo rilevamento e la segmentazione in un'unica fase. Ciò consente in tempo reale, rendendo possibile la segmentazione di segment gli oggetti nei flussi video in diretta con elevata velocità e precisione.

Applicazioni nel mondo reale

Il rilevamento preciso dei confini offerto dalla segmentazione delle istanze è indispensabile in diversi settori:

• Analisi delle immagini mediche: Nel settore sanitario, l'identificazione del volume e della forma esatta delle anomalie è fondamentale. La segmentazione delle istanze viene utilizzata per delineare i tumori nelle scansioni di risonanza magnetica o per contare le singole cellule nella microscopia, contribuendo a una diagnosi precisa e alla pianificazione del trattamento.
• Veicoli autonomi: Le auto a guida autonoma utilizzano questa tecnologia per comprendere scene stradali complesse. Addestrandosi su set di dati come Cityscapes, i veicoli sono in grado di distinguere tra superfici stradali percorribili superfici stradali percorribili, pedoni e altri veicoli, garantendo una navigazione sicura anche in ambienti affollati.
• Agricoltura di precisione: Gli agricoltori utilizzano la segmentazione per monitorare la salute delle colture. I robot dotati di sistemi di visione possono identificare singole erbacce tra le colture per un'applicazione mirata di erbicidi o guidare bracci robotici per la raccolta di frutti come le fragole riconoscendone i contorni esatti. riconoscendo i loro contorni esatti.
• Robotica: Affinché un robot possa interagire con l'ambiente circostante, ad esempio afferrando un oggetto specifico da un cestino, deve comprendere l'orientamento e la forma dell'oggetto. l'orientamento e la forma dell'oggetto. La segmentazione delle istanze fornisce i dati geometrici necessari per la manipolazione manipolazione.

Implementazione della segmentazione delle istanze

Gli sviluppatori possono facilmente implementare la segmentazione delle istanze utilizzando il metodo ultralytics Pacchetto Python . La libreria supporta YOLO11 modelli pre-addestrati sulla Set di dati COCOin grado di detect e segment 80 categorie di oggetti comuni. dalla scatola.

Ecco un esempio conciso di come caricare un modello ed eseguire la segmentazione su un'immagine:

from ultralytics import YOLO

# Load a pre-trained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
# The model predicts classes, boxes, and masks simultaneously
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the results with masks plotted
results[0].show()

Per gli utenti che desiderano applicare questo modello ai propri dati, il framework supporta l'addestramento su insiemi di dati personalizzati, consentendo al modello di imparare nuove classi specifiche per applicazioni di nicchia.