Segmentazione interattiva

La segmentazione interattiva è un approccio altamente collaborativo alla visione artificiale in cui un utente umano fornisce input continui o puntuali — come clic, riquadri di delimitazione o indicazioni testuali — per guidare un modello di IA nell'isolare oggetti specifici all'interno di un'immagine. A differenza dei metodi completamente automatizzati, questa tecnica "human-in-the-loop" consente agli utenti di definire esattamente ciò che deve essere segmentato, rendendola particolarmente utile quando si ha a che fare con dati visivi ambigui, oggetti sovrapposti o classi non viste. Negli ultimi anni, l'introduzione di modelli di base ha migliorato drasticamente la velocità e l'accuratezza di questo processo, trasformandolo in uno strumento fondamentale per l' annotazione dei dati e l'imaging di precisione.

Come funziona la segmentazione interattiva

Fondamentalmente, il flusso di lavoro si basa sulla segmentazione dei concetti tramite prompt, in cui il modello interpreta le indicazioni dell’utente per generare una maschera pixel-perfect. Un utente può effettuare un clic “positivo” sull’oggetto in primo piano che desidera selezionare e un clic “negativo” sulle aree di sfondo che desidera escludere. Modelli avanzati come il Segment Anything Model (SAM) e i suoi successori, Meta SAM , vanno oltre accettando diversi tipi di gesti [1], riquadri di delimitazione e persino descrizioni testuali per contestualizzare la ricerca visiva. Il modello calcola il contorno ottimale sulla base di questi input e l' utente può perfezionare la maschera in modo iterativo con ulteriori clic fino a raggiungere la precisione desiderata.

Applicazioni nel mondo reale

La segmentazione interattiva sta trasformando i flussi di lavoro in numerosi settori, combinando la competenza umana con l'efficienza dell'intelligenza artificiale.

• Immagistica medica: Nel settore dell'intelligenza artificiale in ambito sanitario, medici e radiologi utilizzano strumenti interattivi per isolare tumori, lesioni o organi specifici nelle scansioni MRI e TC. La ricerca sulla modellizzazione spaziale delle immagini mediche [2] dimostra che i clic interattivi consentono ai professionisti del settore medico di correggere rapidamente le previsioni dell'IA, garantendo la precisione rigorosa richiesta per la diagnosi dei pazienti.
• Cartografia geospaziale e satellitare: gli urbanisti e gli scienziati ambientali utilizzano modelli interattivi per accelerare l'estrazione delle caratteristiche GIS [3]. Anziché tracciare manualmente complesse linee costiere, confini agricoli o nuove infrastrutture, gli analisti possono effettuare pochi clic strategici per generare istantaneamente poligoni geografici accurati.
• Rilevamento dei difetti industriali: nell'ambito dell'intelligenza artificiale applicata alla produzione, i tecnici del controllo qualità possono utilizzare suggerimenti interattivi per evidenziare difetti microscopici sulle linee di produzione, adattando dinamicamente il sistema a nuovi tipi di difetti senza dover riqualificare l'intero modello.

Segmentazione interattiva vs. segmentazione delle istanze

Sebbene entrambi i concetti prevedano la separazione degli oggetti a livello di pixel, hanno finalità operative diverse. La segmentazione delle istanze è in genere un processo completamente automatizzato in cui un modello, come Ultralytics , rileva e delinea classi predefinite (ad es. "auto", "persona", "cane") senza l'intervento dell'utente. Per saperne di più su come funziona, consulta la nostra guida alla segmentazione delle istanze.

Al contrario, la segmentazione interattiva non si basa rigorosamente su classi predefinite. È indipendente dalle classi, nel senso che segmenta qualsiasi elemento indicato dall'utente, rendendola una soluzione ideale per le pipeline di apprendimento attivo in cui è necessario annotare rapidamente nuovi oggetti e aggiungerli a set di dati personalizzati utilizzando strumenti come la Ultralytics .

Esempio di utilizzo di Ultralytics

Puoi implementare facilmente la segmentazione interattiva nei tuoi progetti utilizzando PyTorch e il ultralytics Python . In questo esempio, utilizziamo FastSAM per segment oggetto specifico fornendo un prompt relativo al riquadro di delimitazione.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Questo frammento di codice mostra come un semplice prompt spaziale guidi direttamente il modello nell'isolare l'area di interesse, semplificando complesse operazioni di segmentazione delle immagini con un codice minimo.