Interactive Segmentation
Scopri come la segmentazione interattiva usa prompt con intervento umano per isolare gli oggetti. Impara a usare Ultralytics YOLO26 e la Ultralytics Platform per queste attività.
La segmentazione interattiva è un approccio altamente collaborativo alla visione artificiale in cui un utente umano fornisce input continui o singoli, come clic, riquadri di delimitazione o prompt testuali, per guidare un modello di AI nell'isolamento di oggetti specifici all'interno di un'immagine. A differenza dei metodi completamente automatizzati, questa tecnica con supervisione umana consente agli utenti di definire esattamente ciò che deve essere segmentato, risultando particolarmente utile quando si lavora con dati visivi ambigui, oggetti sovrapposti o classi non osservate. Negli ultimi anni, l'introduzione dei modelli fondazionali ha migliorato drasticamente la velocità e l'accuratezza di questo processo, trasformandolo in uno strumento essenziale per l'annotazione dei dati e l'imaging di precisione.
Come funziona la segmentazione interattiva#
Al centro del processo c'è la segmentazione dei concetti basata su prompt, in cui il modello interpreta le indicazioni dell'utente per generare una maschera perfetta a livello di pixel. Un utente può posizionare un clic "positivo" sull'oggetto in primo piano che desidera selezionare e un clic "negativo" sulle aree dello sfondo che vuole escludere. Modelli avanzati come il Segment Anything Model (SAM) e i suoi successori, Meta SAM 3, vanno oltre accettando diversi tipi di gesti [1], riquadri di delimitazione e persino descrizioni testuali per ancorare la ricerca visiva. Il modello calcola il confine ottimale sulla base di questi prompt e l'utente può perfezionare iterativamente la maschera con ulteriori clic fino a raggiungere l'accuratezza desiderata.
Applicazioni nel mondo reale#
La segmentazione interattiva sta trasformando i flussi di lavoro in numerosi settori, combinando l'esperienza umana con l'efficienza dell'AI.
- Imaging medico: nell'AI nel settore sanitario, medici e radiologi utilizzano strumenti interattivi per isolare tumori, lesioni o organi specifici nelle scansioni MRI e CT. La ricerca sulla modellazione spaziale per immagini mediche [2] mostra che i clic interattivi consentono ai professionisti sanitari di correggere rapidamente le previsioni dell'AI, garantendo la rigorosa precisione necessaria per la diagnosi dei pazienti.
- Mappatura geospaziale e satellitare: urbanisti e scienziati ambientali utilizzano modelli interattivi per accelerare l'estrazione di elementi GIS [3]. Invece di tracciare manualmente coste complesse, confini agricoli o nuove infrastrutture, gli analisti possono posizionare alcuni clic strategici per generare istantaneamente poligoni geografici accurati.
- Rilevamento dei difetti industriali: per l'AI nella produzione, gli ingegneri del controllo qualità possono utilizzare prompt interattivi per evidenziare difetti microscopici sulle linee di produzione, adattando dinamicamente il sistema a nuovi tipi di difetti senza dover riaddestrare l'intero modello.
Segmentazione interattiva e segmentazione delle istanze#
Sebbene entrambi i concetti comportino la separazione degli oggetti a livello di pixel, hanno scopi operativi diversi. La segmentazione delle istanze è in genere un processo completamente automatizzato in cui un modello, come Ultralytics YOLO26, rileva e delimita classi predefinite (ad esempio, "auto", "persona", "cane") senza intervento dell'utente. Puoi scoprire di più sul funzionamento nella nostra guida alla segmentazione delle istanze.
Al contrario, la segmentazione interattiva non si basa necessariamente su classi predefinite. È agnostica rispetto alla classe, ovvero segmenta qualsiasi elemento indicato dall'utente, risultando ideale per le pipeline di apprendimento attivo in cui i nuovi oggetti devono essere annotati rapidamente e aggiunti a dataset personalizzati utilizzando strumenti come la Ultralytics Platform.
Esempio con Ultralytics#
Puoi implementare facilmente la segmentazione interattiva nei tuoi progetti utilizzando PyTorch e il pacchetto Python ultralytics. In questo esempio, utilizziamo FastSAM per segmentare un oggetto specifico fornendo un prompt basato su un riquadro di delimitazione.
from ultralytics import FastSAM
# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")
# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])
# Display the segmented result on screen
results[0].show()Questo frammento mostra come un semplice prompt spaziale guidi direttamente il modello nell'isolamento della regione di interesse, semplificando attività complesse di segmentazione delle immagini con una quantità minima di codice.
