Interactive Segmentation
Impara come la segmentazione interattiva usa prompt human-in-the-loop per isolare gli oggetti. Scopri come usare Ultralytics YOLO26 e la Ultralytics Platform per le tue attività.
La segmentazione interattiva è un approccio altamente collaborativo alla computer vision in cui un utente umano fornisce un input continuo o a scatto singolo (come clic, bboxes o prompt di testo) per guidare un modello di intelligenza artificiale nell'isolamento di oggetti specifici all'interno di un'immagine. A differenza dei metodi completamente automatizzati, questa tecnica human-in-the-loop consente agli utenti di definire esattamente ciò che deve essere segmentato, rendendola particolarmente preziosa quando si tratta di dati visivi ambigui, oggetti sovrapposti o classi non viste. Negli ultimi anni, l'introduzione di modelli fondamentali ha migliorato drasticamente la velocità e la precisione di questo processo, trasformandolo in uno strumento vitale per la data annotation e l'imaging di precisione.
Come funziona la segmentazione interattiva#
Fondamentalmente, il flusso di lavoro si basa sulla promptable concept segmentation, in cui il modello interpreta la guida dell'utente per generare una maschera perfetta a livello di pixel. Un utente potrebbe effettuare un clic "positivo" sull'oggetto in primo piano che desidera selezionare e un clic "negativo" sulle aree di sfondo che desidera escludere. Modelli avanzati come il Segment Anything Model (SAM) e i suoi successori, Meta SAM 3, spingono questo concetto oltre accettando diversi tipi di gesti [1], bounding boxes e persino descrizioni testuali per ancorare la ricerca visiva. Il modello calcola il confine ottimale in base a questi prompt e l'utente può perfezionare iterativamente la maschera con clic aggiuntivi fino a raggiungere la precisione desiderata.
Applicazioni nel mondo reale#
La segmentazione interattiva sta trasformando i workflow in numerosi settori unendo l'esperienza umana con l'efficienza dell'AI.
- Imaging medico: Nell'AI in healthcare, medici e radiologi utilizzano strumenti interattivi per isolare tumori, lesioni o organi specifici in scansioni MRI e CT. La ricerca sulla spatial modeling for medical images [2] mostra che i clic interattivi consentono ai professionisti medici di correggere rapidamente le previsioni dell'IA, garantendo la rigorosa precisione richiesta per la diagnosi del paziente.
- Mappatura geospaziale e satellitare: Urbanisti e scienziati ambientali utilizzano modelli interattivi per accelerare l'GIS feature extraction [3]. Invece di tracciare manualmente coste complesse, confini agricoli o nuove infrastrutture, gli analisti possono effettuare alcuni clic strategici per generare istantaneamente poligoni geografici accurati.
- Rilevamento dei difetti industriali: Per l'AI in manufacturing, gli ingegneri del controllo qualità possono utilizzare prompt interattivi per evidenziare difetti microscopici sulle linee di produzione, adattando dinamicamente il sistema a nuovi tipi di difetti senza riaddestrare l'intero modello.
Segmentazione interattiva vs. Instance segmentation#
Sebbene entrambi i concetti comportino la separazione degli oggetti a livello di pixel, servono a scopi operativi differenti. L'Instance segmentation è in genere un processo completamente automatizzato in cui un modello, come Ultralytics YOLO26, rileva e delinea classi predefinite (ad esempio, "auto", "persona", "cane") senza l'intervento dell'utente. Puoi saperne di più su come funziona nella nostra guida all'instance segmentation.
Al contrario, la segmentazione interattiva non si basa rigorosamente su classi predefinite. È agnostica rispetto alla classe, il che significa che segmenta tutto ciò a cui l'utente punta, rendendola ideale per pipeline di active learning in cui nuovi oggetti devono essere annotati rapidamente e aggiunti a dataset personalizzati utilizzando strumenti come Ultralytics Platform.
Esempio utilizzando Ultralytics#
Puoi facilmente implementare la segmentazione interattiva nei tuoi progetti usando PyTorch e il pacchetto Python ultralytics. In questo esempio, usiamo FastSAM per segmentare un oggetto specifico fornendo un prompt sotto forma di bounding box.
from ultralytics import FastSAM
# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")
# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])
# Display the segmented result on screen
results[0].show()Questo frammento dimostra come un semplice prompt spaziale guidi direttamente il modello nell'isolamento della regione di interesse, semplificando complesse attività di image segmentation con un codice minimo.
