Visual Prompting

Il prompting visivo consiste nell'indicare a un modello di visione artificiale cosa segmentare o rilevare contrassegnando direttamente l'immagine con un clic, un riquadro, uno scarabocchio, una maschera o un esempio, invece di descrivere a parole l'obiettivo. I modelli fondazionali che accettano prompt, come il Segment Anything Model (SAM) di Meta, trasformano ogni segno in un embedding e prevedono una maschera per l'oggetto indicato senza alcun riaddestramento. Un prompt visivo indica una specifica istanza o mostra un esempio di ciò che si vuole trovare, aiutando quando è difficile nominare l'obiettivo in un prompt testuale, come nel caso di un particolare difetto o di un componente sconosciuto. Il fine-tuning visivo tramite prompt ha un nome simile, ma è un metodo di fine-tuning tramite prompt che apprende token di input aggiuntivi durante il fine-tuning, senza che nessuno contrassegni l'immagine.

Come funziona il prompting visivo#

SAM, rilasciato da Meta nel 2023 insieme al dataset SA-1B, che contiene 1,1 miliardi di maschere su 11 milioni di immagini, divide il lavoro in tre parti. Un grande encoder di immagini, un Vision Transformer, viene eseguito una volta per immagine; un encoder leggero dei prompt trasforma punti e riquadri in embedding posizionali; infine, un decoder di maschere combina i due risultati per prevedere una maschera in circa 50 millisecondi in un browser, così ogni nuovo clic aggiorna il risultato in modo interattivo. Un singolo clic è ambiguo, perché potrebbe indicare una camicia o la persona che la indossa, quindi SAM può restituire tre maschere candidate, ciascuna con un punteggio di qualità. SAM 2 di Meta (2024) estende i prompt ai video, seguendo un oggetto selezionato con un clic nei fotogrammi successivi grazie alla memoria dei fotogrammi precedenti. SAM 2.1 è disponibile nel pacchetto Ultralytics: un clic viene rappresentato come un punto con etichetta 1 per il primo piano o 0 per lo sfondo:

from ultralytics import SAM

# Carica il modello base SAM 2.1 di Meta
model = SAM("sam2.1_b.pt")

# Un clic sul primo piano (etichetta 1) sull'uomo con il cappotto scuro
results = model("https://ultralytics.com/images/bus.jpg", points=[280, 600], labels=[1])
result = results[0]

# Salva l'immagine con la maschera prevista per l'oggetto selezionato
result.save(filename="sam_point_prompt.jpg")

L'immagine salvata mostra la maschera prevista da SAM 2.1 a partire da quel singolo clic. La segmentazione interattiva ripete questo passaggio finché la maschera non è corretta; la modalità di annotazione intelligente di Ultralytics Platform funziona così: ogni clic diventa un prompt a punto per SAM, un clic al di fuori della maschera corrente aggiunge quella regione, un clic al suo interno la rimuove e il risultato viene salvato come poligono, riquadro o riquadro orientato, a seconda dell'attività del dataset.

Tipi di prompt visivi#

• Punti e riquadri: I clic sul primo piano e sullo sfondo selezionano o escludono regioni; un riquadro approssimativo attorno a un oggetto è meno ambiguo di un clic e permette anche di usare automaticamente i riquadri di un rilevatore come prompt per un segmentatore.
• Maschere e scarabocchi: Una maschera grossolana ottenuta in un passaggio precedente o tratti disegnati sull'oggetto affinano una previsione che i soli clic non riescono a correggere.
• Riquadri esemplificativi: Un riquadro attorno a un esempio chiede al modello di individuare tutti gli oggetti simili; per contare tutte le viti di un certo tipo basta quindi un solo riquadro di esempio. I rilevatori open-set come T-Rex2 e YOLOE, oltre a SAM 3 di Meta (2025), accettano questi prompt esemplificativi.
• Esempi in contesto: Un'immagine di esempio abbinata all'output desiderato, come una maschera o una mappa dei bordi, definisce l'attività stessa; il modello completa per analogia l'output di una nuova immagine.
• Segni per i modelli visione-linguaggio: Il prompting Set-of-Mark disegna segni numerati sulle regioni dell'immagine, così il modello può fare riferimento alla «regione 3» nella risposta, migliorando l'ancoraggio visivo.

Applicazioni nel mondo reale#

• Annotazione dei dati: Bastano pochi clic per oggetto, invece di tracciare un poligono punto per punto, riducendo il costo di creazione dei dataset per la segmentazione delle istanze.
• Imaging medico: MedSAM ha adattato SAM a 1.570.263 coppie di immagini e maschere mediche distribuite su 10 modalità di imaging, così il riquadro tracciato da un medico attorno a un organo o a una lesione ne restituisce il contorno.
• Robotica: Un operatore seleziona un oggetto nella visuale della telecamera di un robot e la maschera risultante fornisce al robot i pixel esatti dell'oggetto per pianificare la presa.