Visual Prompting

Il prompting visivo è una tecnica emergente nella computer vision in cui gli utenti forniscono indicazioni spaziali o visive, come punti, bounding box o annotazioni a mano libera, per guidare l'attenzione di un modello di IA verso oggetti o regioni specifici all'interno di un'immagine. A differenza del tradizionale prompt engineering, che si basa principalmente su descrizioni testuali, il prompting visivo consente un'interazione più precisa e intuitiva con i sistemi di Intelligenza artificiale (AI). Questo metodo sfrutta le capacità dei moderni modelli fondazionali per eseguire attività come la segmentazione e il rilevamento senza richiedere un riaddestramento esteso o grandi dataset annotati. Indicando efficacemente ciò che conta, gli utenti possono adattare istantaneamente i modelli general-purpose a nuove attività, colmando il divario tra intenzione umana e percezione della macchina.

Meccanismi del prompting visivo#

In sostanza, il prompting visivo funziona inserendo direttamente informazioni spaziali nella pipeline di elaborazione del modello. Quando un utente fa clic su un oggetto o disegna un riquadro, questi input vengono convertiti in embedding basati sulle coordinate, che la rete neurale integra con le caratteristiche dell'immagine. Questo processo è fondamentale per architetture interattive come il Modello Segment Anything (SAM), in cui il modello predice maschere sulla base di prompt geometrici.

La flessibilità del prompting visivo consente diversi tipi di interazione:

• Prompt puntuali: l'utente fa clic su un pixel specifico per indicare l'oggetto di interesse. Il modello estende quindi questa selezione fino ai confini dell'intero oggetto.
• Prompt tramite riquadro: disegnare un bounding box fornisce una localizzazione approssimativa, indicando al modello di segmentare o classificare tutto ciò che è contenuto all'interno di quell'area.
• Prompt tramite annotazioni a mano libera: le linee tracciate a mano libera sopra un oggetto possono aiutare a disambiguare scene complesse in cui gli oggetti si sovrappongono o presentano texture simili.

Ricerche recenti presentate a CVPR 2024 evidenziano come il prompting visivo riduca significativamente il tempo necessario per l'annotazione dei dati, poiché gli annotatori umani possono correggere le predizioni del modello in tempo reale con semplici clic invece di tracciare manualmente i poligoni.

Prompting visivo vs. prompting testuale#

Sebbene entrambe le tecniche mirino a guidare il comportamento del modello, è importante distinguere il prompting visivo dai metodi basati sul testo. La generazione da testo a immagine o il rilevamento zero-shot si basano sull'elaborazione del linguaggio naturale (NLP) per interpretare descrizioni semantiche (ad esempio, "trova l'auto rossa"). Tuttavia, il linguaggio può essere ambiguo o insufficiente per descrivere posizioni spaziali precise o forme astratte.

Il prompting visivo risolve questa ambiguità ancorando l'istruzione direttamente allo spazio dei pixel. Ad esempio, nell'analisi di immagini mediche, per un radiologo è molto più preciso fare clic su un nodulo sospetto che tentare di descriverne tramite testo le coordinate esatte e la forma irregolare. Spesso, i workflow più efficaci combinano entrambi gli approcci, usando il testo per il filtraggio semantico e i prompt visivi per la precisione spaziale: un concetto noto come apprendimento multimodale.

Applicazioni nel mondo reale#

L'adattabilità del prompting visivo ne ha favorito la rapida adozione in diversi settori:

• Diagnostica medica interattiva: i medici utilizzano strumenti di prompting visivo per isolare tumori o organi nelle scansioni MRI. Facendo semplicemente clic su una regione di interesse, possono generare istantaneamente misurazioni volumetriche 3D, facilitando il rilevamento dei tumori e la pianificazione chirurgica.
• Modifica intelligente delle foto: nei software per utenti finali come Adobe Photoshop o nelle app per dispositivi mobili, il prompting visivo alimenta gli strumenti di "selezione magica". Gli utenti possono toccare una persona o un oggetto per rimuovere lo sfondo o applicare filtri mirati, sfruttando tecnologie di segmentazione delle istanze sottostanti senza dover possedere competenze di mascheratura manuale.
• Manipolazione robotica: nell'IA nella robotica, i robot possono essere istruiti a raccogliere oggetti specifici tramite un'interfaccia visiva. Un operatore fa clic su un oggetto nel flusso video della telecamera del robot, fornendo un prompt visivo che il robot traduce in coordinate di presa e facilitando l'automazione con supervisione umana nei magazzini.

Implementazione con Ultralytics#

L'ecosistema Ultralytics supporta i workflow di prompting visivo, in particolare tramite modelli come FastSAM e SAM. Questi modelli consentono agli sviluppatori di passare programmaticamente coordinate di punti o riquadri per ottenere maschere di segmentazione.

L'esempio seguente mostra come utilizzare il pacchetto ultralytics per applicare un prompt puntuale a un'immagine, istruendo il modello a segmentare l'oggetto situato a coordinate specifiche.

from ultralytics import SAM

# Load the Segment Anything Model (SAM)
model = SAM("sam2.1_b.pt")

# Apply a visual point prompt to the image
# The 'points' argument accepts [x, y] coordinates
# labels: 1 indicates a foreground point (include), 0 indicates background
results = model("https://ultralytics.com/images/bus.jpg", points=[[300, 350]], labels=[1])

# Display the segmented result
results[0].show()

Migliorare l'agilità dei modelli#

Il prompting visivo rappresenta un'evoluzione verso la computer vision "promptable", in cui i modelli non sono più "scatole nere" statiche, ma strumenti interattivi. Questa capacità è essenziale per i cicli di active learning, in cui i modelli migliorano rapidamente incorporando il feedback degli utenti.

Per gli sviluppatori che desiderano integrare queste funzionalità in produzione, la Ultralytics Platform offre strumenti per gestire i dataset e distribuire modelli in grado di gestire input dinamici. Con il progredire della ricerca, ci aspettiamo un'integrazione sempre più stretta tra i prompt visivi e i modelli linguistici di grandi dimensioni (LLMs), consentendo ai sistemi di ragionare sugli input visivi con la stessa fluidità con cui attualmente gestiscono il testo.