Capire la segmentazione di concetti basata su prompt

L'IA per la visione artificiale sta avanzando rapidamente e viene ampiamente utilizzata per analizzare immagini e video in ambienti del mondo reale. Ad esempio, applicazioni che spaziano dai sistemi di gestione del traffico all'analisi della vendita al dettaglio vengono integrate con modelli di computer vision.

In molte di queste applicazioni, i modelli di visione, come quelli per il rilevamento di oggetti, vengono addestrati per riconoscere una serie predefinita di oggetti, inclusi veicoli, persone e attrezzature. Durante l'addestramento, a questi modelli vengono mostrati molti esempi etichettati affinché possano imparare come appare ogni oggetto e come distinguerlo dagli altri in una scena.

Per le attività di segmentazione, i modelli fanno un passo avanti producendo contorni precisi a livello di pixel attorno a questi oggetti. Ciò consente ai sistemi di capire esattamente dove si trova ogni oggetto in un'immagine.

Questo funziona bene finché il sistema deve solo riconoscere ciò su cui è stato addestrato. Tuttavia, negli ambienti del mondo reale, raramente è così.

Le scene visive sono tipicamente dinamiche. Appaiono nuovi oggetti e concetti visivi, le condizioni cambiano e gli utenti spesso desiderano segmentare oggetti che non facevano parte della configurazione di addestramento originale.

Queste limitazioni sono particolarmente evidenti quando si tratta di segmentazione. Poiché l'IA per la visione continua a evolversi, c'è un crescente bisogno di modelli di segmentazione più flessibili in grado di adattarsi a nuovi concetti senza ripetuti riaddestramenti. Ecco perché la segmentazione di concetti basata su prompt (PCS) sta attirando attenzione.

Invece di fare affidamento su un elenco fisso di categorie di oggetti, puoi descrivere ciò che desideri segmentare utilizzando testo, prompt visivi o immagini di esempio. Questi modelli possono quindi identificare e segmentare tutte le regioni che corrispondono al concetto descritto, anche se quel concetto non era stato esplicitamente incluso durante l'addestramento.

In questo articolo, esploreremo come funziona la segmentazione di concetti basata su prompt, in che modo differisce dagli approcci tradizionali e dove viene utilizzata oggi.

Link to this sectionCos'è la segmentazione di concetti basata su prompt?#

Nella maggior parte dei casi, i modelli di segmentazione vengono addestrati per riconoscere un breve elenco di tipi di oggetti. Questo funziona bene quando un sistema di IA per la visione deve solo rilevare e segmentare un insieme specifico di oggetti.

Nelle applicazioni del mondo reale, tuttavia, le scene visive sono dinamiche. Appaiono nuovi oggetti, i requisiti delle attività cambiano e gli utenti hanno spesso bisogno di segmentare concetti che non erano inclusi nell'insieme di etichette originale. Supportare queste situazioni significa tipicamente raccogliere nuovi dati e annotazioni di alta qualità e riaddestrare il modello, il che aumenta i costi e rallenta la distribuzione.

La segmentazione di concetti basata su prompt risolve questo problema consentendo agli utenti di indicare al modello cosa cercare invece di scegliere da un elenco fisso di etichette. Descrivi l'oggetto o l'idea che stai cercando e il modello evidenzia tutte le aree corrispondenti nell'immagine. Questo rende molto più semplice collegare l'intento dell'utente ai pixel reali in un'immagine.

Fig 1. Uno sguardo all'uso di prompt concettuali per la segmentazione (Fonte)

Link to this sectionGuidare la segmentazione con diversi tipi di prompt#

I modelli che supportano la segmentazione di concetti basata su prompt sono flessibili perché possono accettare diversi tipi di input. In altre parole, c'è più di un modo per dire al modello cosa cercare, come descrizioni testuali, suggerimenti visivi o tramite immagini di esempio.

Ecco uno sguardo più approfondito a ciascun approccio:

• Prompt testuali: Brevi frasi come "scuolabus" o "regione tumorale" possono essere usate per descrivere il concetto da segmentare. Il modello interpreta il significato delle parole e identifica le regioni corrispondenti.
• Prompt visivi: Questi prompt utilizzano punti, riquadri o schizzi approssimativi all'interno dell'immagine come suggerimenti. Questi segnali guidano dove guardare e aiutano a modellare il contorno finale.
• Esemplari di immagini: Immagini di riferimento o piccoli ritagli rappresentano il concetto di interesse. Il modello cerca regioni visivamente simili e le segmenta in base all'aspetto visivo.

Link to this sectionLa differenza tra PCS e la segmentazione tradizionale#

Prima di addentrarci nel funzionamento della segmentazione di concetti basata su prompt, confrontiamola innanzitutto con vari metodi tradizionali di segmentazione degli oggetti.

La PCS abilita modelli che sono a vocabolario aperto e guidati da prompt. Può funzionare con nuove idee descritte tramite prompt, mentre la segmentazione tradizionale no. Esistono diversi tipi di approcci di segmentazione tradizionali, ognuno con i propri presupposti e limitazioni.

Ecco una panoramica di alcuni tipi chiave di segmentazione tradizionale:

• Segmentazione semantica: Ogni pixel nell'immagine viene etichettato come parte di una categoria come strada, edificio o persona. Tutti i pixel con la stessa etichetta vengono raggruppati, quindi il modello non separa le singole istanze di oggetti.
• Segmentazione di istanze: Il modello identifica e segmenta i singoli oggetti, quindi due persone o due auto vengono trattate come elementi separati.
• Segmentazione panottica: Questa tecnica combina la segmentazione semantica e quella di istanze per fornire una visione completa della scena, coprendo sia le regioni di sfondo che i singoli oggetti.

Tutti questi approcci si basano su un elenco predefinito di categorie di oggetti. Funzionano bene entro tale ambito, ma non gestiscono molto bene i concetti al di fuori di esso. Quando è necessario segmentare un nuovo oggetto specifico, di solito sono necessari ulteriori dati di addestramento e la messa a punto del modello.

La PCS mira a cambiare questo aspetto. Invece di essere bloccato in categorie predefinite, ti consente di descrivere ciò che desideri segmentare in un'immagine al momento dell'inferenza.

Link to this sectionL'evoluzione dei modelli PCS#

Successivamente, esaminiamo come i modelli di segmentazione si sono evoluti verso la segmentazione di concetti basata su prompt.

Un popolare modello di base che ha segnato una svolta nella segmentazione è stato SAM, o Segment Anything Model. È stato introdotto nel 2023. Invece di fare affidamento su categorie di oggetti predefinite, SAM ha consentito agli utenti di guidare la segmentazione utilizzando semplici prompt visivi come punti o riquadri di delimitazione.

Con SAM, gli utenti non dovevano più selezionare un'etichetta. Potevano semplicemente indicare dove si trovava un oggetto e il modello avrebbe generato una maschera per esso. Questo ha reso la segmentazione più flessibile, ma gli utenti dovevano comunque mostrare al modello dove guardare.

SAM 2, rilasciato nel 2024, ha costruito su questa idea gestendo scene più complesse ed estendendo la segmentazione basata su prompt ai video. Ha migliorato la robustezza in diverse condizioni di illuminazione, forme degli oggetti e movimento, pur continuando a fare affidamento principalmente su prompt visivi per guidare la segmentazione.

Il modello SAM 3 è l'ultimo passo in questa evoluzione. È stato rilasciato l'anno scorso ed è un modello unificato che combina la comprensione visiva con la guida linguistica, consentendo un comportamento coerente tra le attività di segmentazione di immagini e video.

Con SAM 3, gli utenti non sono limitati a indicare o disegnare prompt. Invece, possono descrivere ciò che desiderano segmentare usando il testo e il modello cerca nell'immagine o nei fotogrammi video le regioni che corrispondono a tale descrizione.

La segmentazione è guidata da concetti piuttosto che da categorie di oggetti fisse, supportando l'uso di un vocabolario aperto in diverse scene e nel tempo. Infatti, SAM 3 opera su un ampio spazio di concetti appresi, basato su un'ontologia derivata da fonti come Wikidata ed espansa attraverso dati di addestramento su larga scala.

Fig 2. Un esempio di richiesta a SAM 3 e segmentazione di una singola immagine (Fonte)

Rispetto alle versioni precedenti che facevano affidamento principalmente su prompt geometrici, SAM 3 rappresenta un passo verso una segmentazione più flessibile e guidata dai concetti. Questo lo rende più adatto alle applicazioni del mondo reale in cui gli oggetti o le idee di interesse possono cambiare e non sempre possono essere definiti in anticipo.

Link to this sectionEsplorare come funziona la segmentazione visiva basata su prompt#

Quindi, come funziona la segmentazione di concetti basata su prompt? Si basa su grandi modelli di visione preaddestrati e modelli di visione-linguaggio, che sono modelli addestrati su enormi raccolte di immagini e, in molti casi, testo associato. Questo addestramento consente loro di apprendere schemi visivi generali e significati semantici.

La maggior parte dei modelli PCS utilizza architetture basate su Transformer, che elaborano un'intera immagine contemporaneamente per comprendere come le diverse regioni si relazionano tra loro. Un Vision Transformer estrae le caratteristiche visive dall'immagine, mentre un codificatore di testo converte le parole in rappresentazioni numeriche con cui il modello può lavorare.

Durante l'addestramento, questi modelli possono imparare da diversi tipi di supervisione, incluse maschere a livello di pixel che definiscono i confini esatti degli oggetti, riquadri di delimitazione che individuano approssimativamente gli oggetti ed etichette a livello di immagine che descrivono ciò che appare in un'immagine. L'addestramento utilizzando diversi tipi di dati etichettati aiuta il modello a catturare sia i dettagli fini che concetti visivi più ampi.

Al momento dell'inferenza, ovvero quando il modello viene effettivamente utilizzato per fare previsioni, la PCS segue un processo guidato dai prompt. Un utente fornisce una guida attraverso descrizioni testuali, suggerimenti visivi come punti o riquadri, o immagini di esempio. Il modello codifica sia il prompt che l'immagine in una rappresentazione interna condivisa o in embedding e identifica le regioni che si allineano con il concetto descritto.

Un decodificatore di maschere converte quindi questa rappresentazione condivisa in maschere di segmentazione precise a livello di pixel. Poiché il modello collega le caratteristiche visive con il significato semantico, può segmentare nuovi concetti anche se non erano stati esplicitamente inclusi durante l'addestramento.

Inoltre, spesso l'output può essere perfezionato regolando il prompt o aggiungendo ulteriori indicazioni, il che aiuta il modello a gestire scene complesse o ambigue. Questo processo iterativo supporta l'ottimizzazione pratica durante la distribuzione.

I modelli di segmentazione di concetti basati su prompt vengono solitamente valutati in base a quanto bene segmentano concetti precedentemente non visti e alla robustezza con cui operano in diverse scene. I benchmark si concentrano spesso sulla qualità della maschera, sulla generalizzazione e sull'efficienza computazionale, riflettendo i requisiti di distribuzione del mondo reale.

Link to this sectionCasi d'uso nel mondo reale della PCS#

Successivamente, vediamo dove viene già utilizzata la segmentazione di concetti basata su prompt e dove sta iniziando ad avere un impatto reale.

Link to this sectionSegmentazione flessibile delle immagini per l'imaging medico#

L'imaging medico coinvolge molte strutture biologiche, malattie e tipi di scansione, e nuovi casi emergono ogni giorno. I modelli di segmentazione tradizionali faticano a tenere il passo con questa varietà.

La PCS si inserisce naturalmente in questo spazio perché consente ai medici di descrivere cosa vogliono trovare invece di scegliere da un elenco breve e rigido. Con frasi testuali o prompt visivi, la PCS può essere utilizzata per segmentare direttamente organi o aree di interesse, senza riaddestrare il modello per ogni nuova attività. Ciò rende più facile gestire le diverse esigenze cliniche, riduce la necessità di disegnare maschere manualmente e funziona con molti tipi di imaging.

Un ottimo esempio è MedSAM-3, che adatta l'architettura SAM 3 per la PCS basata su prompt testuali nell'imaging medico. Questo modello può ricevere prompt con termini anatomici e patologici espliciti, come nomi di organi (fegato o rene) e concetti correlati a lesioni come tumore o lesione. Dato un prompt, il modello segmenta direttamente la regione corrispondente nell'immagine medica.

MedSAM-3 integra anche modelli linguistici di grandi dimensioni multimodali (MLLM o LLM multimodali), che possono ragionare sia su testo che su immagini. Questi modelli operano in una configurazione "agent-in-the-loop", in cui i risultati vengono perfezionati in modo iterativo per migliorare l'accuratezza nei casi più difficili.

Fig 3. Una pipeline MedSAM-3 per la segmentazione tumorale tramite prompt testuali in immagini mediche (Fonte)

MedSAM-3 funziona bene con dati radiografici, risonanze magnetiche, TC, ecografie e video, evidenziando come la PCS possa consentire flussi di lavoro di imaging medico più flessibili ed efficienti in contesti clinici reali.

Link to this sectionSegmentazione adattiva per la chirurgia robotica e l'automazione#

La chirurgia robotica si affida a sistemi di visione per tracciare gli strumenti e comprendere scene chirurgiche che cambiano rapidamente. Gli strumenti si muovono velocemente, l'illuminazione varia e nuovi strumenti possono apparire in qualsiasi momento, il che rende i sistemi di etichettatura predefiniti difficili da mantenere.

Con la PCS, i robot possono tracciare strumenti, guidare telecamere e seguire i passaggi chirurgici in tempo reale. Questo riduce l'etichettatura manuale e rende i sistemi più facili da adattare a diverse procedure. I chirurghi o i sistemi automatizzati possono utilizzare prompt testuali come "pinza", "bisturi" o "strumento telecamera" per indicare cosa dovrebbe essere segmentato in un'immagine.

Fig 4. Segmentazione di strumenti chirurgici utilizzati durante la chirurgia robotica (Fonte)

Link to this sectionSegmentazione a vocabolario aperto con Ultralytics YOLOE-26#

Un altro interessante modello all'avanguardia correlato alla segmentazione di concetti basata su prompt è il nostro Ultralytics YOLOE-26. Il nostro modello porta la segmentazione a vocabolario aperto guidata da prompt nella famiglia di modelli Ultralytics YOLO.

YOLOE-26 è basato sull'architettura Ultralytics YOLO26 e supporta la segmentazione di istanze a vocabolario aperto. YOLOE-26 consente agli utenti di guidare la segmentazione in diversi modi.

Supporta prompt testuali, dove brevi frasi visivamente ancorate possono specificare l'oggetto target, così come prompt visivi, che forniscono ulteriore guida basata su segnali dell'immagine. Inoltre, YOLOE-26 include una modalità senza prompt per l'inferenza zero-shot, in cui il modello rileva e segmenta oggetti da un vocabolario integrato senza richiedere prompt dell'utente.

YOLOE-26 è ottimo per applicazioni come l'analisi video, la percezione robotica e i sistemi basati su edge, dove le categorie di oggetti possono cambiare ma la bassa latenza e un throughput affidabile rimangono essenziali. È anche particolarmente utile per l'etichettatura dei dati e la cura dei dataset, poiché semplifica i flussi di lavoro automatizzando parti del processo di annotazione.

Link to this sectionPro e contro della segmentazione di concetti basata su prompt#

Ecco alcuni dei principali vantaggi dell'utilizzo della segmentazione di concetti basata su prompt:

• Iterazione e prototipazione più rapide: Le nuove attività di segmentazione possono essere testate rapidamente modificando i prompt invece di ricostruire i dataset o riaddestrare i modelli, il che accelera la sperimentazione e lo sviluppo.
• Adattabilità tra domini: Lo stesso modello PCS può spesso essere applicato a diversi domini, come l'imaging medico, la robotica o l'analisi video, con modifiche minime al flusso di lavoro.
• Perfezionamento interattivo: Gli utenti possono regolare iterativamente i prompt o aggiungere indicazioni per migliorare i risultati, rendendo più facile gestire scene ambigue o casi limite senza riaddestrare.

Sebbene la PCS abbia chiari vantaggi, ecco alcune limitazioni da considerare:

• Sensibilità al prompt: Piccoli cambiamenti nel modo in cui un prompt viene scritto o fornito possono influenzare l'output. Prompt troppo vaghi o troppo specifici possono portare a una segmentazione incompleta o errata.
• Comportamento meno prevedibile: Poiché il modello interpreta i prompt anziché selezionare da etichette fisse, i risultati possono variare maggiormente tra scene e input, il che potrebbe essere un problema per pipeline strettamente controllate.
• Interpretazione ambigua dei concetti: Alcuni concetti sono soggettivi o definiti in modo lasco, il che può portare a risultati di segmentazione incoerenti tra gli utenti o tra le immagini.
• Affidabilità limitata per target altamente specifici: I modelli basati su prompt sono generalmente meno affidabili per attività strettamente definite e specifiche per istanza, come il rilevamento dei difetti, dove è necessaria un'identificazione precisa e coerente di caratteristiche sottili.

Link to this sectionScegliere tra segmentazione basata su prompt e tradizionale#

Mentre esplori la segmentazione basata su prompt, potresti chiederti per quali applicazioni è più adatta e quando un modello di computer vision tradizionale come YOLO26 è una scelta migliore per il problema che stai cercando di risolvere. La segmentazione basata su prompt funziona bene per oggetti generici, ma non è adatta a casi d'uso che richiedono risultati molto precisi e coerenti.

Il rilevamento dei difetti ne è un buon esempio. Nella produzione, i difetti sono spesso minuscoli e sottili, come piccoli graffi, ammaccature, disallineamenti o irregolarità superficiali. Possono anche variare notevolmente a seconda dei materiali, dell'illuminazione e delle condizioni di produzione.

Questi problemi sono difficili da descrivere con un semplice prompt e ancora più difficili da rilevare in modo affidabile per un modello generico. Nel complesso, i modelli basati su prompt tendono a perdere difetti o a produrre risultati instabili, mentre i modelli addestrati specificamente sui dati dei difetti sono molto più affidabili per i sistemi di ispezione del mondo reale.

Link to this sectionPunti chiave#

La segmentazione di concetti basata su prompt rende i sistemi di visione più facili da adattare al mondo reale, dove appaiono continuamente nuovi oggetti e idee. Invece di essere bloccati in etichette fisse, gli utenti possono semplicemente descrivere ciò che vogliono segmentare e lasciare che il modello faccia il resto, il che fa risparmiare tempo e riduce il lavoro manuale. Sebbene abbia ancora dei limiti, la PCS sta già cambiando il modo in cui la segmentazione viene utilizzata nella pratica ed è probabile che diventi una parte fondamentale dei futuri sistemi di visione.

Esplora di più sull'IA visitando il nostro repository GitHub e unendoti alla nostra community. Dai un'occhiata alle nostre pagine delle soluzioni per conoscere l'IA nella robotica e la computer vision nella produzione. Scopri le nostre opzioni di licenza per iniziare oggi stesso con l'IA per la visione!