Cos'è YOLOE? Portare i modelli di visione artificiale oltre

Il rilevamento degli oggetti è un'attività chiave della computer vision, in cui l'obiettivo è identificare e localizzare oggetti in immagini o video. È una parte cruciale della computer vision, un campo dell'intelligenza artificiale (AI) che consente alle macchine di comprendere e interpretare dati visivi. Ad esempio, il rilevamento degli oggetti può aiutare a identificare un'auto in una foto o a individuare una persona in un flusso video.

Una delle serie di modelli più note a supporto delle attività di computer vision come il rilevamento degli oggetti è la serie di modelli YOLO (You Only Look Once). Progettati per garantire velocità e precisione, i modelli YOLO sono migliorati continuamente nel tempo. Ad esempio, una delle versioni più recenti, Ultralytics YOLO11, offre ottime prestazioni in situazioni reali, fornendo risultati accurati anche in ambienti più complessi.

Portando avanti questo progresso, un nuovo modello chiamato YOLOE mira a espandere le capacità dei modelli YOLO. A differenza dei modelli tradizionali che richiedono un riaddestramento per riconoscere nuovi oggetti, YOLOE può seguire semplici prompt testuali o di immagine per rilevare oggetti che non ha mai visto prima, rendendolo molto più adattabile ad ambienti mutevoli.

In questo articolo esamineremo più da vicino ciò che rende YOLOE unico, come si confronta con i precedenti modelli YOLO e come puoi iniziare a usarlo oggi stesso. Iniziamo!

Una panoramica di YOLOE#

YOLOE è un modello di computer vision che porta il rilevamento degli oggetti a un livello superiore. È stato introdotto a marzo 2025 dai ricercatori della Tsinghua University. Ciò che distingue YOLOE dai modelli tradizionali è l'uso del rilevamento a vocabolario aperto.

Mentre la maggior parte dei modelli viene addestrata per riconoscere un elenco fisso di oggetti, YOLOE ti consente di specificare cosa cercare utilizzando una breve descrizione o un'immagine di esempio. Ad esempio, se stai cercando uno “zaino verde”, puoi digitare quella descrizione o mostrare al modello una foto, e YOLOE lo individuerà all'interno della scena.

Inoltre, anche senza alcun prompt, YOLOE è in grado di rilevare autonomamente molti oggetti di uso quotidiano. Questa capacità di riconoscere oggetti mai visti prima è chiamata zero-shot detection. È particolarmente utile in ambienti dinamici in cui l'attività o gli oggetti di interesse possono cambiare inaspettatamente.

Fig 1. Uno sguardo alle capacità di YOLOE.

Caratteristiche principali di YOLOE#

YOLOE supporta un'ampia gamma di funzionalità progettate per migliorarne le prestazioni nelle applicazioni del mondo reale. Grazie alla capacità di gestire input sia strutturati che non strutturati, YOLOE apre nuove possibilità per il rilevamento e la segmentazione degli oggetti.

Ecco alcune delle caratteristiche principali che il modello offre:

• Rilevamento basato su prompt: YOLOE può cercare oggetti basandosi su un breve prompt di testo o un'immagine di esempio. Questo significa che non hai bisogno di riaddestrare il modello ogni volta che il tuo compito cambia; basta descrivere o mostrare al modello cosa stai cercando.
• Instance segmentation: oltre a tracciare i bounding box attorno agli oggetti, YOLOE può delinearne la forma esatta utilizzando la segmentazione di istanza. Questo è particolarmente utile quando gli oggetti si sovrappongono o quando è necessario conoscere i confini precisi di un oggetto.
• Riconoscimento oggetti senza prompt: YOLOE può riconoscere gli oggetti anche senza istruzioni specifiche. Utilizza una serie di descrizioni pre-apprese per identificare rapidamente gli oggetti, rendendo il processo più veloce ed efficiente.

Confronto tra YOLOE e altri modelli YOLO#

Ora che abbiamo una comprensione migliore di cosa sia YOLOE, diamo un'occhiata ad alcuni dei modelli simili nella famiglia YOLO.

Con il progredire della computer vision, lo stesso è avvenuto per i modelli YOLO. Ad esempio, Ultralytics YOLOv8 ha introdotto il supporto per nuove attività come la segmentazione e la classificazione, mentre versioni successive, come Ultralytics YOLO11, si sono concentrate sul miglioramento della precisione e delle prestazioni per una gamma più ampia di attività.

Inoltre, YOLO-World è stato rilasciato a gennaio 2024 e ha introdotto la possibilità di utilizzare prompt scritti, consentendo agli utenti di descrivere gli oggetti che desiderano trovare. Sebbene YOLO-World fosse un'ottima opzione per il rilevamento zero-shot, mancava di funzionalità come la segmentazione di istanza e il supporto dei prompt visivi.

YOLOE si basa su YOLO-World aggiungendo queste capacità, migliorando la flessibilità e le prestazioni, e offrendo uno strumento più efficace per le applicazioni di computer vision nel mondo reale.

Fig 2. Sia YOLO-World che YOLOE supportano il rilevamento zero-shot.

Utilizzo di YOLOE con il pacchetto Python di Ultralytics#

Sia che tu voglia rilevare oggetti specifici o esplorare tutto ciò che è presente in un'immagine, iniziare con YOLOE è semplice. Questo modello è supportato dal pacchetto Python di Ultralytics, rendendolo facile da integrare nei tuoi progetti. Ora, vediamo come utilizzarlo.

Installazione del pacchetto Ultralytics#

Il primo passo consiste nell'installare il pacchetto Python di Ultralytics utilizzando un gestore di pacchetti come 'pip'. Puoi farlo eseguendo il comando “pip install ultralytics” nel tuo terminale o prompt dei comandi.

Una volta installato il pacchetto, avrai tutto il necessario per caricare il modello, effettuare previsioni e sperimentare diverse modalità di rilevamento. Se riscontri problemi durante l'installazione, la documentazione ufficiale di Ultralytics offre un'utile sezione di risoluzione dei problemi.

Esistono diversi modi per utilizzare YOLOE per eseguire previsioni. Eseguire previsioni significa utilizzare il modello addestrato per identificare e localizzare oggetti all'interno di immagini o video. Questi diversi metodi ti consentono di personalizzare il modo in cui interagisci con il modello in base alle tue esigenze specifiche.

Discutiamo ciascuno di questi metodi, uno alla volta.

Rilevamento di oggetti specifici con prompt di testo o immagine#

YOLOE può rilevare oggetti basandosi su una breve descrizione testuale. Ad esempio, se stai cercando un cavallo in movimento, puoi utilizzare un prompt come "cavallo che cammina".

Per iniziare, carica prima il modello YOLOE pre-addestrato e imposta il tuo prompt (la descrizione di ciò che vuoi che il modello cerchi) come mostrato nel frammento di codice qui sotto.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Una volta impostati il modello e il prompt, puoi eseguire il modello su un'immagine o un video. Sostituisci il percorso del file nel codice con il percorso del tuo file immagine o video:

results = model.predict("path/to/your/image.jpg")
results[0].show()

Questo mostrerà l'immagine con l'oggetto rilevato chiaramente contrassegnato in base al tuo prompt. Puoi modificare il prompt per cercare oggetti diversi, come "valigia rossa", "bicicletta" o "zebra", a seconda di ciò che stai cercando.

Fig 3. Un esempio di utilizzo di YOLOE per rilevare oggetti specifici usando un prompt di testo.

Allo stesso modo, puoi utilizzare un'immagine per fornire un prompt a YOLOE con il pacchetto Python di Ultralytics. Nella modalità prompt visivo, il modello utilizza l'immagine per trovare elementi dall'aspetto simile in un'altra scena. Questo è particolarmente utile per oggetti difficili da descrivere o privi di etichette chiare.

Per esplorare il codice in modo più dettagliato, puoi consultare la documentazione di Ultralytics.

Rilevamento generale di oggetti utilizzando YOLOE#

In alcuni casi, potresti non sapere esattamente cosa cercare, o potresti non stare cercando un oggetto particolare. È qui che la modalità senza prompt torna utile.

Con questa opzione, non è necessario digitare una descrizione o fornire un'immagine di esempio. YOLOE analizza semplicemente le immagini in autonomia e rileva tutto ciò che riesce a riconoscere, come persone, animali, mobili o oggetti di uso quotidiano.

È un modo utile per esplorare una scena senza dare al modello istruzioni specifiche. Che tu stia scansionando una stanza affollata o rivedendo filmati con molta attività, la modalità senza prompt ti offre una rapida panoramica di ciò che è presente in un'immagine.

Puoi utilizzare il seguente codice per eseguire YOLOE in modalità senza prompt. Per prima cosa, il modello viene caricato, poi elabora l'immagine e rileva automaticamente gli oggetti in essa contenuti. Infine, i risultati vengono visualizzati e gli oggetti rilevati vengono evidenziati.

Assicurati di sostituire il percorso del file con il percorso reale della tua immagine.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

L'immagine mostrata di seguito è un esempio di ciò che YOLOE può rilevare in modalità senza prompt.

Fig 4. Utilizzo di YOLOE in modalità senza prompt.

Applicazioni in tempo reale di YOLOE#

La capacità di YOLOE di rispondere sia ai prompt testuali che a quelli di immagine lo rende uno strumento affidabile per le applicazioni in tempo reale. La sua flessibilità è particolarmente utile in ambienti frenetici in cui il tempismo e la precisione sono essenziali.

Esploriamo alcuni esempi del mondo reale di come YOLOE può essere utilizzato.

Miglioramento della gestione dei bagagli: Rilevamento dei bagagli in tempo reale#

Negli aeroporti affollati, individuare bagagli specifici può essere difficile, soprattutto quando si ha a che fare con valigie smarrite. YOLOE può semplificare questo processo aiutando a scansionare video in tempo reale e identificando rapidamente gli elementi in base a semplici prompt come "borsa rossa".

Se una borsa è smarrita o fuori posto, il personale può facilmente modificare il prompt per cercare un oggetto diverso, come una “valigia nera”. Questa capacità di adattarsi istantaneamente può aiutare il personale aeroportuale a localizzare rapidamente il bagaglio corretto senza dover rivedere lunghe ore di filmati o riaddestrare il modello, rendendo la gestione dei bagagli e la risoluzione dei problemi di smarrimento molto più rapide ed efficienti.

Monitoraggio degli spazi pubblici con YOLOE#

I filmati di sorveglianza di spazi pubblici, come mercati affollati e caffè, includono spesso un mix di persone, oggetti e attività che cambiano durante la giornata. YOLOE può analizzare questi filmati in tempo reale utilizzando la modalità senza prompt, rilevando automaticamente oggetti come borse, tavoli o biciclette senza bisogno di istruzioni specifiche.

Fig 5. YOLOE può rilevare vari oggetti in uno spazio pubblico affollato.

Questo è particolarmente utile per i team di sicurezza per individuare oggetti incustoditi o monitorare il movimento delle folle. La capacità di YOLOE di rilevare più oggetti contemporaneamente facilita la gestione degli spazi pubblici durante eventi o periodi di grande affluenza, aiutando i team a rimanere informati e reattivi.

Pro e contro di YOLOE#

Ecco alcuni dei principali vantaggi dell'utilizzo di YOLOE per applicazioni di computer vision:

• Prestazioni in tempo reale: YOLOE è ottimizzato per un'elaborazione rapida ed efficiente, consentendo il rilevamento in tempo reale, anche in ambienti dinamici come flussi video in diretta o spazi pubblici affollati.
• Scalabilità: YOLOE è scalabile e funziona bene per un'ampia varietà di applicazioni, dalla sicurezza e sorveglianza al settore retail, sanitario e ai veicoli autonomi.
• Facile da usare: Poiché YOLOE è supportato dal pacchetto Python di Ultralytics, è facile da integrare nei tuoi progetti di computer vision esistenti.

Tuttavia, ci sono alcune limitazioni da tenere a mente quando si usa YOLOE. Ecco un paio di fattori da considerare:

• Richiede dati di addestramento sufficienti: Sebbene YOLOE supporti il rilevamento zero-shot, le sue prestazioni su oggetti mai visti dipendono da quanto bene generalizza dai suoi dati di addestramento. In alcuni casi, potrebbe aver bisogno di dati aggiuntivi o di una messa a punto per funzionare bene in attività altamente specializzate.
• Sensibile alla qualità dell'input: L'accuratezza del modello può essere influenzata da immagini o video di bassa qualità. Un input sfocato o scarsamente illuminato può ridurre la capacità del modello di rilevare accuratamente gli oggetti, quindi un input di alta qualità è importante per prestazioni ottimali.

Punti chiave#

YOLOE apporta maggiore flessibilità alla computer vision consentendo agli utenti di guidare il rilevamento con prompt di testo o immagine. Funziona bene in situazioni reali in cui le scene cambiano rapidamente e il riaddestramento non è un'opzione.

Dalla gestione dei bagagli al monitoraggio degli spazi pubblici, YOLOE si adatta facilmente a nuovi compiti. Man mano che l'AI diventa più accessibile, modelli come YOLOE aiutano sempre più settori a utilizzare la tecnologia di visione in modi pratici ed efficienti.

Unisciti alla nostra community ed esplora il nostro repository GitHub per saperne di più sulle innovazioni dell'AI. Scopri gli ultimi progressi in settori come l'AI nel retail e la computer vision nella sanità sulle nostre pagine delle soluzioni. Dai un'occhiata alle nostre opzioni di licenza e inizia oggi stesso con la computer vision!