Che cos’è YOLOE? Spingere oltre i confini dei modelli di visione artificiale

Il rilevamento degli oggetti è un'attività fondamentale nell'ambito della visione artificiale, il cui obiettivo è identificare e localizzare gli oggetti nelle immagini o nei video. È una componente cruciale della visione artificiale, un campo dell'intelligenza artificiale (AI) che consente alle macchine di comprendere e interpretare i dati visivi. Ad esempio, il rilevamento degli oggetti può aiutare a identificare un'auto in un'immagine o a individuare una persona in un flusso video.

Una delle serie di modelli più note che supportano attività di visione artificiale, come il rilevamento degli oggetti, è YOLO (You Only Look Once). Progettati per offrire velocità e accuratezza, i modelli YOLO sono migliorati costantemente nel tempo. Per esempio, Ultralytics YOLO11, a cui è succeduto Ultralytics YOLO26, offre buone prestazioni in situazioni reali e fornisce risultati accurati anche in ambienti più complessi.

A ulteriore passo avanti di questo progresso, il nuovo modello YOLOE mira ad ampliare le capacità dei modelli YOLO. A differenza dei modelli tradizionali, che richiedono un nuovo addestramento per riconoscere nuovi oggetti, YOLOE può seguire semplici prompt testuali o basati su immagini per rilevare oggetti mai visti prima, adattandosi così molto meglio agli ambienti in evoluzione.

In questo articolo esamineremo più da vicino cosa rende unico YOLOE, come si confronta con i modelli YOLO precedenti e come puoi iniziare a usarlo oggi.

Panoramica di YOLOE#

YOLOE è un modello di visione artificiale che porta il rilevamento degli oggetti a un livello superiore. È stato presentato nel marzo 2025 dai ricercatori della Tsinghua University. A distinguere YOLOE dai modelli tradizionali è l'uso del rilevamento a vocabolario aperto.

Mentre la maggior parte dei modelli viene addestrata a riconoscere un elenco fisso di oggetti, YOLOE ti consente di specificare cosa cercare usando una breve descrizione o un'immagine di esempio. Ad esempio, se cerchi uno «zaino verde», puoi digitare la descrizione o mostrare una foto al modello: YOLOE lo individuerà nella scena.

Inoltre, anche senza alcun prompt, YOLOE è in grado di rilevare autonomamente molti oggetti di uso quotidiano. Questa capacità di riconoscere oggetti mai visti prima si chiama rilevamento zero-shot. È particolarmente utile negli ambienti dinamici, dove l'attività o gli oggetti di interesse possono cambiare inaspettatamente.

Fig. 1 Uno sguardo alle capacità di YOLOE.

Funzionalità principali di YOLOE#

YOLOE supporta un'ampia gamma di funzionalità progettate per migliorarne le prestazioni nelle applicazioni del mondo reale. Grazie alla capacità di gestire input strutturati e non strutturati, YOLOE apre nuove possibilità per il rilevamento e la segmentazione degli oggetti.

Ecco alcune delle funzionalità principali offerte dal modello:

• Rilevamento basato su prompt: YOLOE può cercare oggetti in base a un breve prompt testuale o a un'immagine di esempio. Non devi quindi riaddestrare il modello ogni volta che cambia l'attività: basta descrivere o mostrare al modello ciò che cerchi.
• Segmentazione di istanze: Oltre a disegnare riquadri di delimitazione attorno agli oggetti, YOLOE può delinearne la forma esatta usando la segmentazione di istanze. Questa funzione è particolarmente utile quando gli oggetti si sovrappongono o quando devi conoscere i confini precisi di un oggetto.
• Riconoscimento degli oggetti senza prompt: YOLOE può riconoscere gli oggetti anche senza istruzioni specifiche. Usa un insieme di descrizioni apprese in precedenza per identificare rapidamente gli oggetti, rendendo il processo più veloce ed efficiente.

Confronto tra YOLOE e altri modelli YOLO#

Ora che abbiamo capito meglio cos'è YOLOE, vediamo alcuni modelli simili della famiglia YOLO.

Con i progressi della visione artificiale, anche i modelli YOLO si sono evoluti. Ad esempio, Ultralytics YOLOv8 ha introdotto il supporto per nuove attività come la segmentazione e la classificazione, mentre le versioni successive, come Ultralytics YOLO11, si sono concentrate sul miglioramento della precisione e delle prestazioni per una gamma più ampia di attività.

Inoltre, YOLO-World, rilasciato nel gennaio 2024, ha introdotto la possibilità di usare prompt testuali, consentendo agli utenti di descrivere gli oggetti da individuare. Pur essendo un'ottima opzione per il rilevamento zero-shot, YOLO-World non includeva funzionalità come la segmentazione delle istanze e il supporto per i prompt visivi.

YOLOE si basa su YOLO-World e aggiunge queste funzionalità, migliorando flessibilità e prestazioni e offrendo uno strumento più efficace per le applicazioni di visione artificiale nel mondo reale. Per scoprire come i rilevatori open-vocabulary e i modelli vision-language si confrontano sui dataset di rilevamento reali, consulta la classifica VLM di Ultralytics.

Fig. 2 YOLO-World e YOLOE supportano entrambi il rilevamento zero-shot.

Usare YOLOE con il pacchetto Python Ultralytics#

Che tu voglia rilevare oggetti specifici o analizzare tutto ciò che compare in un'immagine, iniziare a usare YOLOE è semplice. Il modello è supportato dal pacchetto Python Ultralytics, quindi è facile integrarlo nei tuoi progetti. Vediamo ora come usarlo.

Installare il pacchetto Ultralytics#

Il primo passaggio consiste nell'installare il pacchetto Python Ultralytics usando un gestore di pacchetti come pip. Puoi farlo eseguendo pip install ultralytics nel terminale o nel prompt dei comandi.

Una volta installato il pacchetto, avrai tutto ciò che serve per caricare il modello, fare previsioni e provare diverse modalità di rilevamento. Se riscontri problemi durante l'installazione, la documentazione ufficiale di Ultralytics offre una sezione per la risoluzione dei problemi molto utile.

Esistono diversi modi per usare YOLOE per eseguire previsioni. Eseguire previsioni significa usare il modello addestrato per identificare e localizzare gli oggetti nelle immagini o nei video. Questi diversi metodi ti consentono di personalizzare l'interazione con il modello in base alle tue esigenze specifiche.

Vediamo questi metodi uno alla volta.

Rilevare oggetti specifici con prompt testuali o visivi#

YOLOE può rilevare gli oggetti in base a una breve descrizione testuale. Ad esempio, se cerchi un cavallo in movimento, puoi usare un prompt come «cavallo che cammina».

Per iniziare, carica il modello YOLOE preaddestrato e imposta il prompt (la descrizione di ciò che vuoi che il modello cerchi), come mostrato nel frammento di codice seguente.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg.pt")
prompt = ["horse walking"]
model.set_classes(prompt, model.get_text_pe(prompt))

Dopo aver impostato il modello e il prompt, puoi eseguire il modello su un'immagine o un video. Sostituisci il percorso del file nel codice con quello dell'immagine o del video:

results = model.predict("path/to/your/image.jpg")
results[0].show()

L'immagine mostrerà l'oggetto rilevato, evidenziato chiaramente in base al prompt. Puoi modificare il prompt per cercare altri oggetti, come «valigia rossa», «bicicletta» o «zebra», a seconda di ciò che ti interessa.

Fig. 3. Esempio di utilizzo di YOLOE per rilevare oggetti specifici con un prompt testuale.

Puoi anche usare un'immagine come prompt per YOLOE con il pacchetto Python Ultralytics. Nella modalità con prompt visivo, il modello usa l'immagine per trovare elementi simili in un'altra scena. È particolarmente utile per gli oggetti difficili da descrivere o privi di etichette chiare.

Per approfondire il codice, consulta la documentazione di Ultralytics.

Rilevamento generale degli oggetti con YOLOE#

In alcuni casi potresti non sapere esattamente cosa cercare o potresti non avere in mente un oggetto specifico. È qui che torna utile la modalità senza prompt.

Con questa opzione non devi digitare una descrizione né fornire un'immagine di esempio. YOLOE analizza le immagini autonomamente e rileva tutto ciò che è in grado di riconoscere, ad esempio persone, animali, mobili o oggetti di uso quotidiano.

È un modo utile per esplorare una scena senza dare istruzioni specifiche al modello. Che tu stia esaminando una stanza affollata o rivedendo filmati ricchi di attività, la modalità senza prompt ti offre una rapida panoramica di ciò che è presente nell'immagine.

Puoi usare il codice seguente per eseguire YOLOE in modalità senza prompt. Prima viene caricato il modello, poi l'immagine viene elaborata e gli oggetti al suo interno vengono rilevati automaticamente. Infine, vengono mostrati i risultati e gli oggetti rilevati vengono evidenziati.

Ricordati di sostituire il percorso del file con il percorso effettivo dell'immagine.

from ultralytics import YOLOE

model = YOLOE("yoloe-11l-seg-pf.pt")
results = model.predict("path/to/image.jpg")
results[0].show()

L'immagine seguente mostra un esempio di ciò che YOLOE è in grado di rilevare in modalità senza prompt.

Fig. 4. Uso di YOLOE in modalità senza prompt.

Applicazioni di YOLOE in tempo reale#

La capacità di YOLOE di rispondere sia a prompt testuali che visivi lo rende uno strumento affidabile per le applicazioni in tempo reale. La sua flessibilità è particolarmente utile negli ambienti frenetici, dove puntualità e precisione sono essenziali.

Vediamo alcuni esempi concreti di utilizzo di YOLOE.

Migliorare la gestione dei bagagli: rilevamento dei bagagli in tempo reale#

Negli aeroporti affollati, individuare bagagli specifici può essere difficile, soprattutto quando si tratta di bagagli smarriti. YOLOE può semplificare il processo analizzando i video in diretta e identificando rapidamente gli oggetti sulla base di prompt semplici come «borsa rossa».

Se un bagaglio manca o è stato collocato nel posto sbagliato, il personale può modificare facilmente il prompt per cercare un altro oggetto, ad esempio una «valigia nera». Questa capacità di adattarsi all'istante può aiutare il personale aeroportuale a trovare rapidamente il bagaglio giusto senza rivedere ore di filmati né riaddestrare il modello, rendendo molto più rapida ed efficiente la gestione dei bagagli e la risoluzione dei casi di bagagli smarriti.

Monitorare gli spazi pubblici con YOLOE#

I filmati di sorveglianza degli spazi pubblici, come mercati e caffè affollati, spesso includono un insieme di persone, oggetti e attività che cambia durante la giornata. YOLOE può analizzare questi filmati in tempo reale in modalità senza prompt, rilevando automaticamente oggetti come borse, tavoli o biciclette senza bisogno di istruzioni specifiche.

Fig. 5. YOLOE è in grado di rilevare vari oggetti in uno spazio pubblico affollato.

È particolarmente utile per i team di sicurezza, che possono individuare oggetti incustoditi o monitorare gli spostamenti della folla. La capacità di YOLOE di rilevare più oggetti contemporaneamente semplifica la gestione degli spazi pubblici durante gli eventi o nei periodi di maggiore affluenza, aiutando i team a rimanere informati e pronti a intervenire.

Vantaggi e svantaggi di YOLOE#

Ecco alcuni dei principali vantaggi dell'uso di YOLOE nelle applicazioni di visione artificiale:

• Prestazioni in tempo reale: YOLOE è ottimizzato per un'elaborazione rapida ed efficiente e consente il rilevamento in tempo reale anche in ambienti dinamici, come i flussi video in diretta o gli spazi pubblici affollati.
• Scalabilità: YOLOE è scalabile e funziona bene in un'ampia gamma di applicazioni, dalla sicurezza e sorveglianza alla vendita al dettaglio, all'assistenza sanitaria e ai veicoli autonomi.
• Facile da usare: poiché YOLOE è supportato dal pacchetto Python Ultralytics, è facile integrarlo nei tuoi progetti di visione artificiale esistenti.

Tuttavia, ci sono alcune limitazioni da tenere presenti quando usi YOLOE. Ecco un paio di aspetti da considerare:

• Richiede dati di addestramento sufficienti: sebbene YOLOE supporti il rilevamento zero-shot, le sue prestazioni sugli oggetti mai visti dipendono dalla capacità di generalizzare a partire dai dati di addestramento. In alcuni casi, per ottenere buoni risultati in attività altamente specializzate, potrebbero servire dati aggiuntivi o un fine-tuning.
• Sensibile alla qualità dell'input: la precisione del modello può risentire della scarsa qualità delle immagini o dei video. Input sfocati o poco illuminati possono ridurre la capacità del modello di rilevare gli oggetti con precisione, quindi per ottenere prestazioni ottimali è importante usare input di alta qualità.

Punti chiave#

YOLOE offre maggiore flessibilità alla visione artificiale, consentendo agli utenti di guidare il rilevamento con prompt testuali o visivi. Funziona bene in situazioni reali in cui le scene cambiano rapidamente e non è possibile riaddestrare il modello.

Dalla gestione dei bagagli al monitoraggio degli spazi pubblici, YOLOE si adatta facilmente a nuove attività. Man mano che l'IA diventa più accessibile, modelli come YOLOE aiutano un numero crescente di settori a usare la tecnologia di visione in modo pratico ed efficiente.

Unisciti alla nostra community e visita il nostro repository GitHub per saperne di più sulle innovazioni nell'IA. Scopri gli ultimi progressi in ambiti come l'IA nel commercio al dettaglio e la visione artificiale nell'assistenza sanitaria nelle nostre pagine dedicate alle soluzioni. Consulta le opzioni di licenza e inizia oggi stesso a usare la visione artificiale!