Mettiti alla prova con YOLO-World

I progetti di computer vision spesso comportano il passare molto tempo ad annotare dati e addestrare modelli di object detection. Ma questo potrebbe presto diventare un ricordo del passato. L'AI Lab di Tencent ha rilasciato YOLO-World, un modello di object detection open-vocabulary in tempo reale, il 31 gennaio 2024. YOLO-World è un modello zero-shot, il che significa che puoi eseguire inferenze di object detection sulle immagini senza doverlo addestrare.

I modelli zero-shot hanno il potenziale di cambiare il modo in cui affrontiamo le applicazioni di computer vision. In questo blog, esploreremo il funzionamento di YOLO-World e i suoi potenziali utilizzi, e condivideremo un pratico esempio di codice per aiutarti a iniziare.

Uno sguardo a YOLO-World#

Puoi passare un'immagine e un prompt testuale che descriva gli oggetti che stai cercando attraverso il modello YOLO-World. Ad esempio, se ti interessa trovare "una persona che indossa una maglietta rossa" all'interno di una foto, YOLO-World prende questo input e si mette al lavoro.

L'architettura unica del modello combina tre elementi principali:

• Un rilevatore basato sul modello di object detection Ultralytics YOLOv8, per analizzare il contenuto visivo dell'immagine.
• Un text encoder pre-addestrato da CLIP di OpenAI, progettato specificamente per comprendere il tuo prompt testuale.
• Una rete, la Vision-Language Path Aggregation Network (RepVL-PAN), che integra i dati dell'immagine elaborati con i dati testuali.

Il detector YOLO scansiona l'immagine di input per identificare potenziali oggetti. Il text encoder trasforma la tua descrizione in un formato che il modello può comprendere. Questi due flussi di informazioni vengono quindi uniti tramite la RepVL-PAN usando una fusione cross-modality multilivello. Ciò consente a YOLO-World di rilevare e localizzare con precisione nell'immagine gli oggetti descritti nel tuo prompt.

Un esempio di risultati da YOLO-World.

Vantaggi della scelta di YOLO-World#

Uno dei maggiori vantaggi dell'utilizzo di YOLO-World è che non devi addestrare il modello per una classe specifica. Ha già imparato da coppie di immagini e testi, quindi sa come trovare oggetti basandosi sulle descrizioni. Puoi evitare ore di raccolta dati, annotazione, addestramento su costose GPU e così via.

Ecco alcuni altri vantaggi nell'usare YOLO-World:

• Prestazioni in tempo reale - YOLO-World supporta prestazioni in tempo reale proprio come l'architettura YOLO originale. È ideale per applicazioni che richiedono un'object detection immediata come veicoli autonomi e sistemi di sorveglianza.
• Instance Segmentation - YOLO-World è in grado di delineare e separare con precisione gli oggetti nelle immagini, anche se tali oggetti non sono stati specificamente insegnati durante il suo addestramento.
• Efficienza - YOLO-World combina alta precisione ed efficienza computazionale, rendendolo pratico per applicazioni del mondo reale. La sua architettura ottimizzata rende possibile una rapida object detection senza eccessive richieste di potenza di calcolo.

Le applicazioni di YOLO-World#

I modelli YOLO-World possono essere usati per una grande varietà di applicazioni. Esploriamone alcune.

Controllo qualità nella produzione#

I prodotti fabbricati su una catena di montaggio vengono controllati visivamente per individuare eventuali difetti prima di essere imballati. Il rilevamento dei difetti viene spesso eseguito manualmente, il che richiede tempo e può portare a errori. Questi errori possono causare problemi come costi elevati e la necessità di riparazioni o richiami. Per ovviare a ciò, sono state create telecamere di visione artificiale speciali e sistemi IA per eseguire questi controlli.

I modelli YOLO-World rappresentano un grande passo avanti in quest'area. Possono trovare difetti nei prodotti anche quando non sono stati addestrati per quel problema specifico, grazie alle loro capacità zero-shot. Ad esempio, una fabbrica che produce bottiglie d'acqua può facilmente distinguere tra una bottiglia sigillata correttamente con un tappo e una bottiglia in cui il tappo manca o è difettoso usando YOLO-World.

Un esempio di ispezione del tappo di una bottiglia.

Robotica#

I modelli YOLO-World consentono ai robot di interagire con ambienti sconosciuti. Senza essere stati addestrati su oggetti specifici che potrebbero trovarsi in una stanza, possono comunque identificare quali oggetti sono presenti. Diciamo quindi che un robot entri in una stanza in cui non è mai stato prima. Con un modello YOLO-World, può comunque riconoscere e identificare oggetti come sedie, tavoli o lampade, anche se non è stato specificamente addestrato su quegli elementi.

Oltre all'object detection, YOLO-World può anche determinare le condizioni di tali oggetti, grazie alla sua funzionalità 'prompt-then-detect'. Ad esempio, nella robotica agricola, può essere utilizzato per identificare frutti maturi rispetto a frutti non maturi programmando il robot per rilevarli.

L'AI nell'industria automobilistica#

L'industria automobilistica coinvolge molte parti in movimento e YOLO-World può essere usato per diverse applicazioni automobilistiche. Ad esempio, quando si tratta di manutenzione auto, la capacità di YOLO-World di riconoscere un'ampia varietà di oggetti senza tagging manuale o ampio pre-addestramento è estremamente utile. YOLO-World può essere usato per identificare parti dell'auto che devono essere sostituite. Potrebbe persino automatizzare compiti come i controlli qualità, individuando difetti o pezzi mancanti nelle nuove auto.

Un'altra applicazione è l'object detection zero-shot nelle auto a guida autonoma. Le capacità di rilevamento zero-shot di YOLO-World possono migliorare la capacità di un veicolo autonomo di rilevare e classificare oggetti sulla strada, come pedoni, segnali stradali e altri veicoli, in tempo reale. In questo modo, può aiutare a rilevare ostacoli e prevenire incidenti per un viaggio più sicuro.

Un esempio di rilevamento di oggetti su una strada.

Gestione dell'inventario per negozi al dettaglio#

Identificare oggetti sugli scaffali nei negozi al dettaglio è una parte importante del monitoraggio dell'inventario, del mantenimento delle scorte e dell'automazione dei processi. La capacità di Ultralytics YOLO-World di riconoscere un'ampia varietà di oggetti senza tagging manuale o ampio pre-addestramento è estremamente utile per la gestione dell'inventario.

Ad esempio, nella gestione dell'inventario, YOLO-World può individuare e categorizzare rapidamente gli articoli su uno scaffale, come diverse marche di bevande energetiche. I negozi al dettaglio possono mantenere un inventario accurato, gestire i livelli delle scorte in modo efficiente e fluidificare le operazioni della catena di approvvigionamento.

Tutte le applicazioni sono uniche e mostrano quanto estensivamente YOLO-World possa essere utilizzato. Ora, passiamo alla pratica con YOLO-World e diamo un'occhiata a un esempio di codice.

Una guida al codice#

Come abbiamo menzionato prima, YOLO-World può essere usato per rilevare diverse parti di un'auto per la manutenzione. Un'applicazione di computer vision che rilevi eventuali riparazioni necessarie comporterebbe scattare una foto dell'auto, identificare le parti dell'auto, esaminare ogni parte per danni e consigliare riparazioni. Ogni parte di questo sistema userebbe diverse tecniche e approcci di AI. Ai fini di questa guida al codice, concentriamoci sulla parte in cui vengono rilevate le parti dell'auto.

Con YOLO-World, puoi identificare diverse parti di auto in un'immagine in meno di 5 minuti. Puoi estendere questo codice per provare diverse applicazioni usando anche YOLO-World! Per iniziare, dovremo installare tramite pip il pacchetto Ultralytics come mostrato di seguito.

Per ulteriori istruzioni e best practice relative al processo di installazione, consulta la nostra guida Installazione di Ultralytics. Durante l'installazione dei pacchetti richiesti per YOLOv8, se riscontri difficoltà, dai un'occhiata alla nostra Guida ai problemi comuni per soluzioni e suggerimenti.

Una volta installato il pacchetto necessario, possiamo scaricare un'immagine da Internet per eseguire le nostre inferenze. Utilizzeremo l'immagine qui sotto.

La nostra immagine di input.

Quindi, importeremo il pacchetto necessario, inizializzeremo il nostro modello e imposteremo le classi che stiamo cercando nella nostra immagine di input. Qui, ci interessano le seguenti classi: auto, ruota, portiera auto, specchietto auto e targa.

Useremo poi il metodo predict, fornendo il percorso dell'immagine insieme ai parametri per il numero massimo di rilevamenti e alle soglie per intersection over union (IoU) e confidenza (conf) per eseguire un'inferenza sull'immagine. Infine, gli oggetti rilevati vengono salvati in un file chiamato 'result.jpg'.

L'immagine di output risultante verrà salvata nei tuoi file.

La nostra immagine di output.

Se preferisci vedere cosa può fare YOLO-World senza programmare, puoi andare alla pagina Demo di YOLO-World, caricare un'immagine di input e inserire le classi personalizzate.

Leggi la nostra pagina della documentazione su YOLO-World per scoprire come salvare il modello con le classi personalizzate in modo che possa essere utilizzato direttamente in seguito senza inserire ripetutamente le classi personalizzate.

Hai notato che le portiere dell'auto non sono state rilevate?#

Se dai di nuovo un'occhiata all'immagine di output, noterai che la classe personalizzata “car door” non è stata rilevata. Nonostante i suoi grandi risultati, YOLO-World presenta alcune limitazioni. Per combattere queste limitazioni e usare il modello YOLO-World in modo efficace, è importante usare i tipi corretti di prompt testuali.

Ecco alcuni approfondimenti:

• YOLO-World potrebbe non necessitare di alti livelli di confidenza per previsioni accurate, quindi ridurre le soglie di confidenza può migliorare i tassi di rilevamento.
• Aggiungi le classi che non ti interessano. Aiuterà a migliorare l'object detection principale riducendo i falsi positivi per gli oggetti secondari.
• Rilevare prima gli oggetti più grandi, prima di concentrarsi sui dettagli più piccoli, può migliorare la precisione del rilevamento.
• Menziona i colori nelle tue classi per rilevare oggetti basandoti su indizi cromatici.
• Descrivere le dimensioni degli oggetti nei prompt può anche aiutare YOLO-World a identificare oggetti specifici con maggiore precisione.
• I metodi di post-elaborazione, come il filtraggio delle previsioni per dimensione o la regolazione dei livelli di confidenza per classe, possono migliorare ulteriormente i risultati dell'object detection.

I limiti sono infiniti#

Nel complesso, i modelli YOLO-World possono diventare uno strumento potente grazie alle loro capacità avanzate di object detection. Offre grande efficienza, precisione e aiuta ad automatizzare diverse attività in varie applicazioni, come l'esempio dell'identificazione di parti di auto di cui abbiamo discusso in pratica.

Sentiti libero di esplorare il nostro repository GitHub per saperne di più sui nostri contributi alla computer vision e all'IA. Se sei curioso di sapere come l'IA sta rimodellando settori come la tecnologia sanitaria, dai un'occhiata alle nostre pagine delle soluzioni. Le possibilità offerte da innovazioni come YOLO-World sembrano essere infinite!