Ultralytics YOLO e NVIDIA Cosmos Data Factory: dati sintetici per il rilevamento dei difetti

Ultralytics e NVIDIA hanno avviato una collaborazione per mostrare cosa possono ottenere dati di addestramento mirati per Ultralytics YOLO. Il ciclo di addestramento potenziato dai dati e basato su agenti di NVIDIA individua le immagini di cui un modello ha bisogno, NVIDIA Cosmos Data Factory genera quelle che ancora non esistono e Ultralytics YOLO è il modello addestrato sui dati risultanti. Il nostro team di machine learning (ML) ha testato questa combinazione su 19 benchmark pubblici di ispezione industriale, confrontando Ultralytics YOLO26 addestrato con la pipeline basata su agenti di NVIDIA e i dati sintetici di Cosmos Data Factory con lo stesso modello addestrato con il metodo convenzionale. In questo articolo condividiamo i risultati.

Più dati non sono la soluzione. Servono i dati giusti.#

Tutti i team che si occupano di ispezione conoscono questo schema. Un modello di rilevamento dei difetti funziona bene sui difetti che ha già visto molte volte, ma poi non rileva il graffio raro, l'illuminazione insolita o l'angolazione anomala della telecamera che sulla linea di produzione sono più importanti. La soluzione più comune consiste nel raccogliere e annotare più dati di ogni tipo: un processo lento, costoso e che per lo più aggiunge immagini che il modello gestisce già bene.

L'addestramento automatizzato basato su agenti e potenziato da NVIDIA adotta un approccio diverso: individua i punti deboli specifici di un dataset e li colma con immagini reali già esistenti oppure, quando mancano esempi reali, con immagini sintetiche di Cosmos Data Factory. In combinazione con Ultralytics YOLO, questo consente di addestrare un modello proprio sui dati che gli mancano.

Come funziona il ciclo di addestramento di NVIDIA potenziato dai dati?#

Il ciclo di addestramento potenziato dai dati e basato su agenti di NVIDIA per Ultralytics YOLO è una pipeline di miglioramento del modello che avvolge il ciclo di addestramento e decide quali dati servono al modello in seguito:

• Recupera dati reali. Cerca nei pool di immagini esistenti esempi reali che colmino lacune specifiche nel set di addestramento.

• Genera dati sintetici. Quando non esistono esempi reali, genera immagini di casi limite con Cosmos Data Factory.

• Assegna automaticamente le etichette. Un componente chiamato AnomalyGen annota le immagini sintetiche, quindi non serve alcuna annotazione manuale prima di riprendere l'addestramento.

L'idea guida è privilegiare i dati mirati rispetto all'efficienza dei dati. L'obiettivo non è semplicemente addestrare con meno dati, ma colmare con precisione le lacune del dataset in cui il modello è più debole, recuperando o generando dati e addestrando di nuovo il modello sul set arricchito. Come mostrano i risultati qui sotto, addestrare con meno immagini è spesso un effetto collaterale di un processo ben eseguito.

La pipeline è stata sottoposta a benchmark approfonditi con Ultralytics YOLO e tutti i risultati di questo articolo utilizzano Ultralytics YOLO26.

Il ruolo di NVIDIA Cosmos Data Factory#

Cosmos Data Factory è la piattaforma NVIDIA per la selezione, l'elaborazione e la generazione dei dati, basata sui modelli del mondo Cosmos. Nel ciclo di addestramento basato su agenti, il suo compito è generare immagini per scenari che un dataset reale non copre bene, ad esempio specifici tipi di difetti nella produzione o distorsioni da obiettivo fisheye nelle riprese dei trasporti.

Il passaggio è semplice. Cosmos genera le immagini dei casi limite, AnomalyGen le annota e Ultralytics YOLO viene riaddestrato sul set combinato di dati reali e sintetici usando la pipeline di addestramento Ultralytics standard.

Test di NVIDIA Cosmos Data Factory su 19 dataset pubblici#

Per verificare le potenzialità di Cosmos Data Factory + Ultralytics YOLO, il nostro team ML ha eseguito la pipeline di fine-tuning basata su agenti e potenziata dai dati su 19 dataset pubblici di ispezione industriale relativi ad acciaio, PCB, tessuti, superfici metalliche e prodotti di consumo, per un totale di circa 91.000 immagini di addestramento. Ogni esecuzione ha utilizzato un host con 8 GPU.

Il confronto è volutamente rigoroso. Il modello di riferimento e quello di Cosmos Data Factory sono stati addestrati con una ricetta identica: Ultralytics YOLO26x, 100 epoche, lo stesso ottimizzatore, tasso di apprendimento e seed; entrambi sono stati valutati sullo stesso set di test tenuto da parte. L'unica differenza riguarda le immagini usate per l'addestramento di ciascun modello. Il modello di riferimento viene addestrato su tutte le immagini annotate (e, nel test con dati sintetici, solo su immagini reali).

1. La stessa accuratezza con una frazione delle etichette#

Su 11 dei 19 dataset, Ultralytics YOLO26x addestrato con la pipeline basata su agenti ha raggiunto le stesse prestazioni dello stesso modello addestrato sull'intero dataset. In questi 11 dataset, non è stato necessario usare il 53% delle immagini annotate.

Tabella 1. Dataset in cui Cosmos Data Factory ha eguagliato il modello addestrato con tutti i dati. mAP@0.5 sullo stesso set tenuto da parte.

Sui dataset DAGM, la pipeline basata su agenti ha raggiunto la stessa mAP@0.5 usando un decimo delle etichette e, in due classi, ha superato leggermente il modello addestrato con tutti i dati. Su pcb-defect, ha escluso 7.000 immagini su 20.924, con una differenza di accuratezza quattro volte inferiore alla variabilità tra un'esecuzione e l'altra.

Per i team che pagano per l'annotazione, questo è il dato principale: su questi dataset, la maggior parte del budget per l'annotazione è stata spesa per immagini che non hanno modificato il risultato.

2. Fino al 74% di tempo di addestramento in meno#

Figura 1. Tempo di addestramento: dataset completo rispetto al sottoinsieme di Cosmos Data Factory, per i dataset su cui Cosmos Data Factory è risultato più veloce.

Addestrare Ultralytics YOLO su un set più piccolo e mirato riduce anche il consumo di risorse di calcolo. Su 10 dei 19 dataset, la pipeline basata su agenti ha ridotto i tempi di addestramento. Su DAGM, il tempo è sceso da 13–24 minuti a 4–7 minuti, con una riduzione del 69–74%. I dataset più grandi hanno registrato risparmi inferiori, ma comunque reali: il 19% su VisA e il 12% su metal-surface-defect.

Il risparmio non è garantito. Sugli altri nove dataset, la pipeline basata su agenti ha richiesto più tempo di una singola esecuzione con tutti i dati, perché a ogni iterazione il modello viene riaddestrato da zero sul sottoinsieme selezionato. Se il sottoinsieme selezionato non è molto più piccolo dell'originale, il tempo aggiuntivo di queste iterazioni supera il risparmio.

3. I difetti generati migliorano la precisione dei riquadri#

Figura 2. mAP@0.75 con sole immagini reali rispetto alle immagini con difetti generati, per i dataset in cui la generazione è stata testata e ha dato risultati positivi.

Il terzo test isola l'effetto dei dati sintetici. Nei dataset con annotazioni poligonali, abbiamo aggiunto difetti generati con Cosmos Data Factory e annotati da AnomalyGen, quindi abbiamo confrontato il modello Ultralytics YOLO risultante con uno addestrato solo su immagini reali.

Riportiamo mAP@0.75, una metrica più rigorosa di mAP@0.5: una previsione è considerata corretta solo se il suo riquadro si sovrappone al difetto reale per almeno il 75%. La metrica misura la precisione con cui il modello localizza un difetto, non solo se riesce a individuarlo. L'aggiunta di difetti generati ha aumentato mAP@0.75 da 0,11 a 0,32 nelle classi DAGM e il richiamo è migliorato in tutti i dataset testati. L'incremento maggiore è stato registrato nella classe 9 di DAGM, da 0,650 a 0,966. Su Real-IAD, il miglioramento è stato marginale (+0,008).

I difetti sono rari per natura, quindi gli esempi reali di un determinato tipo di difetto scarseggiano sempre. Generarli già annotati consente a Ultralytics YOLO di apprendere la forma e l'estensione precise di un difetto senza che nessuno debba disegnare un poligono.

Quantità di dati sintetici utilizzati#

Ogni generazione si articola in tre passaggi. Innanzitutto, Cosmos Data Factory individua posizioni plausibili in cui collocare i difetti nelle immagini reali (placed); il generatore disegna le immagini dei difetti in quelle posizioni (generated) e solo il numero di immagini previsto dal limite impostato viene incluso nel set di addestramento (kept). Abbiamo testato due limiti: immagini sintetiche pari al 25% o al 100% delle immagini reali nel set di addestramento.

Nel corso di 18 cicli di generazione (9 di riferimento e 9 sintetici), la pipeline ha generato 11.448 immagini. Ne sono state conservate solo 1.481, circa una su otto: è stato quindi il limite a determinare la quantità di dati sintetici vista da ciascun modello Ultralytics YOLO, non il numero di immagini generate. Con il limite al 100%, ogni set di addestramento conteneva un'immagine sintetica per ogni immagine reale; con il limite al 25%, circa una ogni quattro. In termini assoluti, le quantità sono ridotte: su DAGM, da 90 a 180 immagini reali più al massimo altrettante immagini sintetiche.

Tabella 2. Immagini generate e rapporto tra immagini reali e sintetiche, ricavati dai registri di generazione e ammissione di ciascuna esecuzione.

Cosa significa per i team che sviluppano modelli di ispezione#

Per i team che già addestrano Ultralytics YOLO, Cosmos Data Factory e l'addestramento automatizzato basato su agenti e potenziato da NVIDIA si integrano nel flusso di lavoro che già conoscono: stessi modelli, stessa ricetta di addestramento, con dati di qualità superiore.

• Copri i casi limite che non puoi raccogliere. I difetti sintetici etichettati automaticamente aiutano Ultralytics YOLO a localizzare i difetti quando gli esempi reali sono scarsi.

• Investi il budget per l'annotazione dove serve. In oltre la metà dei dataset testati, la maggior parte delle etichette era ridondante. La selezione mirata individua le immagini che contano.

• Ripeti le iterazioni più rapidamente. Set di addestramento più piccoli e selezionati riducono la durata delle esecuzioni di addestramento di Ultralytics YOLO e accelerano gli esperimenti su molti dataset.

Disponibilità#

La fase di generazione sintetica basata su Cosmos è attualmente disponibile come esempio e demo, ma non è ancora stata distribuita come integrazione.

Per provare Cosmos Data Factory con i tuoi modelli Ultralytics YOLO, contatta i team Ultralytics. Continueremo a collaborare con NVIDIA mentre la fase di generazione sintetica procede verso un'integrazione completa.

Appendice: configurazione dei test e dataset#

Tutte le esecuzioni: Ultralytics YOLO26x, 100 epoche, ottimizzatore, tasso di apprendimento e seed identici per il modello di riferimento e Cosmos Data Factory; un host con 8 GPU; stesso set di test tenuto da parte per ogni dataset. Gli 11 dataset con annotazioni poligonali possono utilizzare difetti generati.

Tabella 3. I 19 dataset (DAGM conta come otto, uno per classe).