I migliori strumenti per dati sintetici nell'addestramento della visione artificiale

Lo strumento migliore per i dati sintetici nella visione artificiale dipende da ciò che manca al tuo dataset reale. Gli strumenti di simulazione 3D, come NVIDIA Isaac Sim con Omniverse Replicator e BlenderProc, generano nuove scene con le etichette incluse. Gli strumenti generativi, come NVIDIA Cosmos e la funzionalità Generate Similar Images in Ultralytics Platform, aggiungono varietà alle immagini che hai già. Le librerie di augmentation, come Albumentations, trasformano le tue immagini reali durante l'addestramento.

Qualunque strumento tu scelga, valutalo su immagini reali che il modello non ha mai visto. In un test di Ultralytics e NVIDIA su dataset di difetti industriali, l'aggiunta di difetti generati ha aumentato la mAP₇₅ di Ultralytics YOLO26x da 0,11 a 0,32 sulle classi DAGM, ma solo di 0,008 su Real-IAD (dettagli del test). Il vantaggio dei dati sintetici varia a seconda del dataset e del metodo di generazione.

Questa guida confronta i principali strumenti in base al metodo, spiega quale lacuna colma ciascuno e mostra come testare i dati sintetici con Ultralytics YOLO26 prima di adottarli. Se sei alle prime armi con l'argomento, inizia da cosa sono i dati sintetici e come si usano.

Tre modi per creare dati sintetici di addestramento#

Questa guida raggruppa gli strumenti di generazione di dati sintetici in tre metodi pratici. Risolvono problemi diversi, quindi confronta prima gli strumenti all'interno di ciascun metodo.

Ogni metodo gestisce le etichette in modo diverso e tutti e tre vanno valutati su immagini reali che il modello non ha mai visto.

I dati sintetici e la data augmentation si sovrappongono: entrambi aggiungono esempi di addestramento che non hai raccolto. La differenza pratica sta nella provenienza delle nuove immagini. L'augmentation modifica ciò che hai già, mentre la simulazione e i modelli generativi possono mostrare al modello elementi che non sono affatto presenti nel tuo dataset.

Confronto tra strumenti per dati sintetici#

Gli strumenti sono elencati in ordine alfabetico e ogni voce è stata verificata consultando il sito web o il repository ufficiale dello strumento nel novembre 2026.

Ultralytics Platform non è uno strumento di simulazione 3D. Generate Similar Images descrive nuove scene ispirate alla tua immagine e genera un'immagine per ciascuna, con Ultralytics Image 4B (predefinito) oppure Ultralytics Image 6B. Le nuove immagini condividono i soggetti e lo stile dell'immagine di origine, ma non includono etichette, quindi devi annotarle prima dell'addestramento. Se ti servono etichette precise al pixel per oggetti che puoi modellare in 3D, è meglio usare uno strumento di simulazione.

Composizione illustrativa di Generate Similar Images in Ultralytics Platform, con quattro risultati reali generati con il modello gratuito Ultralytics Image 4B. Foto di origine: 001 Car factory assembly line - Opel factory in Gliwice, Poland, Marek Ślusarczyk (Tupungato), CC BY 3.0. Sono mostrate rielaborazioni generate dall'AI.

Come scegliere uno strumento per dati sintetici#

Parti dalla lacuna nei tuoi dati, non dallo strumento. Ecco le lacune più comuni e gli strumenti più adatti a colmarle.

Difetti e anomalie rari#

Può essere difficile raccogliere esempi reali di tipi di difetto rari. Vale la pena testare due approcci:

• Genera difetti su immagini reali. Nel test di Ultralytics e NVIDIA, NVIDIA Cosmos Data Factory ha generato immagini di difetti, etichettate automaticamente e aggiunte alle immagini reali di addestramento. Il report pubblicato afferma che il richiamo è migliorato su tutti i dataset inclusi nel test con dati sintetici. La fase di generazione con Cosmos è attualmente un esempio dimostrativo, non un'integrazione distribuita.
• Augmentation copy-paste. Per l'addestramento di segmentazione o OBB con etichette poligonali, attiva copy_paste per copiare oggetti all'interno o tra immagini, aumentando la frequenza di comparsa di una classe rara. È disattivata per impostazione predefinita.

Scopri la visione artificiale nella produzione per capire dove si inserisce il rilevamento dei difetti in una linea di produzione.

Robot, magazzini e operazioni di presa e posizionamento#

Se puoi modellare in 3D gli oggetti e lo spazio, la simulazione genera etichette per ogni immagine e ti permette di variare pose, illuminazione e ingombri nei rendering: una tecnica nota come randomizzazione del dominio. Per la simulazione robotica su hardware NVIDIA, valuta NVIDIA Isaac Sim con Omniverse Replicator e BlenderProc per il rendering con script a partire dai modelli 3D che hai già. Scopri di più sulla visione artificiale nella robotica.

Guida, droni e sistemi multisensore#

Per simulare telecamere, lidar e radar o per eseguire test ad anello chiuso, valuta piattaforme progettate per l'autonomia multisensore. Parallel Domain crea ricostruzioni a partire dai log reali di guida e volo. Anyverse simula output specifici per i sensori, per la guida, gli interni dei veicoli e la difesa. Duality AI Falcon è specializzata nell'autonomia aerea e fuoristrada.

Satelliti, SAR e altri sensori non visibili#

Rendered.ai elenca la simulazione SAR, a infrarossi, termica, multispettrale, iperspettrale e a raggi X. Anyverse elenca output nel vicino infrarosso e termici.

Un dataset piccolo che ha bisogno di maggiore varietà#

Inizia con un'augmentation che rispecchi le condizioni che il modello incontrerà davvero, perché conserva le etichette. Per l'addestramento al rilevamento, Ultralytics YOLO attiva per impostazione predefinita mosaic, modifiche dei colori, ridimensionamento, traslazione e capovolgimenti orizzontali; puoi anche aggiungere le tue trasformazioni Albumentations. Se l'augmentation non copre condizioni che non puoi fotografare, come altre illuminazioni, sfondi o punti di vista, prova variazioni generative o la simulazione, a seconda della scena e di come assegnerai le etichette.

Come verificare se i dati sintetici sono utili#

I dati sintetici valgono la pena solo se il modello migliora sulle immagini reali. Esegui lo stesso esperimento due volte e modifica solo le immagini di addestramento:

1. Tieni da parte immagini reali per il test. Mantieni un set di test composto da immagini reali dell'ambiente in cui verrà eseguito il modello e non aggiungervi mai immagini sintetiche.
2. Addestra una baseline solo con immagini reali.
3. Ripeti l'addestramento con immagini reali e sintetiche, usando lo stesso modello, lo stesso numero di epoche, lo stesso ottimizzatore e lo stesso seed.
4. Scegli la configurazione usando immagini reali di validazione. Se provi diverse quantità di dati sintetici, confrontale su immagini reali di validazione. Poi valuta solo la baseline e la configurazione scelta sul set di test reale, lasciato intatto. Esamina mAP_50-95 e recall, e mAP₇₅ se la precisione dei riquadri è importante.

Con Ultralytics YOLO, lo split di addestramento può elencare diverse cartelle, così le immagini reali e sintetiche restano separate sul disco. Crea real.yaml allo stesso modo, impostando train solo su images/train_real. Mantieni nello stesso split le immagini quasi duplicate e quelle della stessa scena, e genera immagini sintetiche solo a partire dalle immagini di addestramento:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Questo confronto usa la stessa configurazione di addestramento, con e senza immagini sintetiche, e valuta i risultati sulle stesse immagini reali di test. A parità di epoche, il dataset più grande comporta più passaggi di addestramento, quindi ripeti l'esperimento con alcuni seed prima di dare importanza a una differenza contenuta. Consulta la documentazione Train e Val per tutte le impostazioni e gli approfondimenti sulla valutazione dei modelli per interpretare i risultati.

mAP₇₅ con sole immagini reali rispetto a immagini con difetti generati, sui dataset in cui la sintesi è stata testata e si è dimostrata utile, dal test di Ultralytics e NVIDIA.

Risultati misurati da Ultralytics#

• Difetti generati (test di Ultralytics e NVIDIA). Sui dataset di ispezione industriale con etichette poligonali, Ultralytics YOLO26x addestrato con immagini reali e difetti generati da NVIDIA Cosmos Data Factory è stato confrontato con lo stesso modello addestrato solo con immagini reali. mAP₇₅ è aumentato da 0,11 a 0,32 sulle classi DAGM; per esempio, sulla classe 9 di DAGM è passato da 0,650 a 0,966. Su Real-IAD il miglioramento è stato di 0,008. Entrambi i modelli hanno usato la stessa configurazione e lo stesso set di test tenuto da parte (risultati completi).
• Dati sintetici di profondità. I modelli di profondità YOLO26 sono preaddestrati su una combinazione di circa 2,19 milioni di immagini, che include dataset sintetici come Hypersim, che fornisce ground truth di profondità densa da scene renderizzate, mascherando i pixel non validi come quelli di finestre e cielo. I dati sintetici integrano i dati più rumorosi dei sensori nel mondo reale, anziché sostituirli.
• Immagini generate in un dataset aperto. Ultralytics Construction-PPE combina immagini raccolte da persone e immagini generate: 1.000 immagini e 12 classi, distribuite con licenza CC BY 4.0. Non dispone di uno split di test separato e la documentazione consiglia di valutare il modello su immagini indipendenti provenienti dal tuo ambiente di deployment.

Quanti dati sintetici aggiungere#

Non esiste una proporzione valida in ogni caso, quindi considerala un'impostazione da testare. Nel test di Ultralytics e NVIDIA, il numero di immagini sintetiche è stato limitato al 25% o al 100% delle immagini reali di addestramento: una immagine sintetica ogni quattro immagini reali, oppure una per ciascuna immagine reale. Delle 11.448 immagini generate, ne sono state mantenute solo 1.481. Inizia con poco, scegli la proporzione usando immagini reali di validazione e conserva intatto il set di test reale per il confronto finale.

Il ruolo di Ultralytics#

Ultralytics non vende un motore di simulazione 3D. Offre gli strumenti per le fasi che riguardano i dati sintetici:

• Addestra e confronta. Ultralytics YOLO si addestra con qualsiasi combinazione di immagini reali e sintetiche in formato YOLO, sul tuo hardware o su GPU cloud con Ultralytics Platform.
• Aggiungi variazioni alle immagini reali. Genera immagini simili in Ultralytics Platform crea fino a 16 variazioni di un'immagine per batch, con istruzioni facoltative come «modifica l'illuminazione» o «aggiungi la pioggia».
• Assegna etichette a ciò che generi. L'annotazione intelligente in Ultralytics Platform usa SAM 3.1, YOLO e YOLOE per assegnare etichette alle nuove immagini, anche in batch sull'intero dataset.
• Usa l'augmentation predefinita. L'addestramento di Ultralytics YOLO include l'augmentation integrata e supporta trasformazioni Albumentations personalizzate.