Licenza YOLO
Torna al glossario di Ultralytics

Domain Randomization

La randomizzazione del dominio addestra i modelli in simulazioni con texture, illuminazione, fotocamere e fisica randomizzate, così da trasferirli al mondo reale.

La randomizzazione del dominio è una tecnica per addestrare modelli in simulazione affinché funzionino nel mondo reale. Un simulatore non corrisponde mai esattamente alla realtà, quindi la randomizzazione del dominio varia così ampiamente durante l'addestramento i suoi parametri — tra cui texture, colori, illuminazione, posa della fotocamera, disposizione degli oggetti, oggetti di disturbo e proprietà fisiche come massa e attrito — che il modello vede il mondo reale come un'ulteriore variazione. È uno strumento standard per colmare il divario tra simulazione e realtà nella robotica, nei modelli di visione artificiale addestrati su dati sintetici e nelle politiche di controllo apprese con l'apprendimento per rinforzo.

Nel paper del 2017, Josh Tobin e colleghi di OpenAI e UC Berkeley hanno descritto la tecnica addestrando una rete di rilevamento degli oggetti a localizzare oggetti usando solo immagini simulate con texture casuali non realistiche. Pur senza immagini reali nell'addestramento, il rilevatore individuava gli oggetti nel mondo reale con uno scarto di circa 1,5 cm, una precisione sufficiente perché un braccio robotico potesse afferrarli in mezzo ad altri oggetti.

Cosa viene randomizzato#

Ogni campione o episodio di addestramento estrae nuovi valori dagli intervalli impostati dagli ingegneri per ciascun parametro:

  • Aspetto: texture e colori degli oggetti e dello sfondo, numero, posizione e tipo di luci, e rumore dell'immagine.
  • Fotocamera: posizione, orientamento e campo visivo, affinché il modello non dipenda mai da un solo punto di vista.
  • Contenuto della scena: numero, forma e posizione degli oggetti di disturbo, che insegnano al modello a ignorare il disordine e l'occlusione parziale.
  • Dinamica: masse, attrito, smorzamento dei giunti, potenza dei motori e latenza dei controlli, affinché una politica di controllo appresa tolleri le differenze tra la fisica simulata e quella reale.

L'addestramento ripete questo campionamento a ogni batch; i risultati nel mondo reale determinano se gli intervalli debbano essere modificati:

Un modello che vede un oggetto con migliaia di texture e illuminazioni casuali non può fare affidamento su una singola texture o illuminazione, quindi apprende caratteristiche che resistono ai cambiamenti, come forma e geometria. Il costo è un problema di apprendimento più difficile: i dati randomizzati richiedono in genere più addestramento e modelli più grandi; intervalli troppo ampi sprecano capacità su condizioni che non si verificano mai, mentre intervalli troppo ristretti portano a un overfitting al simulatore. La randomizzazione non può nemmeno fornire ciò che il simulatore non è in grado di modellare, come i materiali deformabili o gli artefatti dei sensori che non riproduce.

Varianti e risultati#

Nel 2018, ricercatori di NVIDIA hanno applicato la randomizzazione del dominio al rilevamento delle auto e hanno scoperto che un rilevatore addestrato su immagini sintetiche randomizzate e poi perfezionato su immagini KITTI reali superava un modello addestrato solo su dati reali. La randomizzazione della dinamica ha esteso il concetto dalle immagini alla fisica, addestrando politiche di controllo robotico con masse e attriti randomizzati. La randomizzazione automatica del dominio parte da intervalli ristretti e li amplia man mano che il modello ha successo; nel 2019 OpenAI l'ha usata per addestrare una mano robotica in grado di risolvere un cubo di Rubik. La randomizzazione strutturata del dominio mantiene la casualità entro un contesto realistico, ad esempio collocando le auto sulle strade anziché in cielo.

La randomizzazione del dominio è oggi ampiamente usata nell'IA incarnata: addestra sistemi di prelievo e posizionamento guidati dalla visione, la navigazione dei droni e gli stack di percezione dei veicoli autonomi.

L'addestramento di Ultralytics YOLO su un dataset sintetico randomizzato aggiunge anche la randomizzazione nello spazio delle immagini: per impostazione predefinita, ogni campione di addestramento riceve un fattore di saturazione casuale compreso tra 0,3 e 1,7 e un fattore di luminosità casuale compreso tra 0,6 e 1,4, dalle hsv_s e hsv_v impostazioni di augmentation, estratte nuovamente ogni volta che viene caricata un'immagine.

  • Data augmentation: Trasforma le immagini dopo l'acquisizione o il rendering con ribaltamenti, ritagli e variazioni cromatiche. La randomizzazione del dominio modifica la scena prima del rendering, così può variare illuminazione 3D, materiali e punto di vista, elementi che le trasformazioni 2D non possono raggiungere.
  • Adattamento non supervisionato del dominio (UDA): Usa immagini senza etichette del dominio di destinazione per allineare le caratteristiche di un modello a quel dominio. La randomizzazione del dominio non richiede dati del dominio di destinazione durante l'addestramento.
  • Generazione di dati sintetici: Il processo più ampio di creazione di dati artificiali per l'addestramento, in cui la randomizzazione del dominio è una strategia per decidere l'aspetto di ciascun campione generato.

Esplora le soluzioni

La visione artificiale nello sport

La visione artificiale nello sport

Scopri come Ultralytics YOLO alimenta la computer vision nello sport con il tracciamento di giocatori e palloni, l'analisi delle prestazioni, gli approfondimenti per gli allenatori e la riabilitazione degli atleti.
Scopri di più
Computer vision per immagini aeree

Computer vision per immagini aeree

Trasforma immagini aeree e riprese da drone in informazioni utili in tempo reale per agricoltura, acquacoltura, conservazione e analisi geospaziale con Ultralytics YOLO.
Scopri di più
Computer vision nel settore aerospaziale

Computer vision nel settore aerospaziale

Applica la visione artificiale nel settore aerospaziale con Ultralytics YOLO per l'ispezione degli aeromobili, il rilevamento di FOD sulle piste, le operazioni di terra aeroportuali e il rilevamento di difetti nei materiali compositi.
Scopri di più
Visione artificiale nella sicurezza

Visione artificiale nella sicurezza

Proteggi ogni sito con i modelli Ultralytics YOLO. L'IA visiva alimenta il monitoraggio perimetrale, il rilevamento delle minacce, il riconoscimento delle targhe e la sicurezza sul lavoro.
Scopri di più
Visione artificiale nella robotica

Visione artificiale nella robotica

Dai più potenza alle macchine intelligenti con i modelli Ultralytics YOLO. Nell'ambito della robotica, l'IA visiva alimenta la navigazione autonoma, la percezione, il tracciamento degli oggetti e il controllo in tempo reale.
Scopri di più
Visione artificiale nella logistica

Visione artificiale nella logistica

Semplifica la logistica con i modelli Ultralytics YOLO. L'IA per la visione consente l'ispezione dei pacchi, la selezione, il tracciamento dei veicoli e il monitoraggio della sicurezza nei magazzini in tempo reale.
Scopri di più
Visione artificiale nel commercio al dettaglio

Visione artificiale nel commercio al dettaglio

Ripensa il commercio al dettaglio con i modelli Ultralytics YOLO. L'IA per la visione consente di tracciare le scorte, monitorare gli scaffali, gestire le code e ottenere informazioni più approfondite sui clienti.
Scopri di più
Visione artificiale in ambito sanitario

Visione artificiale in ambito sanitario

Crea soluzioni sanitarie con i modelli Ultralytics YOLO. In ambito sanitario, l'IA per la visione consente di elaborare più rapidamente le immagini mediche, migliorare la diagnostica e monitorare i pazienti.
Scopri di più
Computer vision nella produzione

Computer vision nella produzione

Ottimizza la produzione con i modelli Ultralytics YOLO. La visione basata sull'IA migliora il controllo qualità, il rilevamento dei difetti, la conformità ai requisiti sui DPI e l'automazione delle linee di assemblaggio.
Scopri di più
Computer vision nel settore automobilistico

Computer vision nel settore automobilistico

Applica la computer vision al settore automobilistico con i modelli Ultralytics YOLO. La visione basata sull'IA migliora la sicurezza stradale, i sistemi di assistenza alla guida e l'automazione dei veicoli, per strade più intelligenti.
Scopri di più
Visione artificiale in agricoltura

Visione artificiale in agricoltura

Porta l'IA visiva nell'agricoltura intelligente con i modelli Ultralytics YOLO. Gestisci il monitoraggio delle colture, il tracciamento del bestiame e l'agricoltura di precisione per ottenere raccolti più abbondanti e intelligenti.
Scopri di più

Costruiamo insieme il futuro dell'IA!

Inizia il tuo percorso verso il futuro del machine learning