Licenciar o YOLO
Voltar ao glossário da Ultralytics

Domain Randomization

A randomização de domínio treina modelos em simulações com texturas, iluminação, câmeras e física aleatorizadas para que eles se transfiram para o mundo real.

A randomização de domínio é uma técnica para treinar modelos em simulação de modo a funcionarem no mundo real. Um simulador nunca corresponde exatamente à realidade, por isso a randomização de domínio varia os respetivos parâmetros — incluindo texturas, cores, iluminação, posição da câmara, colocação de objetos, objetos distratores e propriedades físicas como massa e atrito — de forma tão ampla durante o treino que o mundo real parece ao modelo apenas mais uma variação. É uma ferramenta padrão para reduzir a diferença entre simulação e realidade em robótica, em modelos de visão por computador treinados com dados sintéticos e em políticas de controlo aprendidas com aprendizagem por reforço.

Josh Tobin e colegas da OpenAI e da UC Berkeley descreveram a técnica num artigo de 2017 que treinou uma rede de deteção de objetos para localizar objetos usando apenas imagens simuladas com texturas aleatórias pouco realistas. Sem imagens reais no treino, o detetor localizou objetos no mundo real com uma margem de erro de cerca de 1,5 cm, precisão suficiente para um braço robótico os agarrar mesmo num ambiente desordenado.

O que é randomizado#

Cada amostra de treino ou episódio recolhe novos valores dentro dos intervalos definidos pelos engenheiros para cada parâmetro:

  • Aparência: Texturas e cores dos objetos e do fundo, número, posição e tipo de luzes e ruído da imagem.
  • Câmara: Posição, orientação e campo de visão, para que o modelo nunca dependa de um único ponto de vista.
  • Conteúdo da cena: Número, forma e posição dos objetos distratores, que ensinam o modelo a ignorar a desordem visual e a oclusão parcial.
  • Dinâmica: Massas, atrito, amortecimento das juntas, potência do motor e latência do controlo, para que uma política de controlo aprendida tolere a diferença entre a física simulada e a real.

O treino repete esta amostragem em cada lote, e os resultados no mundo real determinam se os intervalos precisam de ser alterados:

Um modelo que vê um objeto com milhares de texturas e iluminações aleatórias não pode depender de uma única textura ou iluminação, por isso aprende características que resistem às mudanças, como a forma e a geometria. O custo é um problema de aprendizagem mais difícil: os dados randomizados normalmente exigem mais treino e modelos maiores; intervalos demasiado amplos desperdiçam capacidade em condições que nunca ocorrem, enquanto intervalos demasiado estreitos levam ao sobreajuste ao simulador. A randomização também não consegue fornecer aquilo que o simulador não consegue modelar, como materiais deformáveis ou artefactos dos sensores que não são renderizados.

Variantes e resultados#

Em 2018, investigadores da NVIDIA aplicaram a randomização de domínio à deteção de automóveis e descobriram que um detetor treinado com imagens sintéticas randomizadas e depois ajustado com imagens reais do KITTI superava um detetor treinado apenas com dados reais. A randomização da dinâmica levou esta ideia das imagens à física, treinando políticas de controlo robótico com massas e atrito randomizados. A randomização automática de domínio começa com intervalos estreitos e alarga cada um à medida que o modelo tem sucesso; em 2019, a OpenAI usou-a para treinar uma mão robótica que resolveu um cubo de Rubik. A randomização estruturada de domínio mantém a aleatoriedade dentro de um contexto realista, por exemplo, colocando carros em estradas em vez de no céu.

A randomização de domínio é agora amplamente utilizada na IA incorporada: treina sistemas de recolha e colocação orientadas por visão, navegação de drones e as pilhas de perceção de veículos autónomos.

Treinar Ultralytics YOLO com um conjunto de dados sintético randomizado acrescenta também randomização no espaço da imagem: por predefinição, cada amostra de treino recebe um fator de saturação aleatório entre 0.3 e 1.7 e um fator de brilho aleatório entre 0.6 e 1.4, provenientes das hsv_s e hsv_v definições de aumento de dados, gerados de novo sempre que uma imagem é carregada.

  • Aumento de dados: Transforma imagens depois de serem captadas ou renderizadas, usando inversões, recortes e alterações de cor. A randomização de domínio altera a cena antes da renderização, pelo que pode variar a iluminação, os materiais e o ponto de vista 3D, algo que as transformações 2D não conseguem fazer.
  • Adaptação não supervisionada de domínio (UDA): Usa imagens sem rótulos do domínio de destino para alinhar as características de um modelo com esse domínio. A randomização de domínio não precisa de dados do domínio de destino durante o treino.
  • Geração de dados sintéticos: O processo mais abrangente de criação de dados de treino artificiais, no qual a randomização de domínio é uma estratégia para decidir o aspeto de cada amostra gerada.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina