Melhores ferramentas de dados sintéticos para treinamento em visão computacional

A melhor ferramenta de dados sintéticos para visão computacional depende do que está faltando no seu conjunto de dados real. Ferramentas de simulação 3D, como NVIDIA Isaac Sim com Omniverse Replicator e BlenderProc, renderizam novas cenas com rótulos incluídos. Ferramentas generativas, como NVIDIA Cosmos e o recurso Generate Similar Images da Ultralytics Platform, adicionam variações às imagens que você já tem. Bibliotecas de aumento de dados, como Albumentations, transformam suas imagens reais durante o treinamento.

Seja qual for a sua escolha, avalie-a usando imagens reais que o modelo nunca viu. Em um teste da Ultralytics e da NVIDIA com conjuntos de dados de defeitos industriais, adicionar defeitos gerados elevou o mAP₇₅ do Ultralytics YOLO26x em 0,11 a 0,32 nas classes DAGM, mas apenas 0,008 no Real-IAD (detalhes do teste). O benefício dos dados sintéticos varia conforme o conjunto de dados e a forma como os dados foram gerados.

Este guia compara as principais ferramentas por método, explica qual lacuna cada uma preenche e mostra como testar dados sintéticos com Ultralytics YOLO26 antes de se comprometer com eles. Se você está começando no assunto, leia primeiro o que são dados sintéticos e como são usados.

Três maneiras de criar dados sintéticos de treinamento#

Este guia organiza as ferramentas de geração de dados sintéticos em três métodos práticos. Elas resolvem problemas diferentes, então compare primeiro as ferramentas dentro de cada método.

Cada método trata os rótulos de maneira diferente, e os três devem ser avaliados com imagens reais que o modelo nunca viu.

Dados sintéticos e aumento de dados se sobrepõem: ambos adicionam exemplos de treinamento que você não coletou. A diferença prática está na origem das novas imagens. O aumento de dados modifica o que você já tem, enquanto a simulação e os modelos generativos podem mostrar ao modelo coisas que nem sequer estão no seu conjunto de dados.

Comparação de ferramentas de dados sintéticos#

As ferramentas estão listadas em ordem alfabética, e cada linha foi verificada no site ou repositório da própria ferramenta em novembro de 2026.

A Ultralytics Platform não é uma ferramenta de simulação 3D. O Generate Similar Images descreve novas cenas inspiradas na sua imagem e gera uma imagem para cada cena, com Ultralytics Image 4B (padrão) ou Ultralytics Image 6B. As novas imagens compartilham os temas e o estilo da imagem de origem, mas não vêm com rótulos, então você precisa anotá-las antes do treinamento. Se você precisa de rótulos com precisão de pixel para objetos que pode modelar em 3D, uma ferramenta de simulação é a melhor opção.

Composição ilustrativa do Generate Similar Images na Ultralytics Platform, mostrando quatro resultados reais gerados com o modelo gratuito Ultralytics Image 4B. Foto de origem: 001 Car factory assembly line - Opel factory in Gliwice, Poland, Marek Ślusarczyk (Tupungato), CC BY 3.0. Adaptações geradas por IA.

Como escolher uma ferramenta de dados sintéticos#

Comece pela lacuna nos seus dados, não pela ferramenta. Estas são as lacunas mais comuns e as ferramentas que podem ajudar a preenchê-las.

Defeitos e anomalias raros#

Pode ser difícil coletar exemplos reais de tipos de defeitos raros. Vale a pena testar duas abordagens:

• Gere defeitos em imagens reais. No teste da Ultralytics e da NVIDIA, o NVIDIA Cosmos Data Factory gerou imagens de defeitos, que foram rotuladas automaticamente e adicionadas às imagens reais de treinamento. O relatório publicado afirma que a revocação melhorou em todos os conjuntos de dados testados com dados sintéticos. Atualmente, a etapa de geração do Cosmos é uma amostra de demonstração, não uma integração disponibilizada.
• Aumento de dados com copiar e colar. Para treinamento de segmentação ou OBB com rótulos poligonais, ative copy_paste para copiar objetos dentro da mesma imagem ou entre imagens, aumentando a frequência de ocorrência de uma classe rara. Essa opção fica desativada por padrão.

Veja visão computacional na manufatura para saber como a detecção de defeitos se encaixa em uma linha de produção.

Robôs, armazéns e operações de pegar e posicionar#

Se conseguires modelar os objetos e o espaço em 3D, a simulação produz rótulos para cada imagem e permite variar poses, iluminação e elementos em cena nas renderizações, uma técnica conhecida como randomização de domínio. Considera o NVIDIA Isaac Sim com o Omniverse Replicator para simulação robótica em hardware NVIDIA, e o BlenderProc para renderização programada a partir de modelos 3D que já tens. Lê mais sobre visão computacional em robótica.

Condução, drones e sistemas multissensor#

Para simulação de câmaras, lidar e radar, ou testes em ciclo fechado, considera plataformas concebidas para autonomia multissensor. A Parallel Domain cria reconstruções a partir de registos reais de condução e voo. A Anyverse simula saídas específicas de sensores para condução, interior de veículos e defesa. A Duality AI Falcon concentra-se na autonomia aérea e fora de estrada.

Satélites, SAR e outros sensores não visíveis#

A Rendered.ai apresenta simulação SAR, infravermelha, térmica, multiespectral, hiperespectral e de raios X. A Anyverse apresenta saídas de infravermelho próximo e térmicas.

Um conjunto de dados pequeno que precisa de mais variedade#

Começa com aumentos de dados que reflitam as condições que o modelo realmente encontrará, porque preservam os teus rótulos. Para treinar deteção, o Ultralytics YOLO ativa por predefinição mosaico, alterações de cor, escalamento, translação e inversões horizontais, e podes adicionar as tuas próprias transformações Albumentations. Se os aumentos de dados não abrangerem condições que não podes fotografar, como outras iluminações, fundos ou perspetivas, testa variações generativas ou simulação, consoante a cena e a forma como vais atribuir os rótulos.

Como testar se os dados sintéticos ajudam#

Os dados sintéticos só se justificam se o modelo tiver melhor desempenho em imagens reais. Executa a mesma experiência duas vezes e altera apenas as imagens de treino:

1. Reserva imagens reais para teste. Mantém um conjunto de teste com imagens reais do ambiente onde o modelo será executado e nunca lhe juntes imagens sintéticas.
2. Treina uma linha de base apenas com imagens reais.
3. Treina novamente com imagens reais e sintéticas, usando o mesmo modelo, número de épocas, otimizador e semente.
4. Escolhe a configuração com imagens reais de validação. Se experimentares várias quantidades de dados sintéticos, compara-as com imagens reais de validação. Depois, avalia apenas a linha de base e a configuração escolhida no conjunto de teste real que não foi alterado. Analisa mAP_50-95 e recall, e mAP₇₅ se a precisão das caixas for importante.

Com o Ultralytics YOLO, a divisão de treino pode listar várias pastas, para que as imagens reais e sintéticas permaneçam separadas no disco. Cria real.yaml da mesma forma, definindo train apenas como images/train_real. Mantém imagens quase duplicadas e imagens da mesma cena na mesma divisão, e gera imagens sintéticas apenas a partir das imagens de treino:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Isto compara a mesma configuração de treino, com e sem imagens sintéticas, avaliando-a nas mesmas imagens reais de teste. Com o mesmo número de épocas, o conjunto de dados maior tem mais passos de treino; por isso, repete o teste com algumas sementes antes de confiares numa diferença pequena. Consulta a documentação de Treino e Validação para ver todas as definições, e os insights de avaliação de modelos para interpretar os resultados.

mAP₇₅ apenas com imagens reais vs. com defeitos gerados, nos conjuntos de dados em que a síntese foi testada e ajudou, segundo o teste da Ultralytics e da NVIDIA.

O que a Ultralytics mediu#

• Defeitos gerados (teste da Ultralytics e da NVIDIA). Em conjuntos de dados de inspeção industrial com rótulos de polígonos, o Ultralytics YOLO26x treinado com imagens reais e defeitos gerados pelo NVIDIA Cosmos Data Factory foi comparado com o mesmo modelo treinado apenas com imagens reais. O mAP₇₅ aumentou entre 0.11 e 0.32 nas classes DAGM; na classe 9 do DAGM, por exemplo, passou de 0.650 para 0.966. No Real-IAD, o ganho foi de 0.008. Ambos os modelos usaram a mesma configuração e o mesmo conjunto de teste reservado (resultados completos).
• Dados sintéticos de profundidade. Os modelos de profundidade YOLO26 são pré-treinados com uma mistura de cerca de 2.19 milhões de imagens, que inclui conjuntos de dados sintéticos como o Hypersim, que fornece valores de referência densos de profundidade a partir de cenas renderizadas, com píxeis inválidos, como janelas e céu, mascarados. Os dados sintéticos complementam os dados mais ruidosos de sensores do mundo real, em vez de os substituir.
• Imagens geradas num conjunto de dados aberto. O Ultralytics Construction-PPE combina imagens recolhidas por pessoas e imagens geradas: 1,000 imagens e 12 classes, disponibilizadas ao abrigo da CC BY 4.0. Não tem uma divisão de teste separada, e a documentação recomenda avaliar o modelo com imagens independentes do teu próprio ambiente de implementação.

Que quantidade de dados sintéticos adicionar#

Não existe uma proporção universal, por isso trata-a como uma definição a testar. No teste da Ultralytics e da NVIDIA, o número de imagens sintéticas foi limitado a 25% ou 100% do número de imagens reais de treino, ou seja, uma imagem sintética por cada quatro reais, ou uma por uma. Das 11,448 imagens geradas, apenas 1,481 foram mantidas. Começa com pouco, escolhe a proporção usando imagens reais de validação e reserva o conjunto de teste real inalterado para a comparação final.

Onde a Ultralytics se encaixa#

A Ultralytics não vende um motor de simulação 3D. Abrange as etapas relacionadas com dados sintéticos:

• Treina e compara. O Ultralytics YOLO treina com qualquer combinação de imagens reais e sintéticas no formato YOLO, no teu próprio hardware ou em GPUs na nuvem com a Ultralytics Platform.
• Adiciona variação a imagens reais. A funcionalidade Generate Similar Images da Ultralytics Platform cria até 16 variações de uma imagem por lote, com instruções opcionais como "altera a iluminação" ou "adiciona chuva".
• Atribui rótulos ao que geras. A anotação inteligente na Ultralytics Platform usa SAM 3.1, YOLO e YOLOE para atribuir rótulos a novas imagens, incluindo em lotes que abrangem um conjunto de dados inteiro.
• Aumenta os dados por predefinição. O treino do Ultralytics YOLO inclui aumentos de dados integrados e é compatível com transformações Albumentations personalizadas.