Synthetic Data Generation
A geração de dados sintéticos cria dados artificiais de treinamento com simuladores, regras procedurais, modelos generativos e LLMs, muitas vezes com rótulos exatos.
A geração de dados sintéticos é o processo de produzir imagens, vídeos, leituras de sensores, tabelas ou texto artificiais com um simulador, regras procedurais ou um modelo generativo, para que um modelo de aprendizagem automática possa ser treinado ou testado com esses dados. O resultado são dados sintéticos; o processo de geração determina a qualidade dos dados através de quatro escolhas: o método que cria as amostras, a forma como os rótulos são associados, a variedade de cada cena e a forma como o resultado é comparado com dados reais. Em visão computacional, a principal vantagem é que um gerador que posiciona todos os objetos também pode criar a respetiva anotação de dados, com exatidão e sem custos.
Principais métodos de geração#
Os simuladores constroem uma cena 3D a partir de recursos, definem a iluminação, os materiais e a câmara, e renderizam imagens com máscaras, mapas de profundidade e caixas delimitadoras exatos, porque a descrição da cena regista a localização de tudo. Simuladores de condução de código aberto, como o CARLA, produzem fluxos de câmara, LiDAR e radar para veículos autónomos, e os simuladores de robótica fazem o mesmo para preensão e navegação. A randomização de domínio varia texturas, iluminação e poses entre renderizações para que os modelos treinados com elas funcionem também com câmaras reais.
A geração procedural utiliza scripts e regras em vez de uma cena completa. A composição por recorte e colagem, popularizada pelo artigo de 2017 "Cut, Paste and Learn" da Universidade Carnegie Mellon, cola recortes segmentados de objetos sobre novos fundos e regista cada caixa colada como rótulo. A versão mais simples desenha formas em posições aleatórias, e o gerador escreve o rótulo de cada objeto enquanto o desenha:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")Ele imprime wrote 100 images with 256 exact box labels. Cada linha segue o formato de rótulos YOLO e armazena a classe e o centro, a largura e a altura da caixa como frações do tamanho da imagem; nenhuma delas precisou de um anotador humano.
Os modelos generativos aprendem o aspeto dos dados reais e criam novas amostras a partir deles. As redes adversariais generativas (GANs) e os modelos de difusão produzem imagens fotorrealistas a partir de ruído, de um prompt de texto ou de uma imagem de referência; métodos de condicionamento como o ControlNet fixam a disposição para que as posições dos objetos sejam conhecidas. Sem esse condicionamento, é necessário rotular as imagens geradas posteriormente. Para tabelas, sintetizadores estatísticos ajustam uma distribuição conjunta a registos reais usando cópulas gaussianas, redes bayesianas ou GANs condicionais, como o CTGAN (NeurIPS 2019), e depois amostram novas linhas.
Os modelos de linguagem de grande escala geram dados de texto: instruções, diálogos, exercícios de programação e rastos de raciocínio. A Microsoft treinou o phi-1, um modelo de programação com 1,3 mil milhões de parâmetros, com 6 mil milhões de tokens de texto filtrado da web e mais mil milhões de tokens de livros didáticos e exercícios escritos pelo GPT-3.5; o modelo alcançou 50,6% de aprovação@1 no benchmark HumanEval.
Escolher e validar um método#
O método depende do conteúdo que os dados precisam de ter, e todos os métodos terminam com a mesma verificação em relação aos dados reais:
A validação treina um modelo com os dados gerados, sozinhos ou misturados com dados reais, e o avalia apenas em dados de teste reais mantidos à parte, como nos benchmarks da Ultralytics de dados sintéticos NVIDIA Cosmos para detecção de defeitos. Se a acurácia em imagens reais cair à medida que aumenta a proporção de dados sintéticos, o gerador tem uma lacuna de realismo ou cobertura; pontuações por imagem, como a distância de Fréchet Inception (FID), ajudam a localizá-la. Geradores treinados com dados reais também podem memorizá-los; por isso, pipelines sensíveis à privacidade comparam os registros gerados com os originais, e alguns adicionam privacidade diferencial ao treinamento.
A Ultralytics Platform acrescenta a geração à gestão de conjuntos de dados através da ação Gerar imagens semelhantes. A ação recebe uma imagem de um conjunto de dados, cria descrições de novas cenas inspiradas nela e gera uma imagem por descrição, utilizando por predefinição o modelo Ultralytics Image 4B, de 1 a 16 imagens de cada vez, seguindo instruções opcionais sobre o que variar, como a iluminação, o ponto de vista, o fundo ou os objetos. As imagens mantidas são adicionadas ao conjunto de dados sem rótulos, prontas para anotação.
Geração de dados sintéticos vs. termos relacionados#
- Aumento de dados: Transforma amostras reais existentes durante o treinamento com inversões, recortes ou alterações de cor, de modo que cada resultado continue associado a um original.
- IA generativa: O campo mais abrangente dos modelos que criam conteúdo. Os modelos generativos são uma fonte de dados sintéticos, juntamente com os simuladores e as regras procedurais.
- Dados sintéticos: O conjunto de dados produzido pela geração, avaliado pela fidelidade aos dados reais, pela utilidade para o treinamento e pela privacidade que preserva.










