Licenciar o YOLO
Voltar ao glossário da Ultralytics

Synthetic Data Generation

A geração de dados sintéticos cria dados artificiais de treinamento com simuladores, regras procedurais, modelos generativos e LLMs, muitas vezes com rótulos exatos.

A geração de dados sintéticos é o processo de produzir imagens, vídeos, leituras de sensores, tabelas ou texto artificiais com um simulador, regras procedurais ou um modelo generativo, para que um modelo de aprendizagem automática possa ser treinado ou testado com esses dados. O resultado são dados sintéticos; o processo de geração determina a qualidade dos dados através de quatro escolhas: o método que cria as amostras, a forma como os rótulos são associados, a variedade de cada cena e a forma como o resultado é comparado com dados reais. Em visão computacional, a principal vantagem é que um gerador que posiciona todos os objetos também pode criar a respetiva anotação de dados, com exatidão e sem custos.

Principais métodos de geração#

Os simuladores constroem uma cena 3D a partir de recursos, definem a iluminação, os materiais e a câmara, e renderizam imagens com máscaras, mapas de profundidade e caixas delimitadoras exatos, porque a descrição da cena regista a localização de tudo. Simuladores de condução de código aberto, como o CARLA, produzem fluxos de câmara, LiDAR e radar para veículos autónomos, e os simuladores de robótica fazem o mesmo para preensão e navegação. A randomização de domínio varia texturas, iluminação e poses entre renderizações para que os modelos treinados com elas funcionem também com câmaras reais.

A geração procedural utiliza scripts e regras em vez de uma cena completa. A composição por recorte e colagem, popularizada pelo artigo de 2017 "Cut, Paste and Learn" da Universidade Carnegie Mellon, cola recortes segmentados de objetos sobre novos fundos e regista cada caixa colada como rótulo. A versão mais simples desenha formas em posições aleatórias, e o gerador escreve o rótulo de cada objeto enquanto o desenha:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

Ele imprime wrote 100 images with 256 exact box labels. Cada linha segue o formato de rótulos YOLO e armazena a classe e o centro, a largura e a altura da caixa como frações do tamanho da imagem; nenhuma delas precisou de um anotador humano.

Os modelos generativos aprendem o aspeto dos dados reais e criam novas amostras a partir deles. As redes adversariais generativas (GANs) e os modelos de difusão produzem imagens fotorrealistas a partir de ruído, de um prompt de texto ou de uma imagem de referência; métodos de condicionamento como o ControlNet fixam a disposição para que as posições dos objetos sejam conhecidas. Sem esse condicionamento, é necessário rotular as imagens geradas posteriormente. Para tabelas, sintetizadores estatísticos ajustam uma distribuição conjunta a registos reais usando cópulas gaussianas, redes bayesianas ou GANs condicionais, como o CTGAN (NeurIPS 2019), e depois amostram novas linhas.

Os modelos de linguagem de grande escala geram dados de texto: instruções, diálogos, exercícios de programação e rastos de raciocínio. A Microsoft treinou o phi-1, um modelo de programação com 1,3 mil milhões de parâmetros, com 6 mil milhões de tokens de texto filtrado da web e mais mil milhões de tokens de livros didáticos e exercícios escritos pelo GPT-3.5; o modelo alcançou 50,6% de aprovação@1 no benchmark HumanEval.

Escolher e validar um método#

O método depende do conteúdo que os dados precisam de ter, e todos os métodos terminam com a mesma verificação em relação aos dados reais:

A validação treina um modelo com os dados gerados, sozinhos ou misturados com dados reais, e o avalia apenas em dados de teste reais mantidos à parte, como nos benchmarks da Ultralytics de dados sintéticos NVIDIA Cosmos para detecção de defeitos. Se a acurácia em imagens reais cair à medida que aumenta a proporção de dados sintéticos, o gerador tem uma lacuna de realismo ou cobertura; pontuações por imagem, como a distância de Fréchet Inception (FID), ajudam a localizá-la. Geradores treinados com dados reais também podem memorizá-los; por isso, pipelines sensíveis à privacidade comparam os registros gerados com os originais, e alguns adicionam privacidade diferencial ao treinamento.

A Ultralytics Platform acrescenta a geração à gestão de conjuntos de dados através da ação Gerar imagens semelhantes. A ação recebe uma imagem de um conjunto de dados, cria descrições de novas cenas inspiradas nela e gera uma imagem por descrição, utilizando por predefinição o modelo Ultralytics Image 4B, de 1 a 16 imagens de cada vez, seguindo instruções opcionais sobre o que variar, como a iluminação, o ponto de vista, o fundo ou os objetos. As imagens mantidas são adicionadas ao conjunto de dados sem rótulos, prontas para anotação.

  • Aumento de dados: Transforma amostras reais existentes durante o treinamento com inversões, recortes ou alterações de cor, de modo que cada resultado continue associado a um original.
  • IA generativa: O campo mais abrangente dos modelos que criam conteúdo. Os modelos generativos são uma fonte de dados sintéticos, juntamente com os simuladores e as regras procedurais.
  • Dados sintéticos: O conjunto de dados produzido pela geração, avaliado pela fidelidade aos dados reais, pela utilidade para o treinamento e pela privacidade que preserva.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina