O que são dados sintéticos em visão computacional? Uma visão geral

Os dados sempre foram um fator determinante em áreas como análise e inteligência artificial (IA). De fato, a forma como coletamos, geramos e usamos os dados está moldando o futuro dos sistemas inteligentes. Por exemplo, carros autônomos dependem de milhões de imagens rotuladas e leituras de sensores, desde placas de trânsito até movimentos de pedestres, para aprender a navegar nas estradas com segurança.

Um dos tipos mais vitais de dados que impulsionam esse progresso, especialmente em áreas como veículos autônomos e segurança, são dados visuais como imagens e vídeos.

Em particular, o campo de IA que permite que as máquinas interpretem essa informação visual é chamado de computer vision. Ele ajuda os sistemas a entenderem e analisarem entradas visuais de forma muito semelhante aos humanos, apoiando tarefas como reconhecimento facial, detecção de placas de trânsito e análise de imagens médicas.

No entanto, reunir conjuntos de dados visuais de alta qualidade e em grande escala do mundo real pode ser demorado, caro e muitas vezes levanta preocupações com a privacidade. É por isso que pesquisadores estão explorando ativamente o conceito de alavancar dados sintéticos.

Synthetic data refere-se a visuais gerados artificialmente que imitam de perto imagens e vídeos do mundo real. É criado usando técnicas como modelagem 3D, simulações de computador e métodos de IA gerativa como Generative Adversarial Networks (GANs), que aprendem padrões de dados reais para produzir novos exemplos realistas.

Espera-se que os dados sintéticos desempenhem um papel crítico no AI development em breve — com o Gartner prevendo que, até 2030, eles se tornarão mais essenciais do que os dados do mundo real. Neste artigo, exploraremos o que são dados sintéticos no contexto de computer vision, como são gerados e onde estão sendo aplicados em cenários do mundo real. Vamos começar!

O que são dados sintéticos na visão computacional?#

Imagine que queiras treinar um vision AI model para detectar objetos em diversos ambientes e condições. Depender apenas de dados do mundo real pode ser difícil e, às vezes, parecer limitante.

Enquanto isso, os dados sintéticos podem ser usados para criar o conjunto de dados ideal, contendo objetos em várias condições criadas artificialmente. Usando ferramentas como 3D modeling e simulações, os desenvolvedores podem gerar imagens com controle preciso sobre fatores como iluminação, ângulos e posicionamento de objetos. Isso, por sua vez, oferece mais flexibilidade para o treinamento de modelos do que os dados do mundo real.

Dados sintéticos são especialmente úteis quando a coleta de dados do mundo real é difícil ou impossível. Por exemplo, treinar um modelo para reconhecer pessoas em uma ampla gama de poses, como correr, agachar ou deitar, exigiria capturar milhares de fotos em muitas configurações, ângulos e condições de iluminação diferentes.

Por outro lado, com dados sintéticos, os desenvolvedores podem gerar facilmente essas variações com rótulos precisos, economizando tempo e esforço enquanto melhoram o desempenho do modelo.

Fig 1. Um conjunto de dados sintético com diferentes poses humanas e variações de iluminação (source).

Dados sintéticos vs. reais em IA#

A seguir, vamos dar uma olhada mais de perto nas diferenças entre dados sintéticos e dados reais. Ambos têm seus prós e contras quando se trata de training AI models.

Por exemplo, dados sintéticos são úteis quando dados reais são difíceis de coletar, mas podem não capturar todos os pequenos detalhes encontrados na vida real. Ao mesmo tempo, dados reais são mais autênticos, mas podem ser difíceis de encontrar, demorados para rotular e podem não cobrir todas as situações.

Ao combinar dados sintéticos e reais, desenvolvedores podem obter o melhor dos dois mundos. Esse equilíbrio ajuda os modelos de IA a aprender com mais precisão, generalizar melhor em diferentes cenários e reduzir o viés.

Fig 2. Dados sintéticos vs. reais em IA. Imagem pelo autor.

Um olhar sobre a geração de dados para modelos de visão computacional#

Da construção de mundos virtuais com ferramentas 3D à geração de imagens usando IA gerativa, aqui estão alguns métodos comuns usados para criar dados de training data sintéticos para modelos de computer vision:

• Modelagem 3D: Desenvolvedores usam software 3D para criar objetos e cenas digitais. Isso permite controle total sobre aspectos como iluminação, ângulos de câmera e posicionamento de objetos, sendo útil para gerar imagens realistas de pessoas, veículos e ambientes.
• Simulações: Estas recriam situações do mundo real, como tráfego ou ambientes fabris, usando motores baseados em física. Simulações são úteis para gerar dados de treinamento com segurança em áreas como robótica e carros autônomos.
• Redes Adversárias Generativas: GANs são um tipo de modelo de aprendizado profundo composto por duas redes: uma que cria imagens e outra que as avalia. Juntas, elas geram imagens altamente realistas, como rostos humanos ou vistas de rua, aprendendo a partir de exemplos reais.
• Geração processual: Esta técnica usa regras predefinidas ou modelos matemáticos para gerar automaticamente estruturas visuais complexas, como terrenos, edifícios ou texturas. É frequentemente usada em plataformas de jogos e simulação e pode produzir conjuntos de dados diversos e em grande escala com intervenção humana mínima.
• Randomização de domínio: Ela pode alterar aleatoriamente coisas como iluminação, cores e formas de objetos em cenas sintéticas. O objetivo por trás dessa técnica é ajudar os modelos a focar no que realmente importa, tornando-os mais adaptáveis a ambientes do mundo real.

Fig 3. Exemplos de dados: (a) baseados em modelos 3D, (b) cenas multi-objeto sintéticas e (c) imagens de conjuntos de dados reais (source).

Treinamento de modelos de visão de IA com dados sintéticos#

Agora que discutimos alguns dos diferentes métodos usados para criar dados sintéticos, vamos percorrer como eles são usados para treinar modelos de IA.

Uma vez gerados, os dados sintéticos geralmente podem ser integrados diretamente no pipeline de treinamento da mesma forma que os dados do mundo real. Eles normalmente incluem as anotações necessárias, como rótulos de objetos, bounding boxes ou máscaras de segmentação, o que significa que podem ser usados para tarefas de aprendizado supervisionado, onde modelos aprendem a partir de pares de entrada-saída rotulados, sem a necessidade de rotulagem manual.

Durante o treinamento, o modelo processa imagens sintéticas para aprender a detectar características, reconhecer padrões e classificar objetos. Esses dados podem ser usados para construir uma versão inicial do modelo do zero ou para enriquecer um conjunto de dados existente, ajudando a melhorar o desempenho do modelo.

Em muitos fluxos de trabalho, dados sintéticos também são usados para pré-treinamento, dando aos modelos uma base de conhecimento ampla antes de serem ajustados (fine-tuned) com exemplos do mundo real. Da mesma forma, são usados para aumentar conjuntos de dados introduzindo variações controladas, como diferentes condições de iluminação, ângulos ou classes raras de objetos, para melhorar a generalização e reduzir o sobreajuste (overfitting).

Ao combinar dados sintéticos e reais, as equipes podem treinar modelos mais robustos que funcionam bem em uma ampla variedade de condições, tudo enquanto reduzem a dependência de esforços de coleta de dados manuais demorados e caros.

Aplicações reais de dados sintéticos na visão computacional#

À medida que os dados sintéticos se tornam mais práticos e acessíveis, começamos a vê-los adotados em uma variedade de casos de uso de IA de visão do mundo real. Vamos explorar algumas das applications in computer vision mais impactantes onde eles estão sendo usados.

Usando dados sintéticos para detecção de objetos em veículos autônomos#

Ensinar carros autônomos a dirigir com segurança exige o treinamento de modelos em uma ampla gama de cenários, incluindo situações raras ou perigosas. No entanto, coletar dados do mundo real para esses casos limite pode ser desafiador e, às vezes, inseguro. Os dados sintéticos podem ajudar a criar cenas onde os modelos podem aprender a detect objetos em situações difíceis. Eles também podem imitar diferentes configurações de sensores, o que ajuda porque nem todos os carros autônomos usam o mesmo hardware.

A plataforma NVIDIA’s DRIVE Sim é um ótimo exemplo disso. Ela cria dados sintéticos de alta qualidade usando modelos 3D fotorrealistas, ambientes virtuais e simulações de sensores. Ela também pode gerar imagens de vários ângulos de direção a partir de uma única imagem. Usar dados sintéticos como este ajuda a reduzir a necessidade de testes caros no mundo real, ao mesmo tempo em que fornece ao modelo a variedade de que ele precisa para aprender de forma eficaz.

Fig 4. Criação de várias vistas de direção a partir de uma única imagem (source).

Reduzindo o viés na IA de imagens médicas com dados sintéticos#

Modelos de computer vision como Ultralytics YOLO11 que suportam tarefas como detecção de objetos e segmentação de instâncias podem ser treinados de forma personalizada para aplicações de imagens médicas. No entanto, os dados de treinamento do mundo real geralmente contêm vieses, pois podem não representar adequadamente pacientes de todos os grupos demográficos.

Por exemplo, o skin cancer é diagnosticado com menos frequência em indivíduos com tons de pele mais escuros, levando a dados limitados para essas populações. Esse desequilíbrio pode contribuir para diagnósticos errados e resultados de saúde desiguais, particularmente em campos como histopatologia, raios-X de tórax e dermatologia.

Imagens sintéticas podem desempenhar um papel ao dar um passo em direção ao fechamento dessa lacuna nos dados. Ao gerar exemplos adicionais e diversos, como anomalias de tecido variadas, uma ampla gama de condições pulmonares e tons de pele com diferentes tipos de lesões, os dados sintéticos podem ajudar a melhorar o desempenho do modelo em grupos sub-representados.

Os pesquisadores estão atualmente trabalhando no desenvolvimento e validação de conjuntos de dados sintéticos para apoiar esses objetivos. Eles também estão explorando como os dados sintéticos podem ser usados para test medical tools e estratégias de tratamento sem depender de registros reais de pacientes, ajudando a acelerar a pesquisa enquanto protegem a privacidade do paciente. Por meio desse trabalho, os dados sintéticos estão abrindo caminho para sistemas de IA médica mais inclusivos, precisos e éticos.

Avançando a IA agrícola com dados sintéticos para agricultura de precisão#

Construir sistemas de Visão de IA para aplicações agrícolas depende do acesso a grandes quantidades de dados rotulados. No entanto, coletar e rotular fotos de colheitas, doenças e condições de campo é lento, caro e muitas vezes limitado por coisas como clima, estações de crescimento ou a dificuldade de alcançar certas áreas.

Esses desafios tornam difícil treinar modelos de computer vision para lidar com tarefas como detectar doenças de plantas, monitoring crops ou prever colheitas. É aí que os dados sintéticos podem ajudar — imitando diferentes ambientes agrícolas para gerar exemplos de treinamento úteis.

Fig 5. Uso de imagens sintéticas para melhorar a detecção de doenças (source).

Principais pontos#

Usar dados sintéticos representa um passo importante no treinamento de modelos de IA, especialmente para sistemas de visão computacional em áreas onde os dados do mundo real são limitados ou difíceis de obter. Em vez de depender apenas de fotos ou vídeos reais, que podem ser caros, demorados ou levantar preocupações com a privacidade, os dados sintéticos nos permitem gerar imagens realistas e rotuladas sob demanda.

Isso facilita o treinamento de modelos de visão de IA para tarefas como direção autônoma, detecção de doenças ou monitoramento de colheitas. À medida que a IA continua a evoluir, os dados sintéticos estão prontos para desempenhar um papel ainda maior na aceleração da inovação e na melhoria da acessibilidade em todos os setores.

Sabe mais sobre IA no nosso GitHub repository e junta-te à nossa crescente community. Descobre o impacto de aplicações como AI in autonomous vehicles e computer vision in agriculture. Explora as nossas opções de licensing e dita vida aos teus projetos de visão por IA.