O que são dados sintéticos em visão computacional? Uma visão geral

Os dados sempre foram um fator determinante em áreas como análise e inteligência artificial (IA). De fato, a forma como coletamos, geramos e usamos os dados está moldando o futuro dos sistemas inteligentes. Por exemplo, carros autônomos dependem de milhões de imagens rotuladas e leituras de sensores, desde placas de trânsito até movimentos de pedestres, para aprender a navegar nas estradas com segurança.

Um dos tipos mais vitais de dados que impulsionam esse progresso, especialmente em áreas como veículos autônomos e segurança, são dados visuais como imagens e vídeos.

Em particular, o campo da IA que permite que as máquinas interpretem essas informações visuais é chamado de visão computacional. Isso ajuda os sistemas a entender e analisar entradas visuais de forma muito semelhante aos humanos, apoiando tarefas como reconhecimento facial, detecção de placas de trânsito e análise de imagens médicas.

No entanto, reunir conjuntos de dados visuais de alta qualidade e em grande escala do mundo real pode ser demorado, caro e muitas vezes levanta preocupações com a privacidade. É por isso que pesquisadores estão explorando ativamente o conceito de alavancar dados sintéticos.

Dados sintéticos referem-se a visuais gerados artificialmente que imitam fielmente imagens e vídeos do mundo real. Eles são criados usando técnicas como modelagem 3D, simulações computacionais e métodos de IA generativa, como Redes Adversárias Generativas (GANs), que aprendem padrões a partir de dados reais para produzir novos exemplos realistas.

Espera-se que os dados sintéticos desempenhem um papel crítico no desenvolvimento de IA em breve - com o Gartner prevendo que, até 2030, eles se tornarão mais essenciais do que os dados do mundo real. Neste artigo, exploraremos o que são dados sintéticos no contexto da visão computacional, como são gerados e onde estão sendo aplicados em cenários do mundo real. Vamos começar!

Link to this sectionO que são dados sintéticos na visão computacional?#

Suponha que você queira treinar um modelo de visão de IA para detectar objetos em ambientes e condições diversas. Depender apenas de dados do mundo real pode ser difícil e, às vezes, parecer limitante.

Enquanto isso, dados sintéticos podem ser usados para criar o conjunto de dados ideal, contendo objetos em várias condições criadas artificialmente. Usando ferramentas como modelagem 3D e simulações, desenvolvedores podem gerar imagens com controle preciso sobre fatores como iluminação, ângulos e posicionamento de objetos. Isso, por sua vez, oferece mais flexibilidade para o treinamento de modelos do que os dados do mundo real.

Dados sintéticos são especialmente úteis quando a coleta de dados do mundo real é difícil ou impossível. Por exemplo, treinar um modelo para reconhecer pessoas em uma ampla gama de poses, como correr, agachar ou deitar, exigiria capturar milhares de fotos em muitas configurações, ângulos e condições de iluminação diferentes.

Por outro lado, com dados sintéticos, os desenvolvedores podem gerar facilmente essas variações com rótulos precisos, economizando tempo e esforço enquanto melhoram o desempenho do modelo.

Fig 1. Um conjunto de dados sintético com diferentes poses humanas e variações de iluminação (fonte).

Link to this sectionDados sintéticos vs. reais em IA#

A seguir, vamos analisar mais de perto as diferenças entre dados sintéticos e dados reais. Ambos têm seus prós e contras quando se trata de treinar modelos de IA.

Por exemplo, dados sintéticos são úteis quando dados reais são difíceis de coletar, mas podem não capturar todos os pequenos detalhes encontrados na vida real. Ao mesmo tempo, dados reais são mais autênticos, mas podem ser difíceis de encontrar, demorados para rotular e podem não cobrir todas as situações.

Ao combinar dados sintéticos e reais, desenvolvedores podem obter o melhor dos dois mundos. Esse equilíbrio ajuda os modelos de IA a aprender com mais precisão, generalizar melhor em diferentes cenários e reduzir o viés.

Fig 2. Dados sintéticos vs. reais em IA. Imagem pelo autor.

Link to this sectionUm olhar sobre a geração de dados para modelos de visão computacional#

Desde a construção de mundos virtuais com ferramentas 3D até a geração de imagens usando IA generativa, aqui estão alguns métodos comuns usados para criar dados de treinamento sintéticos para modelos de visão computacional:

• Modelagem 3D: Desenvolvedores usam software 3D para criar objetos e cenas digitais. Isso permite controle total sobre aspectos como iluminação, ângulos de câmera e posicionamento de objetos, sendo útil para gerar imagens realistas de pessoas, veículos e ambientes.
• Simulações: Estas recriam situações do mundo real, como tráfego ou ambientes fabris, usando motores baseados em física. Simulações são úteis para gerar dados de treinamento com segurança em áreas como robótica e carros autônomos.
• Redes Adversárias Generativas: GANs são um tipo de modelo de aprendizado profundo composto por duas redes: uma que cria imagens e outra que as avalia. Juntas, elas geram imagens altamente realistas, como rostos humanos ou vistas de rua, aprendendo a partir de exemplos reais.
• Geração processual: Esta técnica usa regras predefinidas ou modelos matemáticos para gerar automaticamente estruturas visuais complexas, como terrenos, edifícios ou texturas. É frequentemente usada em plataformas de jogos e simulação e pode produzir conjuntos de dados diversos e em grande escala com intervenção humana mínima.
• Randomização de domínio: Ela pode alterar aleatoriamente coisas como iluminação, cores e formas de objetos em cenas sintéticas. O objetivo por trás dessa técnica é ajudar os modelos a focar no que realmente importa, tornando-os mais adaptáveis a ambientes do mundo real.

Fig 3. Exemplos de dados: (a) baseados em modelos 3D, (b) cenas sintéticas com múltiplos objetos e (c) imagens de conjuntos de dados reais (fonte).

Link to this sectionTreinamento de modelos de visão de IA com dados sintéticos#

Agora que discutimos alguns dos diferentes métodos usados para criar dados sintéticos, vamos percorrer como eles são usados para treinar modelos de IA.

Uma vez gerados, os dados sintéticos geralmente podem ser integrados diretamente no pipeline de treinamento da mesma forma que os dados do mundo real. Eles normalmente incluem as anotações necessárias, como rótulos de objetos, bounding boxes ou máscaras de segmentação, o que significa que podem ser usados para tarefas de aprendizado supervisionado, onde modelos aprendem a partir de pares de entrada-saída rotulados, sem a necessidade de rotulagem manual.

Durante o treinamento, o modelo processa imagens sintéticas para aprender a detectar características, reconhecer padrões e classificar objetos. Esses dados podem ser usados para construir uma versão inicial do modelo do zero ou para enriquecer um conjunto de dados existente, ajudando a melhorar o desempenho do modelo.

Em muitos fluxos de trabalho, dados sintéticos também são usados para pré-treinamento, dando aos modelos uma base de conhecimento ampla antes de serem ajustados (fine-tuned) com exemplos do mundo real. Da mesma forma, são usados para aumentar conjuntos de dados introduzindo variações controladas, como diferentes condições de iluminação, ângulos ou classes raras de objetos, para melhorar a generalização e reduzir o sobreajuste (overfitting).

Ao combinar dados sintéticos e reais, as equipes podem treinar modelos mais robustos que funcionam bem em uma ampla variedade de condições, tudo enquanto reduzem a dependência de esforços de coleta de dados manuais demorados e caros.

Link to this sectionAplicações reais de dados sintéticos na visão computacional#

À medida que os dados sintéticos se tornam mais práticos e acessíveis, estamos começando a vê-los adotados em uma variedade de casos de uso de IA de visão no mundo real. Vamos explorar algumas das aplicações em visão computacional mais impactantes onde estão sendo usados.

Link to this sectionUsando dados sintéticos para detecção de objetos em veículos autônomos#

Ensinar carros autônomos a dirigir com segurança requer treinar modelos em uma ampla gama de cenários, incluindo situações raras ou perigosas. No entanto, coletar dados do mundo real para esses casos extremos pode ser desafiador e, às vezes, inseguro. Dados sintéticos podem ajudar a criar cenas onde os modelos podem aprender a detectar objetos em situações difíceis. Eles também podem imitar diferentes configurações de sensores, o que ajuda, já que nem todos os carros autônomos usam o mesmo hardware.

A plataforma NVIDIA’s DRIVE Sim é um ótimo exemplo disso. Ela cria dados sintéticos de alta qualidade usando modelos 3D fotorrealistas, ambientes virtuais e simulações de sensores. Ela também pode gerar imagens de múltiplos ângulos de direção a partir de uma única imagem. Usar dados sintéticos como este ajuda a reduzir a necessidade de testes caros no mundo real, enquanto ainda fornece ao modelo a variedade de que ele precisa para aprender de forma eficaz.

Fig 4. Criando múltiplas visões de direção a partir de uma imagem (fonte).

Link to this sectionReduzindo o viés na IA de imagens médicas com dados sintéticos#

Modelos de visão computacional como o Ultralytics YOLO11, que suportam tarefas como detecção de objetos e segmentação de instâncias, podem ser treinados de forma personalizada para aplicações de imagens médicas. No entanto, dados de treinamento do mundo real frequentemente contêm vieses, pois podem não representar adequadamente pacientes de todos os grupos demográficos.

Por exemplo, o câncer de pele é diagnosticado com menos frequência em indivíduos com tons de pele mais escuros, levando a dados limitados para essas populações. Esse desequilíbrio pode contribuir para diagnósticos incorretos e resultados de saúde desiguais, particularmente em áreas como histopatologia, raios-X de tórax e dermatologia.

Imagens sintéticas podem desempenhar um papel ao dar um passo em direção ao fechamento dessa lacuna nos dados. Ao gerar exemplos adicionais e diversos, como anomalias de tecido variadas, uma ampla gama de condições pulmonares e tons de pele com diferentes tipos de lesões, os dados sintéticos podem ajudar a melhorar o desempenho do modelo em grupos sub-representados.

Os pesquisadores estão trabalhando atualmente no desenvolvimento e validação de conjuntos de dados sintéticos para apoiar esses objetivos. Eles também estão explorando como os dados sintéticos podem ser usados para testar ferramentas médicas e estratégias de tratamento sem depender de registros reais de pacientes, ajudando a acelerar a pesquisa enquanto protege a privacidade do paciente. Por meio desse trabalho, os dados sintéticos estão abrindo caminho para sistemas de IA médica mais inclusivos, precisos e éticos.

Link to this sectionAvançando a IA agrícola com dados sintéticos para agricultura de precisão#

Construir sistemas de Visão de IA para aplicações agrícolas depende do acesso a grandes quantidades de dados rotulados. No entanto, coletar e rotular fotos de colheitas, doenças e condições de campo é lento, caro e muitas vezes limitado por coisas como clima, estações de crescimento ou a dificuldade de alcançar certas áreas.

Esses desafios dificultam o treinamento de modelos de visão computacional para lidar com tarefas como detectar doenças em plantas, monitorar colheitas ou prever rendimentos. É aí que os dados sintéticos podem ajudar - imitando diferentes ambientes agrícolas para gerar exemplos de treinamento úteis.

Fig 5. Usando imagens sintéticas para detecção aprimorada de doenças (fonte).

Link to this sectionPrincipais pontos#

Usar dados sintéticos representa um passo importante no treinamento de modelos de IA, especialmente para sistemas de visão computacional em áreas onde os dados do mundo real são limitados ou difíceis de obter. Em vez de depender apenas de fotos ou vídeos reais, que podem ser caros, demorados ou levantar preocupações com a privacidade, os dados sintéticos nos permitem gerar imagens realistas e rotuladas sob demanda.

Isso facilita o treinamento de modelos de visão de IA para tarefas como direção autônoma, detecção de doenças ou monitoramento de colheitas. À medida que a IA continua a evoluir, os dados sintéticos estão prontos para desempenhar um papel ainda maior na aceleração da inovação e na melhoria da acessibilidade em todos os setores.

Saiba mais sobre IA em nosso repositório GitHub e junte-se à nossa crescente comunidade. Descubra o impacto de aplicações como IA em veículos autônomos e visão computacional na agricultura. Explore nossas opções de licenciamento e dê vida aos seus projetos de visão de IA.