A importância de datasets de visão computacional de alta qualidade

Até 2019, a adoção de inteligência artificial (IA) corporativa aumentou 270% em relação aos quatro anos anteriores. Esse crescimento impulsionou a rápida integração de aplicações de visão computacional (CV) - sistemas de IA que permitem que máquinas interpretem e analisem dados visuais do mundo ao seu redor. Essas aplicações impulsionam uma ampla gama de tecnologias, desde a detecção de doenças em imagens médicas e viabilização de veículos autônomos até a otimização do fluxo de tráfego em transportes e o aprimoramento da vigilância em sistemas de segurança.

A precisão notável e o desempenho inigualável de modelos de visão computacional de ponta, como o Ultralytics YOLO11, impulsionaram amplamente esse crescimento exponencial. No entanto, o desempenho desses modelos depende fortemente da qualidade e da quantidade dos dados usados para treinar, validar e testar os modelos.

Sem dados de alta qualidade suficientes, modelos de visão computacional podem ser difíceis de treinar e ajustar eficazmente para atender aos padrões da indústria. Neste artigo, exploraremos o papel vital dos dados na criação de modelos de visão computacional e por que dados de alta qualidade são tão importantes nessa área. Também veremos algumas dicas para ajudar você a criar conjuntos de dados de alta qualidade enquanto trabalha no treinamento de modelos personalizados de visão computacional. Vamos começar!

Link to this sectionO papel dos dados na construção de modelos de visão computacional#

Modelos de visão computacional podem ser treinados em grandes conjuntos de dados de imagens e vídeos para reconhecer padrões e fazer previsões precisas. Por exemplo, um modelo de detecção de objetos pode ser treinado em centenas - ou até milhares - de imagens e vídeos rotulados para identificar objetos com precisão.

A qualidade e a quantidade desses dados de treinamento influenciam o desempenho do modelo.

Como os modelos de visão computacional só podem aprender com os dados aos quais são expostos, fornecer dados de alta qualidade e exemplos diversos é crucial para o sucesso deles. Sem conjuntos de dados suficientes e diversos, esses modelos podem falhar ao analisar cenários do mundo real com precisão e podem produzir resultados tendenciosos ou imprecisos.

É por isso que é importante entender claramente o papel dos dados no treinamento de modelos. Antes de percorrermos as características de dados de alta qualidade, vamos entender os tipos de conjuntos de dados que você pode encontrar ao treinar modelos de visão computacional.

Link to this sectionTipos de conjuntos de dados de visão computacional#

Em visão computacional, os dados usados no processo de treinamento são categorizados em três tipos, cada um servindo a um propósito específico. Aqui está uma visão geral de cada tipo:

• Dados de Treinamento: Este é o conjunto de dados principal usado para treinar o modelo do zero. Consiste em imagens e vídeos com rótulos predefinidos, permitindo que o modelo aprenda padrões e reconheça objetos.
• Dados de Validação: Este é um conjunto de dados usado para verificar o desempenho de um modelo enquanto ele está sendo treinado. Ajuda a garantir que o modelo funcione corretamente com dados novos e nunca vistos.
• Dados de Teste: Um conjunto separado de dados usado para avaliar o desempenho final de um modelo treinado. Ele verifica quão bem o modelo consegue fazer previsões com dados completamente novos e nunca vistos.

Fig 1. Como os dados são categorizados em visão computacional.

Link to this sectionOs 5 principais traços de conjuntos de dados de visão computacional de alta qualidade#

Independentemente do tipo de conjunto de dados, dados de alta qualidade são essenciais para construir modelos de visão computacional bem-sucedidos. Aqui estão algumas das principais características que tornam um conjunto de dados de alta qualidade:

• Precisão: Idealmente, os dados devem refletir de perto as situações do mundo real e incluir rótulos corretos. Por exemplo, quando se trata de IA de visão na saúde, imagens de raios-X ou exames devem ser rotuladas com precisão para ajudar o modelo a aprender adequadamente.
• Diversidade: Um bom conjunto de dados inclui uma variedade de exemplos para ajudar o modelo a ter um bom desempenho em diferentes situações. Por exemplo, se um modelo está aprendendo a detectar carros, o conjunto de dados deve incluir carros de diferentes formas, tamanhos e cores em vários cenários (dia, noite, chuva, etc.).
• Consistência: Conjuntos de dados de alta qualidade seguem um formato uniforme e padrões de qualidade. Por exemplo, as imagens devem ter resoluções semelhantes (não algumas borradas e outras nítidas) e passar pelas mesmas etapas de pré-processamento, como redimensionamento ou ajustes de cor, para que o modelo aprenda com informações consistentes.
• Atualidade: Conjuntos de dados que são atualizados regularmente podem acompanhar as mudanças do mundo real. Digamos que você esteja treinando um modelo para detectar todos os tipos de veículos. Se novos tipos, como patinetes elétricos, forem introduzidos, eles devem ser adicionados ao conjunto de dados para garantir que o modelo permaneça preciso e atualizado.
• Privacidade: Se um conjunto de dados incluir informações confidenciais, como fotos de pessoas, ele deve seguir as regras de privacidade. Técnicas como anonimização (remoção de detalhes identificáveis) e mascaramento de dados (ocultação de partes confidenciais) podem proteger a privacidade enquanto tornam possível usar os dados de forma segura.

Link to this sectionDesafios causados por dados de baixa qualidade#

Embora entender os traços de dados de alta qualidade seja importante, é igualmente vital considerar como dados de baixa qualidade podem afetar seus modelos de visão computacional.

Problemas como overfitting e underfitting podem afetar severamente o desempenho do modelo. Overfitting ocorre quando um modelo apresenta bom desempenho em dados de treinamento, mas tem dificuldade com dados novos ou nunca vistos, geralmente porque o conjunto de dados carece de variedade. Underfitting, por outro lado, ocorre quando o conjunto de dados não fornece exemplos ou qualidade suficientes para o modelo aprender padrões significativos. Para evitar esses problemas, é essencial manter conjuntos de dados diversos, imparciais e de alta qualidade, garantindo um desempenho confiável tanto no treinamento quanto em aplicações do mundo real.

Fig 2. Underfitting vs. overfitting.

Dados de baixa qualidade também podem dificultar a extração e o aprendizado de padrões significativos a partir de dados brutos pelos modelos, um processo conhecido como extração de características. Se o conjunto de dados estiver incompleto, irrelevante ou sem diversidade, o modelo pode ter dificuldade para operar de forma eficaz.

Às vezes, dados de baixa qualidade podem ser o resultado da simplificação dos dados. Simplificar dados pode ajudar a economizar espaço de armazenamento e reduzir custos de processamento, mas o excesso de simplificação pode remover detalhes importantes dos quais o modelo precisa para funcionar bem. É por isso que é tão importante manter dados de alta qualidade durante todo o processo de visão computacional, desde a coleta até a implantação. Como regra geral, os conjuntos de dados devem incluir características essenciais, mantendo-se diversos e precisos para garantir previsões confiáveis do modelo.

Fig 3. Entendendo a Extração de Características.

Link to this sectionDicas para manter a qualidade do seu conjunto de dados de visão computacional#

Agora que entendemos a importância de dados de alta qualidade e o impacto de dados de baixa qualidade, vamos explorar como garantir que seu conjunto de dados atenda a padrões elevados.

Tudo começa com uma coleta de dados confiável. Usar fontes diversas, como crowdsourcing, dados de regiões geográficas variadas e geração de dados sintéticos, reduz o viés e ajuda os modelos a lidarem com cenários do mundo real. Uma vez que os dados são coletados, o pré-processamento é fundamental. Técnicas como normalização, que escala os valores dos pixels para um intervalo consistente, e aumento de dados (augmentation), que aplica transformações como rotação, espelhamento e zoom, aprimoram o conjunto de dados. Essas etapas ajudam seu modelo a generalizar melhor e a se tornar mais robusto, reduzindo o risco de overfitting.

Dividir adequadamente os conjuntos de dados é outro passo fundamental. Uma abordagem comum é alocar 70% dos dados para treinamento, 15% para validação e 15% para teste. Verificar duas vezes se não há sobreposição entre esses conjuntos evita vazamento de dados e garante uma avaliação precisa do modelo.

Fig 4. Uma divisão comum de dados entre treinamento, validação e teste.

Você também pode usar modelos pré-treinados como o YOLO11 para economizar tempo e recursos computacionais. O YOLO11, treinado em grandes conjuntos de dados e projetado para várias tarefas de visão computacional, pode ser ajustado (fine-tuned) no seu conjunto de dados específico para atender às suas necessidades. Ao ajustar o modelo aos seus dados, você pode evitar o overfitting e manter um alto desempenho.

Link to this sectionO caminho a seguir para conjuntos de dados de visão computacional#

A comunidade de IA tem tradicionalmente se concentrado em melhorar o desempenho construindo modelos mais profundos com mais camadas. No entanto, à medida que a IA continua a evoluir, o foco está mudando da otimização de modelos para a melhoria da qualidade dos conjuntos de dados. Andrew Ng, frequentemente referido como o “pai da IA”, acredita que "a mudança mais importante pela qual o mundo da IA precisa passar nesta década será uma mudança para a IA centrada em dados."

Essa abordagem enfatiza o refinamento de conjuntos de dados, melhorando a precisão dos rótulos, removendo exemplos ruidosos e garantindo a diversidade. Para a visão computacional, esses princípios são fundamentais para resolver problemas como viés e dados de baixa qualidade, permitindo que os modelos funcionem de forma confiável em cenários do mundo real.

Olhando para o futuro, o avanço da visão computacional dependerá da criação de conjuntos de dados menores e de alta qualidade, em vez da coleta de grandes quantidades de dados. Segundo Andrew Ng, "Melhorar os dados não é uma etapa de pré-processamento única; é uma parte central do processo iterativo de desenvolvimento de modelos de machine learning." Ao focar em princípios centrados em dados, a visão computacional continuará a se tornar mais acessível, eficiente e impactante em vários setores.

Link to this sectionPrincipais pontos#

Os dados desempenham um papel crítico ao longo do ciclo de vida de um modelo de visão. Desde a coleta de dados até o pré-processamento, treinamento, validação e teste, a qualidade dos dados impacta diretamente o desempenho e a confiabilidade do modelo. Ao priorizar dados de alta qualidade e rotulagem precisa, podemos construir modelos de visão computacional robustos que entregam resultados confiáveis e precisos.

À medida que avançamos para um futuro orientado a dados, é essencial abordar considerações éticas para mitigar riscos relacionados ao viés e às regulamentações de privacidade. Em última análise, garantir a integridade e a imparcialidade dos dados é a chave para desbloquear todo o potencial das tecnologias de visão computacional.

Junte-se à nossa comunidade e confira nosso repositório no GitHub para aprender mais sobre IA. Confira nossas páginas de soluções para explorar mais aplicações de IA em setores como agricultura e manufatura.