A importância de conjuntos de dados de visão computacional de alta qualidade

Em 2019, a adoção de inteligência artificial (AI) pelas empresas havia aumentado 270% nos quatro anos anteriores. Esse crescimento impulsionou a rápida integração de aplicações de visão computacional (CV) — sistemas de IA que permitem que máquinas interpretem e analisem dados visuais do mundo ao redor. Essas aplicações viabilizam uma ampla variedade de tecnologias, desde a detecção de doenças em exames de imagem e a habilitação de veículos autônomos até a otimização do fluxo de tráfego no transporte e o aprimoramento da vigilância em sistemas de segurança.

A precisão e o desempenho de modelos de visão computacional de última geração, como o Ultralytics YOLO11, ajudaram a impulsionar esse crescimento. No entanto, o desempenho desses modelos depende muito da qualidade e da quantidade dos dados usados para treiná-los, validá-los e testá-los.

Sem dados de alta qualidade suficientes, pode ser difícil treinar e ajustar modelos de visão computacional de forma eficaz para atender aos padrões do setor. Neste artigo, vamos explorar o papel fundamental dos dados na criação de modelos de visão computacional e por que dados de alta qualidade são tão importantes nesse campo. Também vamos apresentar algumas dicas para ajudar-te a criar conjuntos de dados de alta qualidade enquanto treinas modelos personalizados de visão computacional.

O papel dos dados na criação de modelos de visão computacional#

Os modelos de visão computacional podem ser treinados com grandes conjuntos de dados de imagens e vídeos para reconhecer padrões e fazer previsões precisas. Por exemplo, um modelo de detecção de objetos pode ser treinado com centenas — ou até milhares — de imagens e vídeos rotulados para identificar objetos com precisão.

A qualidade e a quantidade desses dados de treinamento influenciam o desempenho do modelo.

Como os modelos de visão computacional só aprendem com os dados aos quais são expostos, fornecer dados de alta qualidade e exemplos diversificados é crucial para o sucesso deles. Sem conjuntos de dados suficientes e diversificados, esses modelos podem não analisar cenários do mundo real com precisão e produzir resultados tendenciosos ou imprecisos.

Por isso, é importante entender claramente o papel dos dados no treinamento de modelos. Antes de analisarmos as características dos dados de alta qualidade, vamos entender os tipos de conjuntos de dados que você pode encontrar ao treinar modelos de visão computacional.

Tipos de conjuntos de dados de visão computacional#

Em visão computacional, os dados usados no processo de treinamento são classificados em três tipos, cada um com uma finalidade específica. Veja um resumo de cada tipo:

• Dados de treinamento: Este é o conjunto de dados principal, usado para treinar o modelo do zero. Ele contém imagens e vídeos com rótulos predefinidos, permitindo que o modelo aprenda padrões e reconheça objetos.
• Dados de validação: Este é um conjunto de dados usado para verificar o desempenho do modelo durante o treinamento. Ele ajuda a garantir que o modelo funcione corretamente com dados novos, que ainda não foram vistos.
• Dados de teste: Um conjunto de dados separado, usado para avaliar o desempenho final de um modelo treinado. Ele verifica o quão bem o modelo consegue fazer previsões com dados totalmente novos, que ainda não viu.

Fig. 1. Como os dados são categorizados em visão computacional.

As 5 principais características de conjuntos de dados de visão computacional de alta qualidade#

Independentemente do tipo de conjunto de dados, dados de alta qualidade são essenciais para criar modelos de visão computacional bem-sucedidos. Confira algumas das principais características que tornam um conjunto de dados de alta qualidade:

• Precisão: O ideal é que os dados representem de perto situações do mundo real e tenham rótulos corretos. Por exemplo, quando se trata de IA visual na área da saúde, as imagens de raios X ou exames precisam ser rotuladas com precisão para ajudar o modelo a aprender corretamente.
• Diversidade: Um bom conjunto de dados inclui uma variedade de exemplos para ajudar o modelo a ter um bom desempenho em diferentes situações. Por exemplo, se um modelo está aprendendo a detectar carros, o conjunto de dados deve incluir carros de diferentes formatos, tamanhos e cores em vários contextos (dia, noite, chuva etc.).
• Consistência: Conjuntos de dados de alta qualidade seguem um formato uniforme e padrões de qualidade. Por exemplo, as imagens devem ter resoluções semelhantes (em vez de algumas estarem desfocadas e outras nítidas) e passar pelas mesmas etapas de pré-processamento, como redimensionamento ou ajustes de cor, para que o modelo aprenda com informações consistentes.
• Atualidade: Conjuntos de dados atualizados regularmente acompanham as mudanças do mundo real. Imagina que estás treinando um modelo para detectar todos os tipos de veículos. Se surgirem novos veículos, como patinetes elétricos, eles devem ser adicionados ao conjunto de dados para garantir que o modelo continue preciso e atualizado.
• Privacidade: Se um conjunto de dados incluir informações confidenciais, como fotos de pessoas, deve cumprir as regras de privacidade. Técnicas como anonimização (remoção de detalhes que permitam identificar alguém) e mascaramento de dados (ocultação de partes confidenciais) podem proteger a privacidade e, ainda assim, permitir o uso seguro dos dados.

Desafios causados por dados de baixa qualidade#

Embora seja importante entender as características dos dados de alta qualidade, é igualmente essencial considerar como dados de baixa qualidade podem afetar seus modelos de visão computacional.

Problemas como sobreajuste e subajuste podem afetar gravemente o desempenho do modelo. O sobreajuste ocorre quando um modelo tem bom desempenho com os dados de treinamento, mas enfrenta dificuldades com dados novos ou que ainda não viu, muitas vezes porque o conjunto de dados não é variado o suficiente. Já o subajuste ocorre quando o conjunto de dados não oferece exemplos suficientes ou qualidade adequada para que o modelo aprenda padrões significativos. Para evitar esses problemas, é essencial manter conjuntos de dados diversificados, imparciais e de alta qualidade, garantindo um desempenho confiável tanto no treinamento quanto em aplicações no mundo real.

Fig. 2. Subajuste versus sobreajuste.

Dados de baixa qualidade também podem dificultar a extração e o aprendizado de padrões relevantes a partir de dados brutos, um processo conhecido como extração de características. Se o conjunto de dados estiver incompleto, for irrelevante ou não tiver diversidade, o modelo poderá ter dificuldades para apresentar um bom desempenho.

Às vezes, os dados de baixa qualidade resultam da simplificação dos dados. Simplificar os dados pode ajudar a economizar espaço de armazenamento e reduzir os custos de processamento, mas simplificá-los demais pode remover detalhes importantes para o bom funcionamento do modelo. Por isso, é fundamental manter dados de alta qualidade durante todo o processo de visão computacional, da coleta à implantação. Como regra geral, os conjuntos de dados devem incluir características essenciais e, ao mesmo tempo, ser diversos e precisos para possibilitar previsões confiáveis dos modelos.

Fig. 3. Entendendo a extração de características.

Dicas para manter a qualidade do seu conjunto de dados de visão computacional#

Agora que entendemos a importância dos dados de alta qualidade e o impacto dos dados de baixa qualidade, vamos explorar como garantir que seu conjunto de dados atenda a padrões elevados.

Tudo começa com uma coleta confiável de dados. O uso de fontes diversas, como crowdsourcing, dados de diferentes regiões geográficas e geração de dados sintéticos, reduz o viés e ajuda os modelos a lidar com situações do mundo real. Depois da coleta, o pré-processamento é fundamental. Técnicas como a normalização, que ajusta os valores dos pixels a um intervalo consistente, e o aumento de dados, que aplica transformações como rotação, inversão e zoom, aprimoram o conjunto de dados. Essas etapas ajudam o teu modelo a generalizar melhor e a se tornar mais robusto, reduzindo o risco de overfitting.

Dividir os conjuntos de dados corretamente é outra etapa essencial. Uma abordagem comum é destinar 70% dos dados ao treinamento, 15% à validação e 15% ao teste. Verificar novamente se não há sobreposição entre esses conjuntos evita o vazamento de dados e garante uma avaliação precisa do modelo.

Fig. 4. Uma divisão comum dos dados entre treinamento, validação e testes.

Também podes usar modelos pré-treinados, como o YOLO11, para economizar tempo e recursos computacionais. O YOLO11, treinado com grandes conjuntos de dados e projetado para várias tarefas de visão computacional, pode ser ajustado com o teu conjunto de dados específico para atender às tuas necessidades. Ao adaptar o modelo aos teus dados, podes evitar o overfitting e manter um alto desempenho.

O futuro dos conjuntos de dados de visão computacional#

Tradicionalmente, a comunidade de IA tem se concentrado em melhorar o desempenho criando modelos mais profundos, com mais camadas. No entanto, à medida que a IA continua evoluindo, o foco está mudando da otimização de modelos para a melhoria da qualidade dos conjuntos de dados. Andrew Ng acredita que "a mudança mais importante pela qual o mundo da IA precisa passar nesta década será uma mudança para a IA centrada em dados."

Essa abordagem enfatiza o aprimoramento dos conjuntos de dados por meio da melhoria da precisão dos rótulos, da remoção de exemplos ruidosos e da garantia de diversidade. Na visão computacional, esses princípios são fundamentais para lidar com problemas como viés e dados de baixa qualidade, permitindo que os modelos tenham um desempenho confiável em situações do mundo real.

O futuro do avanço da visão computacional dependerá da criação de conjuntos de dados menores e de alta qualidade, em vez da coleta de enormes volumes de dados. Segundo Andrew Ng, "Aprimorar os dados não é uma etapa única de pré-processamento; é uma parte essencial do processo iterativo de desenvolvimento de modelos de aprendizado de máquina." Ao priorizar princípios centrados em dados, a visão computacional continuará se tornando mais acessível, eficiente e relevante em vários setores.

Principais conclusões#

Os dados desempenham um papel fundamental durante todo o ciclo de vida de um modelo de visão. Da coleta de dados ao pré-processamento, treinamento, validação e testes, a qualidade dos dados afeta diretamente o desempenho e a confiabilidade do modelo. Ao priorizar dados de alta qualidade e rotulagem precisa, podemos criar modelos robustos de visão computacional que oferecem resultados confiáveis e precisos.

À medida que avançamos rumo a um futuro orientado por dados, é essencial abordar considerações éticas para mitigar riscos relacionados ao viés e às normas de privacidade. Em última análise, garantir a integridade e a imparcialidade dos dados é fundamental para aproveitar todo o potencial das tecnologias de visão computacional.

Participe da nossa comunidade e confira nosso repositório no GitHub para saber mais sobre IA. Acesse nossas páginas de soluções para explorar outras aplicações de IA em setores como agricultura e manufatura.