A importância de conjuntos de dados de visão computacional de alta qualidade

Em 2019, a adoção de inteligência artificial (AI) pelas empresas tinha aumentado 270% nos quatro anos anteriores. Esse crescimento impulsionou a rápida integração de aplicações de visão computacional (CV) — sistemas de AI que permitem às máquinas interpretar e analisar dados visuais do mundo à sua volta. Essas aplicações alimentam uma vasta gama de tecnologias, desde a deteção de doenças em imagiologia médica e a viabilização de veículos autónomos até à otimização do fluxo de tráfego nos transportes e ao reforço da vigilância em sistemas de segurança.

A extraordinária precisão e o desempenho incomparável de modelos de visão computacional de ponta, como o Ultralytics YOLO11, impulsionaram em grande parte este crescimento exponencial. No entanto, o desempenho destes modelos depende fortemente da qualidade e da quantidade dos dados utilizados para treinar, validar e testar os modelos.

Sem dados suficientes e de alta qualidade, pode ser difícil treinar e ajustar modelos de visão computacional de forma eficaz para cumprir os padrões do setor. Neste artigo, vamos explorar o papel vital dos dados na criação de modelos de visão computacional e perceber por que razão os dados de alta qualidade são tão importantes nesta área. Também vamos apresentar algumas dicas para te ajudar a criar conjuntos de dados de alta qualidade enquanto trabalhas no treino de modelos personalizados de visão computacional. Vamos começar!

O papel dos dados na criação de modelos de visão computacional#

Os modelos de visão computacional podem ser treinados com grandes conjuntos de dados de imagens e vídeos para reconhecer padrões e fazer previsões precisas. Por exemplo, um modelo de deteção de objetos pode ser treinado com centenas — ou até milhares — de imagens e vídeos anotados para identificar objetos com precisão.

A qualidade e a quantidade destes dados de treino influenciam o desempenho do modelo.

Como os modelos de visão computacional só conseguem aprender com os dados a que são expostos, fornecer dados de alta qualidade e exemplos diversificados é essencial para o seu sucesso. Sem conjuntos de dados suficientes e diversificados, estes modelos podem não conseguir analisar cenários do mundo real com precisão e produzir resultados tendenciosos ou imprecisos.

Por isso, é importante compreender claramente o papel dos dados no treino de modelos. Antes de analisarmos as características dos dados de alta qualidade, vamos compreender os tipos de conjuntos de dados que podes encontrar ao treinar modelos de visão computacional.

Tipos de conjuntos de dados de visão computacional#

Na visão computacional, os dados utilizados no processo de treino são categorizados em três tipos, cada um com uma finalidade específica. Vê rapidamente cada tipo:

• Dados de treino: este é o conjunto de dados principal utilizado para treinar o modelo de raiz. É composto por imagens e vídeos com rótulos predefinidos, permitindo ao modelo aprender padrões e reconhecer objetos.
• Dados de validação: este é um conjunto de dados utilizado para verificar o desempenho de um modelo durante o treino. Ajuda a garantir que o modelo funciona corretamente com dados novos que ainda não viu.
• Dados de teste: um conjunto de dados separado utilizado para avaliar o desempenho final de um modelo treinado. Verifica a capacidade do modelo para fazer previsões com dados completamente novos que ainda não viu.

Fig. 1 Como os dados são categorizados na visão computacional.

As 5 principais características dos conjuntos de dados de visão computacional de alta qualidade#

Independentemente do tipo de conjunto de dados, os dados de alta qualidade são essenciais para criar modelos de visão computacional bem-sucedidos. Estas são algumas das principais características que tornam um conjunto de dados de alta qualidade:

• Precisão: idealmente, os dados devem refletir de perto situações do mundo real e incluir rótulos corretos. Por exemplo, no caso da AI de visão na área da saúde, as imagens de raios X ou exames devem ser rotuladas com precisão para ajudar o modelo a aprender corretamente.
• Diversidade: um bom conjunto de dados inclui uma variedade de exemplos para ajudar o modelo a ter um bom desempenho em diferentes situações. Por exemplo, se um modelo estiver a aprender a detetar carros, o conjunto de dados deve incluir carros de diferentes formas, tamanhos e cores em vários contextos (dia, noite, chuva, etc.).
• Consistência: os conjuntos de dados de alta qualidade seguem um formato uniforme e padrões de qualidade consistentes. Por exemplo, as imagens devem ter resoluções semelhantes (não devem estar algumas desfocadas e outras nítidas) e passar pelas mesmas etapas de pré-processamento, como redimensionamento ou ajustes de cor, para que o modelo aprenda com informações consistentes.
• Atualidade: os conjuntos de dados atualizados regularmente conseguem acompanhar as mudanças do mundo real. Imagina que estás a treinar um modelo para detetar todos os tipos de veículos. Se forem introduzidos novos veículos, como trotinetes elétricas, estes devem ser adicionados ao conjunto de dados para garantir que o modelo continua preciso e atualizado.
• Privacidade: se um conjunto de dados incluir informações sensíveis, como fotografias de pessoas, deve cumprir as regras de privacidade. Técnicas como a anonimização (remoção de detalhes identificáveis) e o mascaramento de dados (ocultação de partes sensíveis) podem proteger a privacidade e, ao mesmo tempo, permitir utilizar os dados de forma segura.

Desafios causados por dados de baixa qualidade#

Embora seja importante compreender as características dos dados de alta qualidade, é igualmente essencial considerar como os dados de baixa qualidade podem afetar os teus modelos de visão computacional.

Problemas como o sobreajuste e o subajuste podem afetar gravemente o desempenho do modelo. O sobreajuste ocorre quando um modelo tem um bom desempenho com os dados de treino, mas tem dificuldades com dados novos ou que ainda não viu, muitas vezes porque o conjunto de dados não é suficientemente variado. Já o subajuste ocorre quando o conjunto de dados não fornece exemplos ou qualidade suficientes para que o modelo aprenda padrões relevantes. Para evitar estes problemas, é essencial manter conjuntos de dados diversificados, imparciais e de alta qualidade, garantindo um desempenho fiável tanto no treino como em aplicações do mundo real.

Fig. 2 Subajuste vs. sobreajuste.

Os dados de baixa qualidade também podem dificultar a extração e a aprendizagem de padrões relevantes a partir de dados brutos, num processo conhecido como extração de características. Se o conjunto de dados estiver incompleto, for irrelevante ou não tiver diversidade, o modelo poderá ter dificuldades em funcionar de forma eficaz.

Por vezes, os dados de baixa qualidade resultam da simplificação dos dados. Simplificar os dados pode ajudar a poupar espaço de armazenamento e a reduzir os custos de processamento, mas uma simplificação excessiva pode remover detalhes importantes de que o modelo precisa para funcionar bem. Por isso, é tão importante manter dados de alta qualidade ao longo de todo o processo de visão computacional, desde a recolha até à implementação. Regra geral, os conjuntos de dados devem incluir as características essenciais, mantendo-se diversificados e precisos para garantir previsões fiáveis do modelo.

Fig. 3 Compreender a extração de características.

Dicas para manter a qualidade do teu conjunto de dados de visão computacional#

Agora que compreendemos a importância dos dados de alta qualidade e o impacto dos dados de baixa qualidade, vamos explorar como garantir que o teu conjunto de dados cumpre padrões elevados.

Tudo começa com uma recolha de dados fiável. Utilizar fontes diversificadas, como crowdsourcing, dados de diferentes regiões geográficas e geração de dados sintéticos, reduz o enviesamento e ajuda os modelos a lidar com cenários do mundo real. Depois de recolher os dados, o pré-processamento é fundamental. Técnicas como a normalização, que dimensiona os valores dos píxeis para um intervalo consistente, e o aumento de dados, que aplica transformações como rotação, inversão e zoom, melhoram o conjunto de dados. Estas etapas ajudam o teu modelo a generalizar melhor e a tornar-se mais robusto, reduzindo o risco de sobreajuste.

Dividir corretamente os conjuntos de dados é outro passo fundamental. Uma abordagem comum consiste em atribuir 70% dos dados ao treino, 15% à validação e 15% aos testes. Verificar cuidadosamente se não existe sobreposição entre estes conjuntos evita a fuga de dados e garante uma avaliação precisa do modelo.

Fig. 4 Uma divisão comum dos dados entre treino, validação e testes.

Também podes utilizar modelos pré-treinados como o YOLO11 para poupar tempo e recursos computacionais. O YOLO11, treinado com grandes conjuntos de dados e concebido para várias tarefas de visão computacional, pode ser ajustado no teu conjunto de dados específico para responder às tuas necessidades. Ao adaptares o modelo aos teus dados, podes evitar o sobreajuste e manter um desempenho elevado.

O futuro dos conjuntos de dados de visão computacional#

Tradicionalmente, a comunidade de AI tem-se concentrado em melhorar o desempenho através da criação de modelos mais profundos, com mais camadas. No entanto, à medida que a AI continua a evoluir, o foco está a mudar da otimização de modelos para a melhoria da qualidade dos conjuntos de dados. Andrew Ng, frequentemente considerado o “pai da AI”, acredita que "a mudança mais importante pela qual o mundo da AI terá de passar nesta década será uma mudança para a AI centrada nos dados."

Esta abordagem dá ênfase ao aperfeiçoamento dos conjuntos de dados através da melhoria da precisão dos rótulos, da remoção de exemplos ruidosos e da garantia de diversidade. Na visão computacional, estes princípios são essenciais para resolver problemas como o enviesamento e os dados de baixa qualidade, permitindo que os modelos tenham um desempenho fiável em cenários do mundo real.

Olhando para o futuro, o avanço da visão computacional dependerá da criação de conjuntos de dados mais pequenos e de alta qualidade, em vez da recolha de enormes quantidades de dados. Segundo Andrew Ng, "melhorar os dados não é uma etapa de pré-processamento única; é uma parte essencial do processo iterativo de desenvolvimento de modelos de aprendizagem automática." Ao concentrarem-se em princípios centrados nos dados, as aplicações de visão computacional continuarão a tornar-se mais acessíveis, eficientes e impactantes em vários setores.

Principais conclusões#

Os dados desempenham um papel fundamental ao longo de todo o ciclo de vida de um modelo de visão. Desde a recolha de dados até ao pré-processamento, treino, validação e testes, a qualidade dos dados afeta diretamente o desempenho e a fiabilidade do modelo. Ao darmos prioridade a dados de alta qualidade e a uma rotulagem precisa, podemos criar modelos robustos de visão computacional que fornecem resultados fiáveis e precisos.

À medida que avançamos para um futuro orientado por dados, é essencial abordar questões éticas para mitigar os riscos relacionados com o enviesamento e as regulamentações de privacidade. Em última análise, garantir a integridade e a equidade dos dados é fundamental para desbloquear todo o potencial das tecnologias de visão computacional.

Junta-te à nossa comunidade e consulta o nosso repositório do GitHub para saberes mais sobre AI. Consulta as páginas das nossas soluções para explorares mais aplicações de AI em setores como a agricultura e a indústria transformadora.