O que é overfitting na visão computacional e como evitá-lo?

Modelos de Computer vision são projetados para reconhecer padrões, detectar objetos e analisar imagens. No entanto, seu desempenho depende do quão bem eles conseguem generalizar para dados não vistos. A generalização é a capacidade do modelo de funcionar bem em novas imagens, e não apenas naquelas em que foi treinado. Um problema comum no treinamento desses modelos é o overfitting, no qual um modelo aprende demais com seus dados de treinamento, incluindo ruídos desnecessários, em vez de identificar padrões significativos.

Quando isso acontece, o modelo tem um bom desempenho nos dados de treinamento, mas apresenta dificuldades com novas imagens. Por exemplo, um modelo de object detection treinado apenas em imagens de alta resolução e bem iluminadas pode falhar quando apresentado a imagens desfocadas ou sombreadas em condições do mundo real. O overfitting limita a adaptabilidade de um modelo, restringindo seu uso em aplicações reais como direção autônoma, imagens médicas e sistemas de segurança.

Neste artigo, exploraremos o que é overfitting, por que ele acontece e como evitá-lo. Também veremos como modelos de visão computacional como o Ultralytics YOLO11 ajudam a reduzir o overfitting e a melhorar a generalização.

Link to this sectionO que é overfitting?#

O overfitting ocorre quando um modelo memoriza os dados de treinamento em vez de aprender padrões que se aplicam amplamente a novas entradas. O modelo fica focado demais nos dados de treinamento, por isso tem dificuldade com novas imagens ou situações que nunca viu antes.

Na visão computacional, o overfitting pode afetar diferentes tarefas. Um modelo de classificação treinado apenas em imagens claras e brilhantes pode ter dificuldades em condições de baixa luminosidade. Um modelo de detecção de objetos que aprende com imagens perfeitas pode falhar em cenas lotadas ou bagunçadas. Da mesma forma, um modelo de segmentação de instâncias pode funcionar bem em ambientes controlados, mas ter problemas com sombras ou objetos sobrepostos.

Isso se torna um problema em aplicações de IA do mundo real, onde os modelos devem ser capazes de generalizar além das condições de treinamento controladas. Carros autônomos, por exemplo, precisam ser capazes de detectar pedestres em diferentes condições de iluminação, clima e ambientes. Um modelo que sofre overfitting em seu conjunto de treinamento não terá um desempenho confiável em cenários imprevisíveis como esses.

Link to this sectionQuando e por que o overfitting acontece?#

O overfitting geralmente ocorre devido a conjuntos de dados desequilibrados, complexidade excessiva do modelo e treinamento excessivo. Aqui estão as principais causas:

• Dados de treinamento limitados: Conjuntos de dados pequenos fazem com que os modelos memorizem padrões em vez de generalizá-los. Um modelo treinado em apenas 50 imagens de pássaros pode ter dificuldade em detectar espécies de pássaros fora desse conjunto de dados.
• Modelos complexos com muitos parâmetros: Redes profundas com camadas e neurônios excessivos tendem a memorizar detalhes refinados em vez de focar em recursos essenciais.
• Falta de data augmentation: Sem transformações como corte, inversão ou rotação, um modelo pode aprender apenas com suas imagens de treinamento exatas.
• Treinamento prolongado: Se um modelo percorre os dados de treinamento muitas vezes, conhecido como epochs, ele memoriza detalhes em vez de aprender padrões gerais, tornando-se menos adaptável.
• Rótulos inconsistentes ou ruidosos: Dados rotulados incorretamente fazem com que um modelo aprenda padrões errados. Isso é comum em conjuntos de dados rotulados manualmente.

Uma abordagem bem equilibrada em relação à complexidade do modelo, qualidade do conjunto de dados e técnicas de treinamento garante uma melhor generalização.

Link to this sectionOverfitting vs. underfitting#

Overfitting e underfitting são dois problemas completamente opostos no aprendizado profundo.

Fig 1. Comparação de underfitting, aprendizado ideal e overfitting em modelos de visão computacional.

O overfitting acontece quando um modelo é complexo demais, tornando-o excessivamente focado nos dados de treinamento. Em vez de aprender padrões gerais, ele memoriza pequenos detalhes, até mesmo os irrelevantes, como ruído de fundo. Isso faz com que o modelo tenha um bom desempenho nos dados de treinamento, mas sofra com novas imagens, o que significa que ele não aprendeu verdadeiramente a reconhecer padrões que se aplicam em situações diferentes.

O underfitting acontece quando um modelo é básico demais, perdendo padrões importantes nos dados. Isso pode ocorrer quando o modelo tem poucas camadas, pouco tempo de treinamento ou os dados são limitados. Como resultado, ele falha em reconhecer padrões importantes e faz previsões imprecisas. Isso leva a um desempenho ruim tanto nos dados de treinamento quanto nos de teste, porque o modelo não aprendeu o suficiente para entender a tarefa adequadamente.

Um modelo bem treinado encontra o equilíbrio entre complexidade e generalização. Ele deve ser complexo o suficiente para aprender padrões relevantes, mas não tão complexo a ponto de memorizar dados em vez de reconhecer as relações subjacentes.

Link to this sectionComo identificar o overfitting#

Aqui estão alguns sinais que indicam que um modelo está sofrendo overfitting:

• Se a precisão do treinamento for significativamente maior que a precisão da validação, é provável que o modelo esteja com overfitting.
• Uma lacuna crescente entre a perda de treinamento e a perda de validação é outro forte indicador.
• O modelo está confiante demais em respostas erradas, mostrando que memorizou detalhes em vez de entender padrões.

Para garantir que um modelo generalize bem, ele precisa ser testado em conjuntos de dados diversos que reflitam as condições do mundo real.

Link to this sectionComo evitar o overfitting em visão computacional#

O overfitting não é inevitável e pode ser evitado. Com as técnicas certas, os modelos de visão computacional podem aprender padrões gerais em vez de memorizar os dados de treinamento, tornando-os mais confiáveis em aplicações reais.

Aqui estão cinco estratégias principais para evitar o overfitting em visão computacional.

Link to this sectionAumente a diversidade de dados com aumento e dados sintéticos#

A melhor maneira de ajudar um modelo a funcionar bem com novos dados é expandir o conjunto de dados usando data augmentation e synthetic data. Dados sintéticos são gerados por computador em vez de coletados a partir de imagens do mundo real. Eles ajudam a preencher lacunas quando não há dados reais suficientes.

Fig 2. Combinar dados do mundo real e sintéticos reduz o overfitting e melhora a precisão da detecção de objetos.

O data augmentation altera ligeiramente as imagens existentes, invertendo, girando, cortando ou ajustando o brilho, para que o modelo não apenas memorize detalhes, mas aprenda a reconhecer objetos em situações diferentes.

Dados sintéticos são úteis quando imagens reais são difíceis de obter. Por exemplo, modelos de carros autônomos podem treinar em cenas de estrada geradas por computador para aprender a detectar objetos em diferentes condições climáticas e de iluminação. Isso torna o modelo mais flexível e confiável sem a necessidade de milhares de imagens do mundo real.

Link to this sectionOtimize a complexidade e a arquitetura do modelo#

Uma neural network profunda, que é um tipo de modelo de aprendizado de máquina que possui muitas camadas que processam dados em vez de uma única camada, nem sempre é melhor. Quando um modelo tem muitas camadas ou parâmetros, ele memoriza os dados de treinamento em vez de reconhecer padrões mais amplos. Reduzir a complexidade desnecessária pode ajudar a evitar o overfitting.

Para conseguir isso, uma abordagem é a pruning, que remove neurônios e conexões redundantes, tornando o modelo mais enxuto e eficiente.

Outra é simplificar a arquitetura reduzindo o número de camadas ou neurônios. Modelos pré-treinados como o YOLO11 são projetados para generalizar bem entre tarefas com menos parâmetros, tornando-os mais resistentes ao overfitting do que treinar um modelo profundo do zero.

Encontrar o equilíbrio certo entre a profundidade do modelo e a eficiência ajuda-o a aprender padrões úteis sem apenas memorizar os dados de treinamento.

Link to this sectionAplique técnicas de regularização#

Regularization techniques impedem que os modelos se tornem dependentes demais de características específicas nos dados de treinamento. Aqui estão algumas técnicas comumente usadas:

• Dropout desliga partes aleatórias do modelo durante o treinamento para que ele aprenda a reconhecer diferentes padrões, em vez de depender demais de alguns poucos recursos.
• Weight decay (L2 regularization) desencoraja valores de peso extremos, mantendo a complexidade do modelo sob controle.
• Batch normalization ajuda a estabilizar o treinamento, garantindo que o modelo seja menos sensível a variações no conjunto de dados.

Essas técnicas ajudam a manter a flexibilidade e a adaptabilidade de um modelo, reduzindo o risco de overfitting enquanto preservam a precisão.

Link to this sectionMonitore o treinamento com validação e early stopping#

Para evitar o overfitting, é importante acompanhar como o modelo aprende e garantir que ele generalize bem para novos dados. Aqui estão algumas técnicas para ajudar com isso:

• Early stopping: Finaliza automaticamente o treinamento quando o modelo para de melhorar, para que ele não continue aprendendo detalhes desnecessários.
• Cross-validation: Divide os dados em partes e treina o modelo em cada uma delas. Isso o ajuda a aprender padrões em vez de memorizar imagens específicas.

Essas técnicas ajudam o modelo a manter o equilíbrio para que ele aprenda o suficiente para ser preciso sem ficar focado demais apenas nos dados de treinamento.

Link to this sectionUse modelos pré-treinados e melhore a rotulagem de conjuntos de dados#

Em vez de treinar do zero, usar modelos pré-treinados como o YOLO11 pode reduzir o overfitting. O YOLO11 é treinado em conjuntos de dados de grande escala, permitindo que ele generalize bem em diferentes condições.

Fig 3. Modelos de visão computacional pré-treinados aumentam a precisão e evitam o overfitting.

O ajuste fino de um modelo pré-treinado ajuda-o a manter o que já sabe enquanto aprende novas tarefas, para que ele não apenas memorize os dados de treinamento.

Além disso, garantir uma rotulagem de alta qualidade do conjunto de dados é essencial. Dados rotulados incorretamente ou desequilibrados podem induzir os modelos a aprender padrões incorretos. Limpar conjuntos de dados, corrigir imagens rotuladas incorretamente e equilibrar classes melhoram a precisão e reduzem o risco de overfitting. Outra abordagem eficaz é o adversarial training, onde o modelo é exposto a exemplos ligeiramente alterados ou mais desafiadores projetados para testar seus limites.

Link to this sectionPrincipais pontos#

O overfitting é um problema comum na visão computacional. Um modelo pode funcionar bem nos dados de treinamento, mas ter dificuldade com imagens do mundo real. Para evitar isso, técnicas como data augmentation, regularização e o uso de modelos pré-treinados como o YOLO11 ajudam a melhorar a precisão e a adaptabilidade.

Ao aplicar esses métodos, os modelos de IA podem permanecer confiáveis e ter um bom desempenho em diferentes ambientes. À medida que o aprendizado profundo melhora, garantir que os modelos generalizem corretamente será fundamental para o sucesso da IA no mundo real.

Junte-se à nossa crescente community! Explore nosso GitHub repository para aprender mais sobre IA. Pronto para começar seus próprios projetos de visão computacional? Confira nossas licensing options. Descubra vision AI in self-driving e AI in healthcare visitando nossas páginas de soluções!