Overfitting

O overfitting ocorre no aprendizado de máquina quando um modelo aprende os dados de treinamento muito bem, capturando ruído e flutuações aleatórias em vez da distribuição de dados subjacente. Em vez de aprender padrões gerais que se aplicam a novos dados, não vistos, um modelo com overfitting efetivamente memoriza os exemplos específicos no conjunto de treinamento. Isso resulta em um excelente desempenho nos dados de treinamento, mas uma generalização pobre para cenários do mundo real. É frequentemente descrito como "alta variância", o que significa que as previsões do modelo variam significativamente dependendo do conjunto de dados específico usado para o treinamento.

Link to this sectionPor que o overfitting acontece#

A principal causa do overfitting é a complexidade excessiva do modelo em relação à quantidade de dados disponíveis. Se uma neural network for muito grande — o que significa que ela tem muitas camadas ou parâmetros — ela pode facilmente memorizar os exemplos de treinamento. Outros fatores contribuintes incluem:

• Dados de treinamento insuficientes: Pequenos conjuntos de dados podem conter correlações espúrias que não existem na população mais ampla. Modelos treinados em dados limitados são propensos a aprender esses padrões acidentais.
• Ruído de dados e outliers: Níveis altos de ruído ou outliers não representativos nos training data podem induzir o modelo ao erro, fazendo com que ele ajuste seus parâmetros internos para se adequar a anomalias em vez do sinal real.
• Duração estendida do treinamento: Treinar por muitos epochs permite que o modelo continue refinando seus pesos até se ajustar ao ruído no conjunto de treinamento. Isso é frequentemente monitorado usando validation data.

Link to this sectionOverfitting vs. Underfitting#

É importante distinguir overfitting de underfitting. Enquanto o overfitting envolve aprender detalhes demais (incluindo ruído), o underfitting ocorre quando um modelo é simples demais para capturar a estrutura subjacente dos dados. Um modelo com underfitting tem um desempenho ruim tanto nos dados de treinamento quanto em novos dados, resultando frequentemente em alto viés. Equilibrar esses dois extremos é conhecido como o bias-variance tradeoff.

Link to this sectionPrevenindo o overfitting#

Engenheiros usam várias técnicas para mitigar o overfitting e melhorar a robustez do modelo:

• Regularização: Técnicas como regularização L1/L2 ou adicionar dropout layers introduzem penalidades ou aleatoriedade durante o treinamento, impedindo que o modelo se torne excessivamente dependente de recursos específicos.
• Early Stopping: Monitorar a loss function em um conjunto de validação permite que o treinamento seja interrompido assim que o desempenho em dados não vistos parar de melhorar, mesmo que a precisão do treinamento continue aumentando.
• Data Augmentation: Aumentar artificialmente o tamanho e a diversidade do conjunto de treinamento usando data augmentation torna mais difícil para o modelo memorizar imagens exatas.
• Cross-Validation: Usar técnicas como k-fold cross-validation garante que o modelo seja testado em diferentes subconjuntos de dados, fornecendo uma estimativa mais confiável de seu desempenho.

Link to this sectionExemplos do mundo real#

O overfitting pode ter consequências graves ao implantar IA em ambientes de produção:

• Diagnóstico médico: Em AI in healthcare, um modelo treinado para detectar câncer de pele pode sofrer overfitting para as condições de iluminação ou marcas de régua presentes nas imagens de treinamento. Quando implantado em uma clínica com iluminação ou equipamento diferente, o modelo pode falhar em identificar corretamente lesões malignas porque dependeu de pistas de fundo irrelevantes.
• Previsão financeira: Um modelo de previsão de preços de ações pode sofrer overfitting para tendências históricas de mercado que foram impulsionadas por um evento específico e não repetível (como uma crise econômica única). Tal modelo provavelmente falharia em prever movimentos futuros das ações com precisão porque memorizou anomalias passadas em vez de aprender a dinâmica fundamental do mercado.

Link to this sectionExemplo de código: Early Stopping com YOLO26#

Usando a Ultralytics Platform ou scripts de treinamento locais, você pode evitar o overfitting definindo uma paciência para o early stopping. Isso interrompe o treinamento se a aptidão de validação não melhorar por um número definido de epochs.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionConceitos Relacionados#

• Generalização: A capacidade de um modelo se adaptar e ter um bom desempenho em dados novos, nunca vistos anteriormente, que é o oposto do overfitting.
• Cross-Validation: Uma técnica para avaliar como os resultados de uma análise estatística generalizarão para um conjunto de dados independente.
• Regularização: Métodos usados para reduzir erros ajustando uma função apropriadamente no conjunto de treinamento fornecido e evitar o overfitting.