Overfitting

O sobreajuste ocorre na aprendizagem automática (ML) quando um modelo aprende os detalhes específicos e o ruído dos seus dados de treino dados de treino a ponto de afetar negativamente o seu desempenho em novos dados. Essencialmente, o modelo memoriza os exemplos de treino de treino em vez de aprender os padrões subjacentes necessários para a para a generalização. Isto resulta num sistema que atinge uma elevada precisão durante o desenvolvimento, mas não consegue fornecer previsões fiáveis quando implementado em cenários do mundo real.

Compreender o fenómeno

No contexto da aprendizagem supervisionada, o objetivo é criar um modelo que tenha um bom desempenho em entradas não vistas, conhecidas como dados de teste. O sobreajuste ocorre normalmente quando um modelo é demasiado complexo em relação à quantidade de dados disponíveis, uma situação frequentemente descrita como tendo uma variância elevada. Um modelo modelo capta as flutuações aleatórias ou "ruído" no conjunto de dados como se fossem caraterísticas significativas. Este é um desafio central na aprendizagem profunda (AP), que exige que os programadores equilibrem a complexidade e a flexibilidade, muitas vezes referida como equilíbrio entre polarização e variância.

Exemplos do Mundo Real

O sobreajuste pode ter consequências graves, dependendo da aplicação:

• Veículos autónomos: Considere um sistema de visão para veículos autónomos treinado exclusivamente em imagens de auto-estradas capturadas durante o tempo ensolarado. O modelo pode ajustar-se demasiado a estas condições específicas de iluminação e texturas da estrada. Consequentemente, pode não conseguir efetuar uma deteção precisa de objectos quando se depara com chuva, sombras ou ambientes urbanos, o que representa um risco para a segurança.
• Diagnóstico médico: Na IA nos cuidados de saúde, um modelo pode ser treinado para identificar patologias em radiografias. Se o conjunto de dados for proveniente de um único hospital, o modelo pode ajustar-se demasiado aos artefactos específicos artefactos específicos do equipamento de imagiologia desse hospital. Quando aplicado à análise de imagens médicas de um hospital diferente diferente, o desempenho do modelo pode cair significativamente porque aprendeu o ruído do equipamento e não as caraterísticas biológicas da doença.

Identificar e evitar o sobreajuste

Os programadores normalmente detect o sobreajuste através da monitorização funções de perda durante o treino. Um indicador claro é quando a perda do treino continua a diminuir enquanto a perda dos perda de dados de validação começa a aumentar. Para combater este facto, são utilizadas várias técnicas:

• Aumento dos dados: Trata-se de aumentar artificialmente a diversidade do conjunto de treino. Ao aplicando transformações aleatórias como rotação ou inversão, o aumento de dados impede o modelo de modelo memorize a disposição exacta dos pixels.
• Regularização: Métodos como a regularização L1/L2 ou a adição de uma camada de abandono penalizam modelos demasiado complexos ignorando efetivamente uma percentagem de neurónios durante as passagens de treino, forçando a forçando a rede neural a aprender caraterísticas redundantes e caraterísticas redundantes e robustas.
• Paragem antecipada: Esta técnica interrompe o processo de formação quando a métrica de validação pára de de validação pára de melhorar, impedindo o modelo de aprender ruído nas épocas posteriores.

Overfitting vs. Underfitting

É importante distinguir este conceito de subadaptação. Enquanto o sobreajuste envolve um modelo que é demasiado complexo e "esforça-se demasiado" para se ajustar aos dados de treino (variância elevada), o subajustamento ocorre quando um O subajustamento ocorre quando um modelo é demasiado simples para captar a tendência subjacente dos dados (viés elevado). Ambos resultam num fraco desempenho preditivo, mas por razões opostas. Para obter o modelo ideal, é necessário navegar entre estes dois extremos.

Aplicação prática

Bibliotecas modernas como ultralytics simplificar a aplicação de estratégias de prevenção. Por exemplo, os utilizadores podem facilmente aplicar paragem precoce e abandono quando formação de um YOLO11 modelo.

from ultralytics import YOLO

# Load the YOLO11 model (recommended for latest SOTA performance)
model = YOLO("yolo11n.pt")

# Train with 'patience' for early stopping and 'dropout' for regularization
# This helps the model generalize better to new images
results = model.train(
    data="coco8.yaml",
    epochs=100,
    patience=10,  # Stop if validation loss doesn't improve for 10 epochs
    dropout=0.1,  # Randomly drop 10% of units to prevent co-adaptation
)