Regularização

A regularização é um conjunto de técnicas utilizadas na aprendizagem automática (ML) para evitar um problema comum conhecido como sobreajuste. Quando um modelo se ajusta excessivamente, aprende demasiado bem os dados de treino, incluindo o seu ruído e flutuações aleatórias, o que tem um impacto negativo na sua capacidade de generalizar e fazer previsões exactas sobre dados novos e não vistos. A regularização funciona adicionando uma penalização para a complexidade do modelo à função de perda, desencorajando o modelo de aprender padrões demasiado complexos. Isso ajuda a criar um modelo mais simples e generalizável que tem melhor desempenho nos dados de treinamento e validação.

Técnicas de regularização comuns

Existem várias técnicas de regularização amplamente utilizadas que ajudam a melhorar o desempenho e a robustez do modelo:

• Regularização L1 e L2: Estas são as formas mais comuns de regularização. Acrescentam uma penalização à função de perda com base no tamanho dos pesos do modelo. A regularização L1 (Lasso) tende a reduzir os pesos das caraterísticas menos importantes para exatamente zero, realizando efetivamente a seleção de caraterísticas. A regularização L2 (Ridge ou Weight Decay) força os pesos a serem pequenos, mas raramente zero. Um mergulho mais profundo nas diferenças matemáticas pode ser encontrado em recursos como as notas do curso Stanford CS229.
• Camada de abandono: Esta técnica é específica das redes neuronais. Durante o treino, coloca aleatoriamente uma fração das activações dos neurónios a zero em cada passo de atualização. Isto evita que os neurónios se co-adaptem demasiado e força a rede a aprender caraterísticas mais robustas. O conceito foi introduzido num trabalho de investigação muito influente.
• Aumento de dados: Ao aumentar artificialmente o tamanho e a diversidade dos dados de treino, o aumento de dados ajuda o modelo a tornar-se mais invariável a pequenas alterações. As técnicas comuns incluem a rotação, o recorte, o dimensionamento e a mudança de cores nas imagens. O Ultralytics oferece métodos de aumento de dados YOLO incorporados para melhorar a robustez do modelo.
• Paragem antecipada: Este é um método prático em que o desempenho do modelo num conjunto de validação é monitorizado durante a formação. O processo de formação é interrompido quando o desempenho da validação deixa de melhorar, impedindo que o modelo comece a sobreajustar-se em épocas posteriores. Um guia prático sobre a implementação da paragem antecipada está disponível na documentação do PyTorch.

Aplicações no mundo real

A regularização é fundamental para desenvolver modelos eficazes de aprendizagem profunda (DL) em vários domínios.

1. Visão computacional: Em modelos de deteção de objectos como o Ultralytics YOLO, a regularização é crucial para a generalização de conjuntos de dados como o COCO para aplicações no mundo real. Por exemplo, na IA para soluções automóveis, a regularização L2 e o abandono ajudam um detetor de sinais de trânsito a funcionar de forma fiável em condições de iluminação e meteorológicas variadas, impedindo-o de memorizar os exemplos específicos vistos durante o treino.
2. Processamento de linguagem natural (PNL): Os Modelos de Linguagem de Grande Dimensão (LLMs) são propensos a sobreajustes devido ao seu enorme número de parâmetros. Em aplicações como a tradução automática, o dropout é utilizado em arquitecturas de transformadores para garantir que o modelo aprende regras gramaticais e relações semânticas em vez de memorizar apenas pares de frases específicas dos seus dados de treino.

Regularização vs. outros conceitos

É importante diferenciar a regularização de outros conceitos relacionados em ML:

• Regularização vs. Normalização: A normalização é uma técnica de pré-processamento de dados que dimensiona as caraterísticas de entrada para um intervalo padrão (por exemplo, 0 a 1). Ela garante que nenhuma caraterística única domine o processo de aprendizagem devido à sua escala. A regularização, por outro lado, é uma técnica que restringe a complexidade do modelo durante o treino para evitar o sobreajuste. Embora ambos melhorem o desempenho do modelo, a normalização se concentra nos dados, enquanto a regularização se concentra no próprio modelo. A normalização em lote é uma técnica de normalização em camadas que também fornece um leve efeito de regularização.
• Regularização vs. Ajuste de hiperparâmetros: As técnicas de regularização têm seus próprios hiperparâmetros, como a força de regularização (lambda) em L1/L2 ou a taxa de abandono. O ajuste de hiperparâmetros é o processo de encontrar os valores ideais para essas configurações, muitas vezes automatizado com ferramentas como a classe Ultralytics Tuner. Em suma, utiliza a afinação de hiperparâmetros para encontrar a melhor forma de aplicar a regularização. Plataformas como o Ultralytics HUB podem ajudar a gerir as experiências necessárias para este processo.