Hyperparameter Tuning

O ajuste de hiperparâmetros consiste em procurar as definições de treino que proporcionam o melhor desempenho a um modelo de machine learning em dados reservados. Os hiperparâmetros são definidos antes do início do treino, ao contrário dos pesos do modelo, que o treino aprende a partir dos dados. Cada configuração candidata tem de ser avaliada através do treino de um modelo e da sua avaliação em dados de validação, pelo que o ajuste é uma das etapas que mais recursos computacionais consome na criação de um modelo, e escolher uma boa estratégia de pesquisa é tão importante como escolher os valores a pesquisar.

Hiperparâmetros comuns#

No deep learning para visão, as definições que mais frequentemente precisam de ajuste dividem-se em alguns grupos:

• Otimização: A taxa de aprendizagem e a respetiva programação, o momentum, a regularização dos pesos e a escolha do otimizador, como SGD ou o otimizador Adam. A taxa de aprendizagem costuma ter o maior efeito e é pesquisada numa escala logarítmica.
• Duração do treino e formação de lotes: O número de épocas, a duração do aquecimento e o tamanho do lote.
• Aumento de dados: A probabilidade e a intensidade de cada transformação, como inversões, redimensionamento, alterações de cor e mosaico.
• Pesos da função de perda: Os fatores que equilibram os termos de uma função de perda composta, como as perdas de caixas e de classificação num detetor.

Métodos de pesquisa#

Os profissionais exploram o espaço de configurações possíveis com algumas estratégias:

• Pesquisa em grelha: Treina todas as combinações de uma lista fixa de valores. É simples e exaustiva, mas o custo aumenta com cada hiperparâmetro acrescentado.
• Pesquisa aleatória: Amostra configurações aleatoriamente dentro dos intervalos permitidos. Bergstra e Bengio demonstraram que encontra modelos tão bons como os da pesquisa em grelha, ou melhores, com uma fração do custo computacional, porque apenas alguns hiperparâmetros são muito importantes para um determinado problema e a amostragem aleatória experimenta mais valores distintos de cada um.
• Otimização bayesiana: Ajusta um modelo substituto de como a pontuação depende dos hiperparâmetros e escolhe cada ensaio seguinte onde é mais provável que haja uma melhoria. Bibliotecas como o Optuna usam esta abordagem por predefinição.
• Métodos de paragem antecipada: O Hyperband e a redução sucessiva começam muitas configurações com um orçamento pequeno e atribuem mais épocas apenas às mais promissoras.
• Algoritmos evolutivos: Tratam cada configuração como um genoma e melhoram uma população de configurações por meio de seleção e mutação.

Pesquisa evolutiva#

A pesquisa evolutiva é adequada a execuções de treino com muitos hiperparâmetros interdependentes, porque não precisa de um modelo do espaço de pesquisa, apenas de uma pontuação de aptidão para cada ensaio. Em cada ronda, seleciona uma das melhores configurações encontradas até ao momento, altera alguns dos seus valores, treina com o resultado e mantém a nova configuração no conjunto se obtiver uma boa pontuação.

O afinador da Ultralytics executa este ciclo no treino YOLO: em cada iteração, escolhe um progenitor entre os nove resultados com maior aptidão, altera aproximadamente metade de até 26 hiperparâmetros que abrangem a taxa de aprendizagem, os fatores de perda e o aumento de dados, e calcula a aptidão como mAP_50-95 para deteção. Os hiperparâmetros da etapa COCO dos pontos de verificação oficiais do YOLO26 foram encontrados com esta pesquisa evolutiva.

from ultralytics import YOLO

# Carrega um modelo YOLO26n pré-treinado
model = YOLO("yolo26n.pt")

# Espaço de pesquisa: limites (mín., máx.) para cada hiperparâmetro a ajustar
search_space = {"lr0": (1e-5, 1e-2), "degrees": (0.0, 45.0)}

# Cada uma das 30 iterações treina durante 10 épocas com valores recém-alterados
model.tune(data="coco8.yaml", epochs=10, iterations=30, space=search_space, plots=False, save=False, val=False)

A execução grava best_hyperparameters.yaml, um gráfico de aptidão por iteração e os pesos da melhor iteração num diretório tune. model.tune() treina com AdamW, a menos que o otimizador seja especificado, porque o optimizer="auto" predefinido substituiria o lr0 ajustado.

Ajuste de hiperparâmetros vs. termos relacionados#

• Treino de modelos: O treino aprende os pesos para um conjunto fixo de hiperparâmetros através da retropropagação. O ajuste é o ciclo externo, que executa o treino várias vezes e compara os resultados.
• Ajuste fino: Apesar do nome semelhante, o ajuste fino continua o treino dos pesos de um modelo pré-treinado com novos dados. Tem os seus próprios hiperparâmetros a ajustar, como uma taxa de aprendizagem mais baixa e o número de camadas congeladas.
• Pesquisa de arquitetura neural (NAS): Pesquisa a estrutura da rede, como os tipos e as larguras das camadas, em vez das definições de treino.
• Machine learning automatizado (AutoML): Automatiza o fluxo de trabalho mais amplo, incluindo a seleção de modelos e o pré-processamento de dados, tendo o ajuste de hiperparâmetros como um dos componentes.
• Sobreajuste ao conjunto de validação: Centenas de ensaios de ajuste avaliados na mesma divisão de validação podem selecionar definições que, por acaso, se adequam a essa divisão, pelo que os resultados finais devem ser obtidos num conjunto de teste separado, que nunca foi usado no ajuste.