Huber Loss
A perda de Huber combina o erro quadrático e o absoluto para reduzir a influência de valores atípicos na regressão, com um limiar delta ajustável e uma implementação em Python.
A perda de Huber é uma função de perda para regressão que penaliza os pequenos erros de previsão de forma quadrática e os grandes erros de forma linear. Ela proporciona aos modelos um objetivo suave perto da resposta correta, reduzindo ao mesmo tempo a influência de erros excepcionalmente grandes. Isso torna a perda útil quando a maioria dos exemplos de treino segue um padrão consistente, mas alguns contêm desvios extremos.
Peter J. Huber introduziu a função no artigo de 1964 Estimativa robusta de um parâmetro de localização. Ela continua a ser uma ferramenta fundamental para a estimação robusta: ajustar um modelo cujas previsões sejam menos sensíveis a valores atípicos.
Como funciona a perda de Huber#
Um resíduo é o valor previsto menos o valor-alvo. A perda de Huber usa um limiar positivo chamado delta para determinar como esse resíduo contribui para o objetivo:
- Resíduos pequenos: Quando o valor absoluto do resíduo é no máximo delta, a perda é metade do resíduo ao quadrado.
- Resíduos grandes: Acima de delta, a perda é delta x (resíduo absoluto - 0.5 x delta).
Os dois segmentos encontram-se com o mesmo valor e inclinação. Durante a retropropagação, a derivada em relação à previsão é igual ao resíduo na região quadrática; fora dela, o seu valor absoluto é limitado a delta. Consequentemente, resíduos cada vez maiores deixam de produzir gradientes de previsão cada vez maiores. A cauda linear limita a intensidade com que um erro extremo afasta o ajuste das restantes observações.
Escolher delta e comparar perdas#
O erro quadrático médio (MSE) calcula a média dos resíduos ao quadrado e dá grande peso aos erros grandes. O erro absoluto médio (MAE), também chamado perda L1 quando aplicado a cada elemento, usa resíduos absolutos em todos os casos e tem um ponto anguloso em zero. A perda de Huber combina o comportamento quadrático perto de zero com caudas lineares, proporcionando um objetivo continuamente diferenciável para a descida do gradiente.
Um delta maior amplia a região de erro quadrático. Um delta menor faz com que mais resíduos passem para a região linear, resistente a valores atípicos, e reduz a inclinação dessa região. Delta tem as mesmas unidades que o resíduo, pelo que a normalização do valor-alvo altera o seu significado. Converter os valores-alvo de metros para centímetros exige multiplicar delta por 100 para manter a mesma transição em relação aos dados.
A escolha de delta é um problema de ajuste de hiperparâmetros: comparam-se valores candidatos em dados de validação, usando a métrica de regressão pretendida. A perda de Huber é adequada para previsões de valores contínuos; a perda de entropia cruzada e a perda hinge são usadas para objetivos de classificação.
Aplicações em regressão e visão computacional#
Na regressão linear, observações extremas podem afastar um ajuste por erro quadrático da tendência principal dos dados. Um ajuste de HuberRegressor num conjunto de dados de regressão gerado, ao qual foram adicionados quatro valores atípicos, acompanha a tendência principal mais de perto do que um ajuste por erro quadrático influenciado por essas observações.
Para a deteção de objetos, o Fast R-CNN de Ross Girshick usa a perda Smooth L1, equivalente à perda de Huber com delta igual a 1, para a regressão de caixas delimitadoras. As caudas lineares reduzem a sensibilidade a erros atípicos nas coordenadas, que, de outro modo, produziriam gradientes grandes durante o treino.
O Ultralytics YOLO permite usar critérios de treino personalizados através do método init_criterion() de um modelo, oferecendo um ponto de integração para objetivos de regressão personalizados baseados na perda de Huber. Essa personalização altera a forma como os erros de regressão contribuem para as atualizações do modelo.
Perda de Huber em Python#
O PyTorch disponibiliza torch.nn.HuberLoss com delta e redução configuráveis. Depois de instalar torch com pip install torch, o cálculo seguinte mostra a contribuição de cada resíduo:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Mantém as perdas individuais para mostrar a cauda linear.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())O resultado é [0.125, 1.5, 9.5] versus [0.25, 4.0, 100.0], mostrando o crescimento reduzido da penalização para resíduos grandes. Com reduction="mean", o PyTorch calcula a média de todas as perdas elemento a elemento; "sum" soma-as.
A perda pseudo-Huber aproxima a forma da perda de Huber com uma transição suave e derivadas contínuas de ordem superior. Smooth L1 usa uma convenção de escala diferente: no PyTorch, quando beta é igual a delta, a perda de Huber é igual à perda Smooth L1 multiplicada por delta; as duas são idênticas quando ambos os limiares são iguais a 1.










