Huber Loss
Функция потерь Хьюбера сочетает квадратичную и абсолютную ошибки, чтобы уменьшить влияние выбросов при регрессии; для неё можно настроить порог delta, а также реализовать её на Python.
Функция потерь Хьюбера — это регрессионная функция потерь, которая квадратично штрафует небольшие ошибки предсказания и линейно — большие. Она задаёт моделям плавную целевую функцию вблизи правильного ответа и одновременно уменьшает влияние необычно больших ошибок. Поэтому она полезна, когда большинство обучающих примеров соответствуют устойчивой закономерности, но в некоторых есть значительные отклонения.
Питер Дж. Хьюбер представил эту функцию в своей статье 1964 года Robust Estimation of a Location Parameter. Она остаётся одним из основных инструментов робастного оценивания: подгонки модели, предсказания которой менее чувствительны к выбросам.
Как работает функция потерь Хьюбера#
Остаток — это разность между предсказанным и целевым значениями. Функция потерь Хьюбера использует положительный порог дельта, чтобы определить вклад остатка в целевую функцию:
- Небольшие остатки: если абсолютная величина остатка не превышает дельту, функция потерь равна половине квадрата остатка.
- Большие остатки: если остаток превышает дельту, функция потерь равна дельта × (абсолютная величина остатка − 0,5 × дельта).
Обе ветви соединяются с одинаковыми значением и наклоном. При обратном распространении ошибки производная по предсказанию равна остатку в квадратичной области; за её пределами её модуль ограничен дельтой. В результате дальнейшее увеличение остатка перестаёт увеличивать градиенты предсказания. Линейный участок ограничивает влияние экстремальной ошибки на подгонку относительно остальных наблюдений.
Выбор дельты и сравнение функций потерь#
Среднеквадратичная ошибка (MSE) усредняет квадраты остатков и придаёт большим ошибкам значительный вес. Средняя абсолютная ошибка (MAE), также называемая потерей L1 при вычислении для каждого элемента, использует только абсолютные остатки и имеет острый угол в нуле. Функция потерь Хьюбера сочетает квадратичное поведение вблизи нуля с линейными участками, обеспечивая непрерывно дифференцируемую целевую функцию для градиентного спуска.
При большем значении дельты область квадратичной ошибки расширяется. Меньшее значение дельты переводит больше остатков в устойчивую к выбросам линейную область и уменьшает её наклон. Дельта имеет те же единицы измерения, что и остаток, поэтому нормализация целевых значений меняет её смысл. Если перевести целевые значения из метров в сантиметры, нужно умножить дельту на 100, чтобы сохранить то же положение перехода относительно данных.
Выбор дельты — задача подбора гиперпараметров: кандидаты сравнивают на валидационных данных с помощью целевой метрики регрессии. Функция потерь Хьюбера подходит для предсказания непрерывных значений; кросс-энтропия и функция потерь на основе шарнира используются для классификации.
Применение в регрессии и компьютерном зрении#
При линейной регрессии экстремальные наблюдения могут сместить подгонку по квадратичной ошибке от основного тренда данных. Подгонка с помощью HuberRegressor на сгенерированном наборе данных для регрессии с четырьмя добавленными выбросами ближе следует основному тренду, чем подгонка по квадратичной ошибке, на которую влияют эти наблюдения.
Для обнаружения объектов метод Fast R-CNN Росса Гиршика использует функцию потерь Smooth L1, эквивалентную функции потерь Хьюбера с единичной дельтой, для регрессии ограничивающих рамок. Линейные участки уменьшают чувствительность к выбросам в координатах, которые иначе приводили бы к большим градиентам во время обучения.
Ultralytics YOLO поддерживает настраиваемые критерии обучения через метод модели init_criterion(), предоставляя точку интеграции для пользовательских регрессионных целевых функций на основе функции потерь Хьюбера. Такая настройка меняет вклад ошибок регрессии в обновления модели.
Функция потерь Хьюбера на Python#
В PyTorch есть функция torch.nn.HuberLoss с настраиваемыми параметрами delta и reduction. После установки torch с помощью pip install torch следующий расчёт показывает вклад каждого остатка:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Сохрани отдельные значения функции потерь, чтобы увидеть линейный участок.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())Результат — это [0.125, 1.5, 9.5] и [0.25, 4.0, 100.0], демонстрирующие уменьшение роста штрафа для больших остатков. При reduction="mean" PyTorch усредняет все потери для отдельных элементов; "sum" складывает их.
Псевдо-функция потерь Хьюбера приближает форму функции Хьюбера с помощью плавного перехода и непрерывных производных высших порядков. Smooth L1 использует другой способ масштабирования: в PyTorch, когда beta равен delta, функция потерь Хьюбера равна функции потерь Smooth L1, умноженной на дельту; они совпадают, если оба порога равны 1.










