Лицензия YOLO
Назад к глоссарию Ultralytics

Huber Loss

Функция потерь Хьюбера сочетает квадратичную и абсолютную ошибки, чтобы уменьшить влияние выбросов при регрессии; для неё можно настроить порог delta, а также реализовать её на Python.

Функция потерь Хьюбера — это регрессионная функция потерь, которая квадратично штрафует небольшие ошибки предсказания и линейно — большие. Она задаёт моделям плавную целевую функцию вблизи правильного ответа и одновременно уменьшает влияние необычно больших ошибок. Поэтому она полезна, когда большинство обучающих примеров соответствуют устойчивой закономерности, но в некоторых есть значительные отклонения.

Питер Дж. Хьюбер представил эту функцию в своей статье 1964 года Robust Estimation of a Location Parameter. Она остаётся одним из основных инструментов робастного оценивания: подгонки модели, предсказания которой менее чувствительны к выбросам.

Как работает функция потерь Хьюбера#

Остаток — это разность между предсказанным и целевым значениями. Функция потерь Хьюбера использует положительный порог дельта, чтобы определить вклад остатка в целевую функцию:

  • Небольшие остатки: если абсолютная величина остатка не превышает дельту, функция потерь равна половине квадрата остатка.
  • Большие остатки: если остаток превышает дельту, функция потерь равна дельта × (абсолютная величина остатка − 0,5 × дельта).

Обе ветви соединяются с одинаковыми значением и наклоном. При обратном распространении ошибки производная по предсказанию равна остатку в квадратичной области; за её пределами её модуль ограничен дельтой. В результате дальнейшее увеличение остатка перестаёт увеличивать градиенты предсказания. Линейный участок ограничивает влияние экстремальной ошибки на подгонку относительно остальных наблюдений.

Выбор дельты и сравнение функций потерь#

Среднеквадратичная ошибка (MSE) усредняет квадраты остатков и придаёт большим ошибкам значительный вес. Средняя абсолютная ошибка (MAE), также называемая потерей L1 при вычислении для каждого элемента, использует только абсолютные остатки и имеет острый угол в нуле. Функция потерь Хьюбера сочетает квадратичное поведение вблизи нуля с линейными участками, обеспечивая непрерывно дифференцируемую целевую функцию для градиентного спуска.

При большем значении дельты область квадратичной ошибки расширяется. Меньшее значение дельты переводит больше остатков в устойчивую к выбросам линейную область и уменьшает её наклон. Дельта имеет те же единицы измерения, что и остаток, поэтому нормализация целевых значений меняет её смысл. Если перевести целевые значения из метров в сантиметры, нужно умножить дельту на 100, чтобы сохранить то же положение перехода относительно данных.

Выбор дельты — задача подбора гиперпараметров: кандидаты сравнивают на валидационных данных с помощью целевой метрики регрессии. Функция потерь Хьюбера подходит для предсказания непрерывных значений; кросс-энтропия и функция потерь на основе шарнира используются для классификации.

Применение в регрессии и компьютерном зрении#

При линейной регрессии экстремальные наблюдения могут сместить подгонку по квадратичной ошибке от основного тренда данных. Подгонка с помощью HuberRegressor на сгенерированном наборе данных для регрессии с четырьмя добавленными выбросами ближе следует основному тренду, чем подгонка по квадратичной ошибке, на которую влияют эти наблюдения.

Для обнаружения объектов метод Fast R-CNN Росса Гиршика использует функцию потерь Smooth L1, эквивалентную функции потерь Хьюбера с единичной дельтой, для регрессии ограничивающих рамок. Линейные участки уменьшают чувствительность к выбросам в координатах, которые иначе приводили бы к большим градиентам во время обучения.

Ultralytics YOLO поддерживает настраиваемые критерии обучения через метод модели init_criterion(), предоставляя точку интеграции для пользовательских регрессионных целевых функций на основе функции потерь Хьюбера. Такая настройка меняет вклад ошибок регрессии в обновления модели.

Функция потерь Хьюбера на Python#

В PyTorch есть функция torch.nn.HuberLoss с настраиваемыми параметрами delta и reduction. После установки torch с помощью pip install torch следующий расчёт показывает вклад каждого остатка:

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# Сохрани отдельные значения функции потерь, чтобы увидеть линейный участок.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

Результат — это [0.125, 1.5, 9.5] и [0.25, 4.0, 100.0], демонстрирующие уменьшение роста штрафа для больших остатков. При reduction="mean" PyTorch усредняет все потери для отдельных элементов; "sum" складывает их.

Псевдо-функция потерь Хьюбера приближает форму функции Хьюбера с помощью плавного перехода и непрерывных производных высших порядков. Smooth L1 использует другой способ масштабирования: в PyTorch, когда beta равен delta, функция потерь Хьюбера равна функции потерь Smooth L1, умноженной на дельту; они совпадают, если оба порога равны 1.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения