Focal Loss

Focal Loss — это специализированная целевая функция, которая в основном используется в глубоком обучении для решения проблемы сильного дисбаланса классов. Во многих задачах компьютерного зрения, таких как обнаружение объектов, количество фоновых примеров (негативных образцов) значительно превышает количество объектов интереса (позитивных образцов). Стандартные методы, такие как широко используемая Cross-Entropy Loss, одинаково обрабатывают все ошибки, из-за чего модель часто оказывается перегружена огромным объемом простых для классификации фоновых данных. Focal Loss изменяет стандартный расчет потерь, снижая вес этих простых примеров и заставляя optimization algorithm сосредоточить свою способность к обучению на «трудных» примерах — редких и сложных для классификации объектах, которые имеют решающее значение для производительности модели.

Механизм фокусировки#

Основная инновация Focal Loss заключается в ее способности динамически масштабировать штраф, назначаемый для каждого образца, на основе уверенности модели. В типичном сценарии supervised learning детектор может оценивать тысячи возможных мест в изображении. Поскольку в большинстве этих мест нет объектов, стандартная loss function накапливает множество мелких сигналов ошибок от этих простых негативов, что может заглушить ценный сигнал от небольшого числа позитивных экземпляров.

Focal Loss вводит модулирующий коэффициент, который уменьшает вклад потерь по мере роста уверенности в правильном классе. Это означает, что если модель уже на 99% уверена, что фоновый участок действительно является фоном, потери для этого участка снижаются практически до нуля. Следовательно, model weights обновляются в основном на основе неправильно классифицированных образцов или тех, в которых модель не уверена. Такой целенаправленный подход необходим для обучения высокопроизводительных one-stage object detectors, таких как YOLO26, позволяя им достигать высокой точности без необходимости прохождения сложных этапов выборки.

Реальные приложения#

Работа с несбалансированными training data критически важна для развертывания надежных систем ИИ в средах, где безопасность и точность имеют первостепенное значение.

• AI in Healthcare: В таких областях, как medical image analysis, выявление патологий часто сравнимо с поиском иголки в стоге сена. Например, на МРТ-снимке при поиске мелких поражений здоровая ткань может составлять более 99% пикселей. Стандартная модель может максимизировать простую точность, предсказывая «здорово» везде, но упустив критически важный диагноз. Focal Loss позволяет системе подавлять сигнал от обильной здоровой ткани и уделять приоритетное внимание изучению тонких особенностей аномалий, тем самым улучшая recall для спасающих жизни обнаружений.
• Autonomous Vehicles: Системы восприятия для самоуправляемых автомобилей должны обнаруживать уязвимых участников дорожного движения, таких как пешеходы или велосипедисты, на фоне сложных декораций из зданий, дорог и неба. Хотя фон изучается легко, мелкие или далекие препятствия представляют собой серьезную сложность. Используя Focal Loss, приложения AI in automotive могут гарантировать, что стек восприятия не проигнорирует эти труднообнаруживаемые объекты, поддерживая стандарты безопасности даже тогда, когда опасности занимают лишь крошечную долю поля зрения.

Реализация с помощью Ultralytics#

Библиотека ultralytics включает оптимизированные реализации продвинутых функций потерь для поддержки современных моделей. В то время как Ultralytics Platform автоматически настраивает эти гиперпараметры для оптимального обучения, разработчики также могут обращаться к этим компонентам напрямую для собственных исследований.

Следующий пример демонстрирует, как инициализировать Focal Loss с помощью пакета утилит ultralytics и вычислить ошибку для набора предсказаний.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

Отличие от связанных понятий#

Понимание того, какое место Focal Loss занимает в более широком контексте измерения ошибок, помогает выбрать правильную стратегию для конкретных задач компьютерного зрения.

• Focal Loss vs. Cross-Entropy Loss: Перекрестная энтропия — это базовая метрика для классификации, которая налагает штраф на предсказания на основе логарифмической ошибки. Focal Loss является строго расширением перекрестной энтропии; если параметр фокусировки установлен на ноль, она математически возвращается к стандартной перекрестной энтропии. Главное отличие заключается в способности Focal Loss автоматически снижать вес простых негативов, что делает ее превосходной для несбалансированных наборов данных, таких как COCO.
• Focal Loss vs. IoU Loss: В то время как Focal Loss предназначена для классификации (определения того, что представляет собой объект), IoU Loss используется для локализации (определения того, где находится объект). Современные детекторы используют составную функцию потерь, которая объединяет Focal Loss для вероятностей классов и метрики на основе IoU для регрессии bounding box.
• Focal Loss vs. Dice Loss: Dice Loss — это еще один метод, используемый для работы с дисбалансом, в основном в задачах image segmentation. Если Focal Loss работает с отдельными пикселями или образцами на основе уверенности, то Dice Loss глобально оптимизирует перекрытие между предсказанными и истинными регионами. Часто можно увидеть их совместное использование в сложных segmentation workflows.