Focal Loss

Focal Loss는 심층 학습에서 심각한 클래스 불균형 문제를 해결하기 위해 주로 사용되는 특수 목적 함수입니다. 객체 검출과 같은 많은 컴퓨터 비전 작업에서 배경 예제(음성 샘플)의 수는 관심 객체(양성 샘플)의 수보다 훨씬 많습니다. 널리 사용되는 Cross-Entropy Loss와 같은 표준 방법은 모든 오류를 동일하게 취급하므로, 모델이 분류하기 쉬운 방대한 양의 배경 데이터에 압도되는 경우가 종종 발생합니다. Focal Loss는 이러한 쉬운 예제에 대한 페널티를 낮추도록 표준 손실 계산을 수정하여, optimization algorithm이 모델 성능에 결정적인 드물고 분류하기 어려운 객체인 "어려운" 예제에 학습 역량을 집중하도록 만듭니다.

집중(Focusing)의 메커니즘#

Focal Loss의 핵심 혁신은 모델의 신뢰도를 바탕으로 각 샘플에 할당된 페널티를 동적으로 조절하는 능력에 있습니다. 전형적인 supervised learning 시나리오에서 검출기는 이미지 내의 수천 가지 후보 위치를 평가할 수 있습니다. 이러한 위치의 대부분에는 객체가 포함되어 있지 않기 때문에, 표준 loss function은 이러한 쉬운 음성 샘플로부터 많은 작은 오류 신호를 누적하게 되며, 이는 몇 안 되는 양성 인스턴스의 가치 있는 신호를 묻히게 만들 수 있습니다.

Focal Loss는 올바른 클래스에 대한 신뢰도가 증가함에 따라 손실 기여도를 감소시키는 변조 요소를 도입합니다. 이는 모델이 배경 패치가 실제로 배경인지 이미 99% 확신하는 경우 해당 패치에 대한 손실이 거의 0으로 감소함을 의미합니다. 결과적으로 model weights는 잘못 분류된 샘플이나 모델이 불확실한 샘플을 중심으로 업데이트됩니다. 이 타겟형 접근 방식은 YOLO26과 같은 고성능 one-stage object detectors를 학습하는 데 필수적이며, 복잡한 샘플링 단계 없이도 높은 정확도를 달성할 수 있게 해줍니다.

실제 애플리케이션 사례#

불균형한 training data를 처리하는 것은 안전성과 정밀도가 무엇보다 중요한 환경에 강력한 AI 시스템을 배포하는 데 매우 중요합니다.

• AI in Healthcare: medical image analysis 같은 분야에서는 병리 현상을 식별하는 것이 건초에서 바늘 찾기와 종종 비교됩니다. 예를 들어, 작은 병변을 찾는 MRI 스캔에서 건강한 조직이 픽셀의 99% 이상을 차지할 수 있습니다. 표준 모델은 모든 곳을 "건강함"으로 예측하여 단순 정확도를 극대화할 수 있으며, 이로 인해 중요한 진단을 놓치게 됩니다. Focal Loss는 시스템이 풍부한 건강한 조직의 신호를 억제하고 이상 징후의 미세한 특징을 학습하는 것을 우선시하도록 하여, 생명을 구하는 검출을 위한 recall을 향상시킵니다.
• Autonomous Vehicles: 자율주행차를 위한 인지 시스템은 건물, 도로, 하늘의 복잡한 배경 속에서 보행자나 자전거 이용자와 같은 취약한 도로 사용자를 감지해야 합니다. 배경은 쉽게 학습되지만 작거나 먼 장애물은 상당한 도전을 제기합니다. Focal Loss를 활용함으로써 AI in automotive 애플리케이션은 인지 스택이 감지하기 어려운 이러한 객체를 무시하지 않도록 보장하여, 위험 요소가 시야의 아주 작은 부분만 차지하더라도 안전 기준을 유지할 수 있습니다.

Ultralytics를 활용한 구현#

ultralytics 라이브러리는 최첨단 모델을 지원하기 위해 고급 손실 함수의 최적화된 구현을 포함합니다. Ultralytics Platform은 최적의 학습을 위해 이러한 하이퍼파라미터를 자동으로 구성하지만, 개발자는 커스텀 연구를 위해 이러한 컴포넌트에 직접 액세스할 수도 있습니다.

다음 예제는 ultralytics 유틸리티 패키지를 사용하여 Focal Loss를 초기화하고 일련의 예측에 대한 오차를 계산하는 방법을 보여줍니다.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

관련 개념과의 차이점#

Focal Loss가 더 넓은 오류 측정 환경에서 어디에 위치하는지 이해하는 것은 특정 컴퓨터 비전 작업에 맞는 올바른 전략을 선택하는 데 도움이 됩니다.

• Focal Loss vs. Cross-Entropy Loss: Cross-Entropy는 로그 오차를 기반으로 예측에 페널티를 주는 분류의 기본 지표입니다. Focal Loss는 엄격히 말해 Cross-Entropy의 확장형이며, 포커싱 매개변수가 0으로 설정되면 수학적으로 표준 Cross-Entropy로 돌아갑니다. 핵심 차이점은 쉬운 음성 샘플에 자동으로 페널티를 낮추는 Focal Loss의 능력으로, COCO와 같은 불균형 데이터셋에 더 우수하게 만듭니다.
• Focal Loss vs. IoU Loss: Focal Loss가 분류(객체가 무엇인지 결정)용으로 설계된 반면, IoU Loss는 위치 파악(객체가 어디에 있는지 결정)용으로 사용됩니다. 최신 검출기는 클래스 확률을 위한 Focal Loss와 bounding box 회귀를 위한 IoU 기반 지표를 결합한 복합 손실 함수를 활용합니다.
• Focal Loss vs. Dice Loss: Dice Loss는 주로 image segmentation 작업에서 불균형을 처리하는 데 사용되는 또 다른 기법입니다. Focal Loss가 신뢰도에 따라 개별 픽셀 또는 샘플에서 작동하는 반면, Dice Loss는 예측 영역과 정답 영역 간의 중첩을 전역적으로 최적화합니다. 복잡한 segmentation workflows에서 둘 다 함께 사용되는 것을 흔히 볼 수 있습니다.