Focal Loss

Focal Loss는 심각한 클래스 불균형 문제를 해결하기 위해 주로 딥러닝에서 사용되는 특수한 목적 함수입니다. 객체 검출과 같은 많은 컴퓨터 비전 작업에서는 배경 예시(음성 샘플)의 수가 관심 객체(양성 샘플)의 수를 크게 초과합니다. 널리 사용되는 교차 엔트로피 손실과 같은 표준 방법은 모든 오류를 동일하게 처리하므로, 모델이 쉽게 분류할 수 있는 방대한 배경 데이터에 압도되는 경우가 많습니다. Focal Loss는 표준 손실 계산을 수정하여 이러한 쉬운 예시의 가중치를 낮추고, 최적화 알고리즘이 모델 성능에 중요한 드물고 분류하기 어려운 객체인 "어려운" 예시에 학습 역량을 집중하도록 합니다.

집중 메커니즘#

Focal Loss의 핵심 혁신은 모델의 신뢰도에 따라 각 샘플에 부여되는 페널티를 동적으로 조정하는 기능에 있습니다. 일반적인 지도 학습 상황에서 검출기는 이미지 내 수천 개의 후보 위치를 평가할 수 있습니다. 이러한 위치 대부분에는 객체가 없으므로, 표준 손실 함수는 이러한 쉬운 음성 샘플에서 발생하는 많은 작은 오류 신호를 누적하며, 이 신호가 소수의 양성 인스턴스에서 나오는 중요한 신호를 압도할 수 있습니다.

Focal Loss는 올바른 클래스에 대한 신뢰도가 높아질수록 손실 기여도를 감소시키는 조절 계수를 도입합니다. 즉, 모델이 배경 패치가 실제로 배경일 확률을 이미 99%로 확신한다면 해당 패치의 손실은 거의 0으로 줄어듭니다. 따라서 모델 가중치는 주로 오분류된 샘플이나 모델이 확신하지 못하는 샘플을 기반으로 업데이트됩니다. 이러한 집중 방식은 YOLO26과 같은 고성능 단일 단계 객체 검출기를 학습하는 데 필수적이며, 복잡한 샘플링 단계 없이도 높은 정확도를 달성할 수 있도록 합니다.

실제 적용 사례#

불균형 학습 데이터를 처리하는 것은 안전성과 정밀도가 가장 중요한 환경에 강건한 AI 시스템을 배포하는 데 필수적입니다.

• 헬스케어 분야의 AI: 의료 영상 분석과 같은 분야에서 병변을 식별하는 일은 건초 더미에서 바늘을 찾는 것과 비슷한 경우가 많습니다. 예를 들어 작은 병변을 찾는 MRI 스캔에서는 건강한 조직이 픽셀의 99% 이상을 차지할 수 있습니다. 표준 모델은 모든 영역을 "건강함"으로 예측하여 단순 정확도를 극대화하려 할 수 있으며, 이 경우 중요한 진단을 놓치게 됩니다. Focal Loss는 시스템이 풍부한 건강 조직에서 발생하는 신호를 억제하고 이상 징후의 미묘한 특징을 학습하는 데 우선순위를 두도록 하여, 생명을 구하는 검출의 재현율을 향상합니다.
• 자율주행 차량: 자율주행 차량의 인식 시스템은 건물, 도로, 하늘과 같은 복잡한 배경 속에서 보행자나 자전거 이용자처럼 취약한 도로 이용자를 검출해야 합니다. 배경은 쉽게 학습할 수 있지만, 작거나 멀리 있는 장애물은 상당한 어려움을 줍니다. Focal Loss를 활용하면 자동차 분야의 AI 애플리케이션이 인식 스택에서 이러한 검출하기 어려운 객체를 무시하지 않도록 하여, 위험 요소가 시야에서 차지하는 비중이 매우 작은 경우에도 안전 기준을 유지할 수 있습니다.

Ultralytics를 활용한 구현#

ultralytics 라이브러리에는 최첨단 모델을 지원하기 위한 고급 손실 함수의 최적화된 구현이 포함되어 있습니다. Ultralytics Platform은 최적의 학습을 위해 이러한 하이퍼파라미터를 자동으로 구성하지만, 개발자는 사용자 지정 연구를 위해 이러한 구성 요소에 직접 액세스할 수도 있습니다.

다음 예제에서는 ultralytics 유틸리티 패키지를 사용하여 Focal Loss를 초기화하고 일련의 예측에 대한 오류를 계산하는 방법을 보여 줍니다.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

관련 개념과의 차이점#

Focal Loss가 오류 측정의 broader landscape에서 어떤 위치를 차지하는지 이해하면 특정 컴퓨터 비전 작업에 적합한 전략을 선택하는 데 도움이 됩니다.

• Focal Loss와 교차 엔트로피 손실 비교: 교차 엔트로피는 로그 오류를 기반으로 예측에 페널티를 부과하는 분류의 기본 지표입니다. Focal Loss는 엄밀히 말해 교차 엔트로피의 확장으로, 집중 파라미터를 0으로 설정하면 수학적으로 표준 교차 엔트로피로 되돌아갑니다. 핵심적인 차이점은 Focal Loss가 쉬운 음성 샘플의 가중치를 자동으로 낮출 수 있다는 점이며, 이 때문에 COCO와 같은 불균형 데이터셋에 더 적합합니다.
• Focal Loss와 IoU Loss 비교: Focal Loss는 분류(객체가 무엇인지 결정)를 위해 설계된 반면, IoU Loss는 위치 추정(객체가 어디에 있는지 결정)에 사용됩니다. 최신 검출기는 클래스 확률에 Focal Loss를 사용하고 바운딩 박스 회귀에 IoU 기반 지표를 사용하는 복합 손실 함수를 활용합니다.
• Focal Loss와 Dice Loss 비교: Dice Loss는 주로 이미지 세그멘테이션 작업에서 불균형을 처리하는 데 사용되는 또 다른 기법입니다. Focal Loss가 신뢰도를 기반으로 개별 픽셀 또는 샘플에 작용하는 반면, Dice Loss는 예측 영역과 정답 영역 간의 중첩을 전역적으로 최적화합니다. 복잡한 세그멘테이션 워크플로에서는 두 기법을 함께 사용하는 경우가 많습니다.