초점 손실

초점 손실은 머신러닝 모델을 학습하는 동안 클래스 불균형 문제를 해결하기 위해 고안된 특수 손실 기능입니다. 이 문제는 특히 객체 감지 작업에서 흔히 발생하는데, 배경 예제(네거티브 클래스)의 수가 관심 객체(포지티브 클래스)의 전경보다 훨씬 많을 수 있습니다. 초점 손실은 각 예제의 가중치를 동적으로 조정함으로써 모델이 분류하기 쉬운 수많은 부정적 예제에 압도되지 않고 분류하기 어려운 예제에 학습 노력을 집중하도록 유도합니다. 이 접근 방식은 불균형한 데이터 세트에서 학습된 모델의 정확도와 성능을 크게 향상시킵니다.

초점 손실 작동 방식

초점 손실은 이미지 분류 작업에 널리 사용되는 표준 교차 엔트로피 손실의 개선된 버전입니다. Meta AI(구 Facebook AI Research)의 연구원들이 RetinaNet 논문에서 소개한 이 핵심 혁신은 잘 분류된 예시에서 손실 기여도를 줄이는 조절 요소입니다. 이를 통해 모델의 역전파 업데이트가 주로 분류하기 어려운 예제에서 발생하는 오류에 의해 구동될 수 있습니다. 이 기능에는 쉬운 예제의 손실 가중치를 낮추는 비율을 제어하는 '집중 매개변수'가 포함되어 있습니다. 이렇게 어려운 예제의 우선순위를 지정함으로써 최적화 알고리즘은 모델 가중치를 보다 의미 있게 조정하여 전반적인 성능을 향상시킬 수 있으며, 특히 RetinaNet과 같은 1단계 객체 감지기나 일부 버전의 YOLO의 경우 더 나은 성능을 얻을 수 있습니다. 초점 손실의 기술적 구현은 Ultralytics 문서에서 살펴볼 수 있습니다.

실제 애플리케이션

초점 손실은 클래스 불균형이 심각한 문제인 다양한 실제 시나리오에서 강력한 모델을 훈련하는 데 중요한 역할을 합니다.

• 자율 주행: 자율 주행 차량 개발 시 모델은 보행자, 자전거 타는 사람 또는 멀리 있는 교통 표지판과 같이 드물게 나타나는 물체도 포함하여 광범위한 물체를 감지해야 합니다. 이미지의 대부분은 도로 또는 하늘(배경)일 수 있습니다. 초점 손실은 모델이 이러한 중요하지만 드물게 나타나는 물체에 더 많은 주의를 기울여 놓치지 않도록 도와줍니다. 이는 자동차 솔루션에서 안전하고 신뢰할 수 있는 AI를 구축하는 데 매우 중요합니다. 이 분야의 과제에 대한 개요는 카네기 멜론 대학교와 같은 기관에서 제공합니다.
• 의료 진단: 의료 이미지 분석에서 모델은 스캔에서 종양이나 병변과 같은 이상 징후를 감지하도록 훈련됩니다. 비정상적인 영역은 주변의 건강한 조직에 비해 매우 작은 경우가 많습니다. 초점 손실을 사용하면 모델이 압도적으로 큰 배경 클래스에 밀려 무시될 수 있는 이러한 미묘하고 감지하기 어려운 영역을 식별하는 데 집중할 수 있습니다. 이는 의료 데이터 세트에서 종양을 탐지하는 애플리케이션에서 볼 수 있듯이 보다 정확하고 신뢰할 수 있는 진단 도구로 이어집니다.

다른 손실 함수와의 비교

초점 손실과 컴퓨터 비전에서 사용되는 다른 관련 손실 함수를 구별하는 것이 중요합니다.

• 교차 엔트로피 손실: 초점 손실은 교차 엔트로피 손실을 직접적으로 수정한 것입니다. 교차 엔트로피가 모든 예제를 동등하게 처리하는 반면, 초점 손실은 쉬운 예제의 영향을 줄이기 위한 용어를 도입하여 불균형한 훈련 데이터에 더 적합합니다. 교차 엔트로피에 대해 더 깊이 이해하려면 스탠퍼드 대학교의 CS231n 노트에서 좋은 설명을 찾아볼 수 있습니다.
• 다양 초점 손실: 초점 손실의 원리를 기반으로 하는 보다 최근의 손실 함수입니다. 초점 손실은 모든 긍정적인 예시를 동등하게 처리하는 반면, 다양초점 손실은 분류 점수를 기준으로 가중치를 부여하여 고품질의 긍정적인 예시에 더 많은 가중치를 부여합니다. 구체적인 구현에 대한 자세한 내용은 울트라틱스 손실 함수 레퍼런스에서 확인할 수 있습니다.
• IoU 기반 손실: 일반화된 교집합(IoU), DIoU, CIoU와 같은 함수는 예측된 바운딩 박스의 측위 정확도를 측정하는 데 사용됩니다. 이러한 함수는 객체가 어디에 있는지에 관심을 두는 반면, 초점 손실은 객체가 무엇인지 (분류)에 관심을 둡니다. Ultralytics YOLOv8과 같은 최신 감지기에서는 분류 손실(초점 손실과 같은)과 회귀 손실(IoU 기반 손실과 같은)을 함께 사용하여 모델을 학습시킵니다.