Ultralytics YOLO26이 ProgLoss, STAL 및 MuSGD로 더 스마트하게 학습하는 방법

지난주에 Ultralytics YOLO26을 출시하여 엣지 우선 실시간 컴퓨터 비전 모델의 새로운 기준을 세웠습니다. 이전의 Ultralytics YOLO 모델, 예를 들어 Ultralytics YOLO11과 마찬가지로 YOLO26은 객체 감지, 인스턴스 세그멘테이션, 포즈 추정을 비롯해 사용자에게 익숙한 핵심 컴퓨터 비전 작업을 지원합니다.

그림 1. 이미지에서 객체를 세그멘테이션하는 데 Ultralytics YOLO26을 사용하는 예시입니다.

하지만 Ultralytics YOLO26은 단순한 점진적 업데이트가 아닙니다. 지원되는 작업은 익숙해 보일 수 있지만, 이 새로운 모델은 컴퓨터 비전 모델을 학습하는 방식에서 혁신적인 진전을 보여줍니다. YOLO26에서는 추론 효율성을 넘어 학습을 더욱 안정적으로 만드는 데 초점을 맞춥니다.

Ultralytics YOLO26은 전체 학습 수명 주기를 고려하여 설계되었습니다. 이는 더 빠른 수렴, 더욱 안정적인 학습 실행, 일관된 모델 동작을 의미합니다. 이러한 개선 사항은 학습 안정성이 모델을 얼마나 빠르게 반복 개선하고 배포할 수 있는지에 직접적인 영향을 미치는 실제 워크플로에서 특히 중요합니다.

이를 위해 Ultralytics YOLO26은 Progressive Loss Balancing (ProgLoss), Small-Target-Aware Label Assignment (STAL), MuSGD 옵티마이저와 같은 여러 가지 목적 지향적 학습 혁신을 도입합니다. 이러한 변경 사항은 학습 손실의 균형을 조정하고, 레이블을 할당하며, 시간에 따른 최적화 동작을 개선합니다.

이 글에서는 이러한 메커니즘이 각각 어떻게 작동하며, Ultralytics YOLO26을 더 쉽게 학습하고 대규모 환경에서 더욱 안정적으로 만드는 이유를 살펴봅니다. 시작해 보겠습니다!

Ultralytics YOLO26: 단순히 더 빠르게 실행하는 것을 넘어 더 스마트하게 학습하도록 설계#

Ultralytics YOLO26은 Non-Maximum Suppression과 같은 후처리 단계에 대한 의존성을 제거하여 전체 추론 파이프라인을 기본적으로 간소화합니다. YOLO26은 겹치는 예측을 여러 개 생성한 후 필터링하는 대신 네트워크에서 최종 감지 결과를 직접 생성합니다.

이를 통해 YOLO26은 엔드 투 엔드 모델이 되며, 예측, 중복 해결, 최종 출력이 모두 네트워크 자체에서 학습됩니다. 이는 배포를 간소화하고 추론 효율성을 향상하는 동시에 학습 중 모델이 학습하는 방식에도 영향을 줍니다.

그림 2. YOLO26은 최첨단 엔드 투 엔드 NMS 없는 추론을 제공합니다 (출처)

이와 같은 엔드 투 엔드 시스템에서는 학습과 추론이 긴밀하게 연결됩니다. 나중에 예측을 수정할 외부 후처리 단계가 없으므로, 모델은 학습 과정에서 명확하고 확신도 높은 결정을 내리는 방법을 학습해야 합니다.

따라서 학습 목표와 추론 동작 간의 정렬이 특히 중요합니다. 모델을 학습하는 방식과 추론 시 모델을 사용하는 방식이 일치하지 않으면 학습이 불안정해지거나 수렴이 느려질 수 있습니다.

Ultralytics YOLO26은 처음부터 실제 사용 환경을 중심으로 학습 프로세스를 설계하여 이 문제를 해결합니다. 학습 시스템은 추론 속도에만 집중하는 대신 장시간 실행에서 안정적인 학습을 지원하고, Nano부터 Extra Large까지 다양한 모델 크기에서 일관된 수렴을 보장하며, 여러 데이터셋에서 강력한 성능을 발휘하도록 구축되었습니다.

Ultralytics YOLO26에서 두 개의 학습 헤드가 학습을 개선하는 방법#

Ultralytics YOLO26의 핵심 학습 혁신 중 하나는 이전 YOLO 모델에서 사용된 두 개의 헤드 학습 방식을 기반으로 합니다. 객체 감지 모델에서 헤드는 예측을 담당하는 네트워크의 일부를 의미합니다.

즉, 감지 헤드는 이미지에서 객체가 어디에 있는지와 해당 객체가 무엇인지 예측하는 방법을 학습합니다. 감지 헤드는 바운딩 박스 좌표를 회귀하여 입력 이미지에서 각 객체의 위치와 크기를 추정하는 방법을 학습합니다.

학습 중 모델은 손실을 최소화하면서 학습합니다. 손실은 예측이 정답 또는 ground truth에서 얼마나 벗어났는지를 나타내는 수치입니다. 손실이 낮으면 모델의 예측이 ground truth에 더 가깝다는 의미이며, 손실이 높으면 오류가 더 크다는 의미입니다. 손실 계산은 학습 중 모델이 파라미터를 업데이트하는 방식을 안내합니다.

Ultralytics YOLO26은 학습 중 동일한 기반 모델을 공유하지만 서로 다른 목적을 수행하는 두 개의 감지 헤드를 사용합니다. 일대일 헤드는 추론 시 사용되는 헤드입니다. 이 헤드는 각 객체를 하나의 확신도 높은 예측과 연결하는 방법을 학습하며, 이는 YOLO26의 엔드 투 엔드 NMS 없는 설계에 필수적입니다.

반면 일대다 헤드는 학습 중에만 사용됩니다. 이 헤드는 여러 예측을 동일한 객체와 연결할 수 있도록 하여 더 조밀한 지도 신호를 제공합니다. 이러한 풍부한 학습 신호는 특히 초기 단계에서 학습을 안정화하고 정확도를 향상하는 데 도움이 됩니다.

Ultralytics YOLO26에서는 두 헤드 모두 박스 회귀와 분류에 동일한 손실 계산을 사용합니다. 이전 구현에서는 학습 전체에 걸쳐 이 두 손실 신호 사이에 고정된 균형을 적용했습니다.

하지만 실제로는 시간이 지남에 따라 각 헤드의 중요도가 달라집니다. 조밀한 지도는 초기에 가장 유용한 반면, 학습 후반에는 추론 동작과의 정렬이 더욱 중요해집니다. Ultralytics YOLO26은 이러한 통찰을 바탕으로 설계되었으며, 이는 학습이 진행됨에 따라 학습 신호의 균형을 다시 조정하는 방식으로 직접 이어집니다.

Ultralytics YOLO26은 Progressive Loss Balancing을 사용합니다#

그렇다면 Ultralytics YOLO26은 학습 중 변화하는 이러한 학습 요구 사항을 어떻게 처리할까요? 학습 신호의 가중치를 시간에 따라 조정하는 Progressive Loss Balancing을 사용합니다.

ProgLoss는 학습이 진행됨에 따라 각 헤드가 전체 손실에 기여하는 정도를 동적으로 변경합니다. 초기에는 학습을 안정화하고 재현율을 향상하기 위해 일대다 헤드에 더 높은 가중치를 둡니다. 학습이 계속되면 균형이 점차 일대일 헤드 쪽으로 이동하여 학습을 추론 동작에 더욱 긴밀하게 맞춥니다.

이러한 점진적인 전환을 통해 Ultralytics YOLO26은 올바른 순서로 학습할 수 있습니다. Progressive Loss Balancing은 모델이 상충하는 목표를 한꺼번에 최적화하도록 강요하는 대신 학습의 각 단계에서 가장 유용한 학습 신호를 우선시합니다. 그 결과 수렴이 더욱 원활해지고, 불안정한 학습 실행이 줄어들며, 최종 성능이 더욱 일관되게 유지됩니다.

STAL이 Ultralytics YOLO26의 작은 객체 학습을 돕는 방법#

Ultralytics YOLO26의 또 다른 흥미로운 학습 개선은 모델이 예측에 학습 타깃을 할당하는 방식에서 비롯됩니다. 이 프로세스를 레이블 할당이라고 합니다. 레이블 할당은 ground truth 객체를 흔히 앵커라고 부르는 후보 예측과 매칭하는 역할을 합니다.

이러한 매칭은 어떤 예측이 지도 신호를 받고 손실에 기여하는지를 결정합니다. Ultralytics YOLO26은 Task Alignment Learning (TAL)이라는 기존 레이블 할당 방식을 기반으로 하며, 이 방식은 학습 중 분류와 위치 지정의 정렬을 개선하도록 설계되었습니다.

TAL은 대부분의 객체에서 잘 작동하지만, 학습 과정에서 중요한 한계가 드러났습니다. 매칭 과정에서 매우 작은 객체가 완전히 제외될 수 있었습니다. 실제로 640픽셀 입력 이미지에서 약 8픽셀보다 작은 객체는 앵커 할당을 전혀 받지 못하는 경우가 많았습니다. 이 경우 모델은 해당 객체에 대한 지도 신호를 거의 또는 전혀 받지 못하므로, 객체를 안정적으로 감지하는 방법을 학습하기 어려워집니다.

이 문제를 해결하기 위해 Ultralytics YOLO26은 Small-Target-Aware Label Assignment (STAL)을 도입합니다. STAL은 학습 중 작은 객체가 무시되지 않도록 할당 프로세스를 수정합니다. 구체적으로 8픽셀보다 작은 객체에 최소 4개의 앵커 할당을 강제합니다. 이를 통해 아주 작은 객체도 학습 손실에 일관되게 기여할 수 있습니다.

작은 타깃에 대한 지도 신호를 강화함으로써 STAL은 작거나 먼 객체가 자주 등장하는 상황에서 학습 안정성과 감지 성능을 향상합니다. 이러한 개선은 항공 이미지, 로보틱스, 사물 인터넷 (IoT) 시스템과 같은 엣지 우선 YOLO26 애플리케이션에서 특히 중요합니다. 이러한 환경에서는 객체가 작거나 멀리 있거나 부분적으로만 보이는 경우가 많으며, 안정적인 감지가 매우 중요하기 때문입니다.

Ultralytics YOLO26은 MuSGD 옵티마이저를 도입합니다#

더욱 안정적이고 예측 가능한 학습을 지원하기 위해 Ultralytics YOLO26은 MuSGD라는 새로운 옵티마이저도 도입합니다. 이 옵티마이저는 엔드 투 엔드 감지 모델에서 수렴과 학습 안정성을 향상하도록 설계되었으며, 특히 모델 크기와 학습 복잡도가 증가할수록 그 효과가 큽니다.

신경망이 학습하면서 학습된 가중치를 그에 맞게 변경하려면 오류를 계산해야 하며, 이를 '손실'이라고도 합니다. 따라서 모델은 손실 값을 사용해 예측이 얼마나 틀렸는지 측정하고, 파라미터가 어떻게 변경되어야 하는지를 나타내는 그래디언트를 계산한 다음, 오류를 줄이도록 해당 파라미터를 업데이트합니다. 확률적 경사 하강법 (SGD)은 이러한 업데이트를 수행하는 널리 사용되는 옵티마이저로, 학습을 효율적이고 확장 가능하게 만듭니다.

그림 3. 확률적 경사 하강법과 경사 하강법 비교 (출처)

MuSGD는 대규모 언어 모델 학습에 사용되는 방법인 Muon에서 영감을 받은 최적화 아이디어를 통합하여 이러한 익숙한 기반을 확장합니다. 이러한 아이디어는 더욱 구조화된 파라미터 업데이트를 통해 향상된 학습 동작을 보여준 Moonshot AI의 Kimi K2와 같은 최근 발전의 영향을 받았습니다.

Ultralytics YOLO26은 하이브리드 업데이트 전략을 사용합니다. 일부 파라미터는 Muon에서 영감을 받은 업데이트와 SGD를 조합하여 업데이트하고, 나머지 파라미터에는 SGD만 사용합니다. 이를 통해 YOLO26은 최적화 프로세스에 추가적인 구조를 도입하면서도 SGD의 효과를 뒷받침해 온 견고성과 일반화 특성을 유지할 수 있습니다.

그 결과 최적화가 더욱 원활해지고 수렴이 빨라지며 모델 크기 전반에서 학습 동작이 더욱 예측 가능해집니다. 따라서 MuSGD는 Ultralytics YOLO26을 더 쉽게 학습하고 대규모 환경에서 더욱 안정적으로 만드는 핵심 요소입니다.

Ultralytics YOLO26의 학습 혁신이 갖는 의미#

Ultralytics YOLO26의 학습 혁신은 엔드 투 엔드, NMS 없는 설계 및 엣지 우선 설계와 같은 핵심 기능과 결합되어 모델을 더 쉽게 학습하고 대규모 환경에서 더욱 안정적으로 만듭니다. 이것이 컴퓨터 비전 애플리케이션에 실제로 어떤 의미인지 궁금하실 수 있습니다.

그림 4. YOLO26의 주요 기능 살펴보기 (출처)

실제로 이러한 기능은 컴퓨터 비전을 실제로 실행되는 환경에 더욱 쉽게 적용할 수 있도록 합니다. 모델은 더욱 예측 가능하게 학습되고, 다양한 크기에서 더욱 일관되게 확장되며, 새로운 데이터셋에 더 쉽게 적용할 수 있습니다. 이는 원시 성능만큼 안정성과 효율성이 중요한 환경에서 실험과 배포 사이의 마찰을 줄여 줍니다.

예를 들어 로보틱스 및 산업용 비전 애플리케이션에서는 환경, 센서 또는 작업이 변경됨에 따라 모델을 자주 재학습해야 하는 경우가 많습니다. Ultralytics YOLO26을 사용하면 팀은 불안정한 학습 실행이나 모델 크기별 일관되지 않은 동작을 걱정하지 않고 더 빠르게 반복 개선할 수 있습니다.

핵심 요점#

안정적인 컴퓨터 비전 시스템은 모델이 추론 시 얼마나 잘 작동하는지뿐만 아니라 어떻게 학습되는지에도 크게 좌우됩니다. Ultralytics YOLO26은 학습 신호의 균형을 조정하고, 작은 객체를 처리하며, 최적화를 진행하는 방식을 개선하여 학습을 더욱 안정적이고 확장하기 쉽게 만듭니다. 안정적인 학습에 초점을 맞춤으로써 팀은 특히 엣지 우선 애플리케이션에서 실험부터 실제 배포까지 더욱 원활하게 진행할 수 있습니다.

AI에 대해 알아보고 싶으신가요? GitHub 저장소를 방문하여 자세히 알아보세요. 활발한 커뮤니티에 참여하고 물류 분야의 AI 및 자동차 산업의 비전 AI와 같은 분야의 혁신에 대해 알아보세요. 지금 컴퓨터 비전을 시작하려면 라이선스 옵션을 확인해 보세요.