Distributionally Robust Optimization

분포 강건 최적화(DRO)는 데이터 이면의 확률 분포가 불확실할 때 모델을 학습시키거나 의사결정을 내리는 방법입니다. 평균적인 학습 예제만을 최적화하는 대신, 분포 강건 최적화는 타당한 분포 집합을 고려하여 해당 집합 내에서 가장 까다로운 조건에서도 잘 작동하는 솔루션을 모색합니다. 직관적인 이유는 실용적입니다. 학습 중에 카메라가 야간 영상보다 주간 영상을 훨씬 더 많이 포착하는 경우, 높은 평균 성능이 어두운 곳에서의 저조한 결과를 가릴 수 있습니다.

분포 강건 최적화의 작동 방식#

일반적인 학습은 가정된 데이터 분포 하에서의 예측 오류에 대한 평균 페널티인 기대 손실을 최소화합니다. 분포 강건 최적화에서 알 수 없는 현실 세계의 분포는 가용 데이터를 바탕으로 타당하다고 간주되는 분포들의 모음인 모호성 집합으로 표현됩니다. 그런 다음 학습은 해당 집합 내의 분포들 중 가장 높은 기대 손실을 최소화합니다. 이는 모델이 마주할 수 있는 모든 변화가 아니라 지정된 종류의 불확실성으로부터 보호합니다.

모호성 집합은 “강건하다”는 것이 무엇을 의미하는지 결정합니다. 낮보다 밤의 이미지 수가 늘어나는 등 알려진 그룹의 비율이 변경되거나, 관측된 분포에서 선택된 통계적 거리 내에 있는 분포들을 포함할 수 있습니다. 와서스테인 거리는 하나의 분포를 다른 분포로 변환하기 위해 확률 질량의 얼마만큼을 얼마나 멀리 이동해야 하는지를 대략적으로 측정하며, SciPy의 와서스테인 거리 문서에서는 직관적인 일차원 설명을 제공합니다. 데이터 기반 강건 최적화에 관한 코넬 가이드는 데이터로부터 불확실성 설명을 구축하는 것에 대한 추가적인 맥락을 제공합니다.

더 큰 모호성 집합은 더 많은 변동에 대비할 수 있게 해주지만 일반적인 조건에서의 성능을 희생시킬 수 있습니다. 너무 작은 집합은 중요한 변화를 놓칠 수 있습니다. 따라서 그 범위를 선택하려면 단순히 편리한 수학적 설정뿐만 아니라 예상되는 배포 조건에 대한 지식이 필요합니다.

분포 강건 최적화가 관련 접근법들과 다른 점#

분포 강건 최적화는 두 가지 친숙한 개념 사이에 위치합니다. 기존의 강건 최적화는 불확실한 입력의 어려운 값들에 대비하며, 잠재적으로 특정 극단적 입력을 최악의 시나리오로 취급합니다. 대신 분포 강건 최적화는 최악의 타당한 확률 분포 하에서의 예상 결과를 고려합니다. 일반적인 경험적 학습은 관측된 분포를 평균 손실의 기반으로 취급합니다.

이는 또한 데이터 증강과도 다릅니다. 증강은 더 어둡거나 회전된 이미지와 같이 수정된 학습 예제를 생성하며, 그 자체로는 모호성 집합에 대해 최적화하지 않습니다. 분포 강건 최적화는 이러한 변동이 배포 조건을 타당하게 나타낼 때 증강을 보완할 수 있습니다. 마찬가지로 데이터 드리프트는 시간에 따라 데이터에서 관측된 변화를 설명합니다. 분포 강건 최적화는 배포 전에 선택된 변화를 예측하는 반면, 드리프트 모니터링은 그 이후에 실제로 발생하는 일을 확인합니다. 두 접근법 중 어느 것도 다른 접근법을 대체하지 않습니다.

컴퓨터 비전에서 중요한 이유#

차량과 보행자를 식별하는 도로 카메라 객체 검출 시스템을 고려해 보십시오. 이 시스템의 영상은 맑은 주간 장면에 의해 지배될 수 있는 반면, 비 오는 밤은 드물지만 중대합니다. 분포 강건 최적화 목적 함수는 문서화된 조명 및 날씨 조건의 다양한 혼합을 타당한 것으로 취급하여, 모델이 어려운 조건을 무시함으로써 전반적인 좋은 점수를 달성하는 것을 막을 수 있습니다. 그러나 데이터와 선택된 모호성 집합 모두에 없는 위험 요소의 인식을 보장할 수는 없습니다.

제조 결함 검출에서 카메라와 조명은 생산 라인마다 다를 수 있습니다. 평균 검사 정확도만으로 선택된 모델은 잘 대표되지 않는 라인의 결함을 놓칠 수 있습니다. 해당 라인들이 그룹으로 식별되는 경우, 그룹 기반 강건 목적 함수는 학습 샘플과 비율이 다를 때 성능을 강조할 수 있습니다. 이는 데이터셋 편향과 관련이 있지만, 분포 강건 최적화는 잘못된 라벨을 수정하거나 기록된 적 없는 결함의 예제를 생성하지 않습니다.

어떠한 애플리케이션의 경우에도 새로운 사이트로의 전이를 평가할 때 동일한 카메라나 사이트의 관련 이미지를 함께 유지하십시오. 그룹 인식 교차 검증은 학습 데이터와 검증 데이터 모두에 거의 동일한 장면이 나타나기 때문에 강력해 보이는 평가를 피하는 데 도움이 됩니다.

실용적인 Ultralytics 워크플로#

합리적인 시작점은 사용자 정의 분포 강건 최적화 목적 함수를 고려하기 전에 일반적인 학습 및 검증 베이스라인을 구축하는 것입니다. 문서화된 Ultralytics YOLO26 학습 워크플로는 내장된 COCO8 데모 데이터셋을 사용하는 이 간단한 예제를 지원합니다:

from ultralytics import YOLO

# Load pretrained detection weights.
model = YOLO("yolo26n.pt")

# Train a small baseline on the built-in example dataset.
model.train(data="coco8.yaml", epochs=3)

# Evaluate on the dataset's validation split.
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)

출력은 전체 검출 평균 정밀도(mAP)이며, 분포 강건 최적화 점수나 강건성의 증거가 아닙니다. COCO8은 실제 배포 조건 전반의 성능을 추정하기 위한 것이 아니라 워크플로를 연습하는 데 유용합니다. 실제 프로젝트의 경우 대표성 있고 별도로 라벨이 지정된 조건을 준비하고, 각 관련 홀드아웃 세트에서 YOLO 검증 모드를 사용하여 전체 결과와 조건별 결과를 모두 비교하십시오.

실제 분포 강건 최적화 목적 함수를 구현하려면 모호성 집합을 정의하고 학습 손실이 최적화되는 방식을 변경해야 합니다. 문서화된 사용자 정의 트레이너 워크플로는 확장 포인트를 제공하지만, 위의 베이스라인 코드는 분포 강건 최적화를 구현하지 않습니다. 클라우드 어노테이션, 학습 및 배포를 관리하는 팀은 Ultralytics 플랫폼을 사용하여 해당 광범위한 워크플로를 구성할 수 있습니다.

올바른 보호 선택 및 확인#

구체적인 질문으로 시작하십시오: 어떤 변화가 타당하며, 어떤 오류를 유발할 것인가? 관련 카메라, 사이트 또는 조건에서 예제를 수집하고, 독립된 테스트 그룹을 유지하며, 평균과 함께 최악의 조건 결과를 비교하십시오. 일반화에 대한 Google의 지침은 대표성이 없는 학습 세트가 오해를 불러일으키는 이유를 설명하며, NIST AI 위험 관리 프레임워크의 측정 지침은 맥락에 적절한 평가의 중요성을 강조합니다.

배포 후 학습 데이터와 서빙 데이터 간의 변화를 모니터링하십시오. 분포 강건 최적화는 모호성 집합이 신뢰할 수 있는 불확실성을 반영할 때 가장 유용하며, 건전한 데이터 수집, 세심한 평가 또는 지속적인 모니터링을 대체할 수 없습니다.