Model Soups

Model Soups는 동일한 사전 학습된 기본 모델에서 서로 다른 하이퍼파라미터를 사용하여 미세 조정(fine-tuning)된 여러 신경망의 가중치를 평균화하여 단일하고 더욱 강력한 모델을 만드는 머신러닝 기법을 의미합니다. 이 접근 방식을 사용하면 추론(inference) 중 계산 비용을 증가시키지 않으면서도 전반적인 정확도와 일반화 성능을 향상할 수 있습니다.

모델을 미세 조정할 때, 실무자들은 일반적으로 가장 우수한 성능을 보이는 구성을 찾기 위해 광범위한 하이퍼파라미터 튜닝 스윕을 실행합니다. 전통적으로는 단 하나의 가장 우수한 모델만 선택하고 나머지는 폐기합니다. 그러나 모델 수프를 생성하면 스윕에 포함된 모든 모델이 학습한 다양한 특성을 활용할 수 있습니다. 모델 가중치를 직접 평균화함으로써, 결과로 생성되는 네트워크는 종종 단일 최적 모델보다 뛰어난 성능을 발휘하며, 과적합을 최소화하면서 장점을 효과적으로 결합합니다. 이 과정은 매우 효율적이며 Ultralytics 플랫폼과 같은 협업 환경 내에서 쉽게 관리할 수 있습니다.

실제 애플리케이션 사례#

Model Soups는 컴퓨팅 자원이 제한적이지만 높은 정확도와 견고성이 요구되는 시나리오에서 매우 효과적입니다.

• 자율주행 차량 비전: 자율주행차에 객체 검출 시스템을 배포할 때, 모델은 다양한 조명 및 기상 조건에서 일반화할 수 있어야 합니다. 다양한 데이터 증강 및 학습률로 훈련된 여러 모델을 평균화함으로써 엔지니어는 낮은 추론 지연 시간을 유지하는 매우 견고한 수프를 생성합니다. 이를 통해 자율주행 내비게이션에 필수적인 실시간 처리 속도가 저하되지 않도록 보장합니다.
• 모바일 의료 진단: 초기 피부과 검진을 위해 스마트폰에서 이미지 분류를 실행하는 등의 엣지 AI 응용 프로그램에서는 연산 능력이 극도로 제한됩니다. 모델 수프는 임상적 신뢰성에 필요한 향상된 정확도를 제공하는 동시에, 배터리를 소모하거나 클라우드 연결을 요구하지 않고도 최종 용량이 모바일 엣지 디바이스에 쉽게 맞도록 보장합니다.

관련 개념 구별하기#

딥러닝 최적화의 지형을 탐색할 때, 모델 수프를 유사한 기법과 구별하는 것이 중요합니다:

• 모델 앙상블: 앙상블은 여러 독립 모델의 예측(출력)을 결합합니다. 이는 정확도를 향상시키지만, 추론 중에 모든 모델을 실행해야 하므로 연산 비용이 곱절로 증가합니다. 모델 수프는 추론 전에 가중치를 평균화하므로 연산 비용이 단일 모델과 동일하게 유지됩니다.
• 모델 병합: 이는 완전히 다른 작업이나 데이터셋에서 훈련되었을 수 있는 모델들을 결합하기 위한 더 포괄적인 용어입니다. 모델 수프는 모든 모델이 정확히 동일한 사전 훈련된 베이스 아키텍처에서 유래하고 동일한 타겟 작업에 대해 미세 조정되는 병합의 특정 하위 집합입니다.

구현 예시#

균일한 모델 수프를 생성하려면 여러 훈련된 모델의 PyTorch 상태 딕셔너리에 액세스하여 수학적으로 텐서를 평균화해야 합니다. 아래는 PyTorch 프레임워크가 기본적으로 지원하는 Ultralytics YOLO26 워크플로우를 사용하여 이를 달성할 수 있는 간결한 예시입니다.

import torch

# Load the PyTorch state dictionaries from two fine-tuned YOLO26 models
model1 = torch.load("yolo26_run1.pt")["model"].state_dict()
model2 = torch.load("yolo26_run2.pt")["model"].state_dict()

# Create a uniform model soup by averaging the model weights
soup_dict = {key: (model1[key] + model2[key]) / 2.0 for key in model1.keys()}

# The resulting soup_dict can now be loaded into a new YOLO26 instance

이 기법을 활용함으로써 컴퓨터 비전 실무자는 현대적인 엣지 우선 AI 아키텍처에 필요한 배포 속도를 희생하지 않고도 제로 샷 학습 기능 및 일반적인 견고성과 같은 성능 지표를 쉽게 향상시킬 수 있습니다.