앙상블

앙상블 방법은 여러 개별 모델을 결합하여 우수한 단일 예측 모델을 생성하는 머신러닝(ML) 의 강력한 기법입니다. 핵심 아이디어는 여러 모델의 '지혜'를 모아서 최종 예측이 단일 구성 모델의 예측보다 더 정확하고 안정적이며 강력해진다는 것입니다. 이 접근 방식은 다양한 전문가 그룹으로부터 조언을 구하는 것과 유사하며, 집단적 결정이 개별 전문가의 의견보다 더 나은 경우가 많습니다. 이러한 기법은 과적합을 줄이고 보이지 않는 데이터에 대한 모델의 일반화를 개선하는 데 매우 효과적입니다.

앙상블 작동 방식

앙상블 학습에는 다양한 기본 모델 그룹을 학습한 다음 예측을 결합하는 두 가지 주요 단계가 포함됩니다. 기본 모델 간의 다양성은 매우 중요하며, 모든 모델이 동일한 오류를 범하면 앙상블은 아무런 개선 효과를 제공하지 못합니다. 이러한 다양성은 서로 다른 알고리즘을 사용하거나, 학습 데이터의 서로 다른 하위 집합을 학습하거나, 서로 다른 하이퍼파라미터를 사용하여 달성할 수 있습니다.

모델이 학습되면 예측이 집계됩니다. 분류 작업의 경우 투표 메커니즘(예: 가장 많은 표를 얻은 클래스가 승리)을 통해 이 작업을 수행하는 경우가 많습니다. 회귀 작업의 경우, 예측은 일반적으로 평균을 구합니다. 그 결과 결합된 모델이 더 나은 성능을 보이는 경우가 많으며, 이는 콘도르셋 배심원 정리에서 탐구된 개념입니다.

일반적인 앙상블 기법

효과적인 앙상블을 만들기 위한 몇 가지 인기 있는 방법이 있습니다:

• 배깅(부트스트랩 집계): 이 기법은 훈련 데이터의 서로 다른 무작위 하위 집합에 대해 여러 모델(예: 의사 결정 트리)을 훈련하는 것을 포함합니다. 랜덤 포레스트 알고리즘은 배깅의 잘 알려진 구현입니다.
• 부스팅: 모델은 순차적으로 학습되며, 각각의 새로운 모델은 이전 모델의 오류를 수정하는 데 중점을 둡니다. 대표적인 부스팅 알고리즘으로는 AdaBoost, 그라디언트 부스팅, XGBoost, LightGBM 등이 있습니다.
• 스태킹(스택 일반화): 이 방법은 여러 가지 모델(기본 학습자)을 학습시키고 다른 머신 러닝 모델 (메타 학습자)을 사용하여 예측을 가장 잘 결합하는 방법을 학습하는 것입니다.
• 투표 및 평균화: 가장 간단한 방법으로, 최종 예측은 과반수 투표(하드 투표) 또는 모든 모델에서 예측된 확률의 평균(소프트 투표)으로 이루어집니다. Ultralytics YOLO 모델은 모델 조합 기능을 통해 평균화 방식을 지원합니다.

실제 애플리케이션

앙상블 방식은 높은 정확도가 가장 중요한 중요한 애플리케이션에서 널리 사용됩니다:

1. 의료 이미지 분석: 종양 탐지와 같은 작업에서는 컨볼루션 신경망(CNN) 의 앙상블을 사용할 수 있습니다. 각 CNN은 의료 스캔의 서로 다른 하위 집합 또는 서로 다른 아키텍처로 학습될 수 있습니다. 이러한 결과물을 결합함으로써 시스템은 보다 신뢰할 수 있고 정확한 진단을 내릴 수 있으며, 의료 영상과 같은 애플리케이션에서 오탐 또는 양성의 위험을 줄일 수 있습니다.
2. 자율 주행 시스템: 자율주행 차량의 경우 안정적인 물체 감지는 안전의 문제입니다. 앙상블은 YOLOv8과 YOLO11과 같은 서로 다른 모델 또는 서로 다른 데이터 증강 전략으로 학습된 모델을 결합할 수 있습니다. 이 접근 방식은 단일 모델이 보행자나 장애물을 감지하지 못할 위험을 완화하여 보다 강력한 인식 시스템을 구축할 수 있습니다.

앙상블과 관련 개념

앙상블 메서드를 다른 관련 개념과 구별하는 것이 유용합니다:

• 모델 앙상블: 이 용어는 종종 "앙상블"과 같은 의미로 사용됩니다. "앙상블"은 일반적인 기법을 의미하지만, 모델 앙상블은 일반적으로 학습된 특정 모델 인스턴스를 결합하는 실제 구현을 의미합니다. 기본 원리는 동일합니다.
• 전문가 혼합(MoE): 둘 다 여러 모델을 사용하지만 그 메커니즘은 다릅니다. 앙상블은 모든 입력에 대해 모든 모델의 예측을 결합합니다. 반면, 전문가 혼합(MoE) 모델은 게이팅 네트워크를 사용하여 각 예측에 대해 모델의 하위 집합만 사용하여 특정 입력에 가장 적합한 '전문가' 모델을 동적으로 선택합니다.

앙상블은 모델 훈련과 배포에 복잡성과 계산 오버헤드를 추가하지만, 성능 향상은 종종 그 비용을 정당화합니다. Ultralytics HUB와 같은 플랫폼은 PyTorch 또는 TensorFlow와 같은 프레임워크로 구축된 여러 모델의 관리를 간소화하여 강력한 앙상블을 간단하게 만들 수 있습니다.