Ensemble

앙상블 학습은 같은 작업을 수행하는 여러 모델을 학습하고 투표, 평균 또는 학습된 결합기를 통해 예측을 결합해 하나의 출력을 생성합니다. 일반적으로 이 출력은 개별 모델 하나보다 정확하고 안정적입니다. 모델마다 서로 다른 오류를 내기 때문에 예측을 결합하면 각 모델의 오류 일부가 상쇄됩니다. Anders Krogh와 Jesper Vedelsby는 1995년 평균 회귀 모델에서 이 관계를 엄밀하게 입증했습니다. 앙상블의 제곱 오차는 구성 모델의 평균 오차에서 앙상블과 각 모델 간 평균 불일치도를 뺀 값이므로, 평균 앙상블은 구성 모델의 평균보다 나빠지지 않습니다. 앙상블 성능을 높이는 요인은 구성 모델 간 다양성입니다.

배깅, 부스팅, 스태킹#

머신러닝에서 대부분의 앙상블은 세 가지 계열로 나뉘며, 각 계열은 편향-분산 트레이드오프의 서로 다른 측면에 작용합니다.

배깅은 부트스트랩 집계를 줄인 말로, Leo Breiman이 1996년에 도입했습니다. 각 구성 모델은 학습 세트에서 복원 추출한 부트스트랩 샘플을 사용해 독립적으로 학습되며, 결과를 평균하거나 투표로 집계해 주로 분산을 줄입니다. 배깅은 깊은 의사결정 트리처럼 불안정한 학습기에 적합합니다. Breiman이 2001년에 제안한 랜덤 포레스트는 각 분기에서 특징의 무작위 부분집합을 추가해 트리 간 유사성을 더 낮춥니다.

부스팅은 구성 모델을 순차적으로 학습하며, 각 모델은 현재까지의 앙상블이 잘못 예측한 항목에 집중해 주로 편향을 줄입니다. Yoav Freund와 Robert Schapire가 개발한 AdaBoost는 다음 약한 학습기를 학습하기 전에 오분류된 예제의 가중치를 높입니다. Jerome Friedman의 그래디언트 부스팅은 각 새 트리를 손실 함수의 그래디언트에 맞추는 방식으로, XGBoost, LightGBM, CatBoost의 기반이 되었습니다. 이 모델들은 많은 테이블형 데이터셋에서 여전히 가장 강력한 성능을 보입니다.

스태킹 또는 스택 일반화는 David Wolpert가 1992년에 제안했습니다. 메타 모델은 대개 로지스틱 회귀이며, 홀드아웃 폴드에 대한 예측을 바탕으로 이질적인 기본 모델의 출력을 결합하는 방법을 학습합니다. 홀드아웃 예측의 신뢰도가 가장 높은 모델에 더 큰 가중치를 부여합니다.

이 scikit-learn 예제에서는 유방암 진단 데이터셋에서 5겹 교차 검증을 사용해 단일 트리와 각 계열의 앙상블 하나씩을 비교합니다:

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import GradientBoostingClassifier, RandomForestClassifier, StackingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

X, y = load_breast_cancer(return_X_y=True)  # 569 tumors, 30 measurements each

forest = RandomForestClassifier(n_estimators=200, random_state=0)
boosting = GradientBoostingClassifier(random_state=0)
models = {
    "Single decision tree": DecisionTreeClassifier(random_state=0),
    "Bagging (random forest)": forest,
    "Boosting (gradient boosting)": boosting,
    # Stacking: a logistic regression learns how to combine the forest and the boosted trees
    "Stacking": StackingClassifier([("forest", forest), ("boosting", boosting)], LogisticRegression()),
}

for name, model in models.items():
    print(f"{name}: {cross_val_score(model, X, y, cv=5).mean():.3f}")

단일 트리의 점수는 0.917, 랜덤 포레스트는 0.960, 그래디언트 부스팅은 0.963, 스태킹 모델은 0.963입니다. 모든 앙상블은 트리의 오류를 대략 절반으로 줄입니다. 랜덤 포레스트가 오분류한 종양 23개 중 16개를 부스팅 트리도 오분류하므로, 스태킹은 성능이 더 좋은 구성 모델과 같은 점수를 냅니다. 메타 모델이 활용할 수 있는 불일치가 거의 없기 때문입니다.

딥러닝과 비전 분야의 앙상블#

딥 앙상블은 서로 다른 무작위 초기화로 여러 신경망을 학습하고 출력을 평균합니다. DeepMind의 Balaji Lakshminarayanan과 동료들은 2017년 이 방법이 정확도와 불확실성 정량화를 모두 개선한다는 사실을 보였습니다. 학습 데이터와 다른 입력에서 구성 모델 간 불일치가 가장 크게 나타나기 때문입니다. 객체 탐지에서는 여러 탐지기의 바운딩 박스를 모아 비최대 억제(NMS) 또는 가중 박스 융합으로 병합합니다. 가중 박스 융합은 신뢰도가 가장 높은 박스 하나만 남기는 대신 겹치는 박스의 평균을 계산합니다. 추론 비용보다 정확도가 중요한 의료 영상 분석과 경진대회에서는 서로 다른 아키텍처의 앙상블이 흔히 사용됩니다.

구성 모델을 추가할 때마다 비용이 늘어나므로 엣지 AI 디바이스에서 앙상블을 사용하는 데 제약이 생깁니다. 지식 증류는 이 문제를 해결하기 위한 방법 중 하나로 도입되었습니다. Geoffrey Hinton, Oriol Vinyals, Jeff Dean은 앙상블의 평균 출력을 모방하도록 단일 모델을 학습했습니다. 드롭아웃은 비용이 더 낮은 대안으로, 드롭아웃을 사용한 학습은 지수적으로 많은 축소된 서브네트워크의 평균을 근사합니다.

앙상블, 모델 수프, 전문가 혼합#

모델 앙상블은 보통 추론 단계에서 별도로 학습한 네트워크를 결합하는 방법을 의미하며, 딥러닝 앙상블 학습에서 가장 흔한 형태입니다. 모델 수프와 그 밖의 모델 병합 방법은 예측값 대신 가중치를 평균하므로 모델 하나의 비용으로 실행할 수 있습니다. 다만 동일한 사전 학습 가중치에서 파인튜닝한 모델에만 적용할 수 있습니다. 전문가 혼합(MoE)은 라우터가 각 입력을 전문가 몇 개에 전달하도록 전문가들을 공동 학습하므로, 전문가들이 작업 전체를 각각 해결하는 대신 특정 영역에 특화됩니다.

단일 학습 실행의 가중치를 평균하면 모델 하나의 비용으로 해당 실행의 체크포인트 앙상블을 근사할 수 있습니다. Pavel Izmailov와 동료들은 2018년 확률적 가중치 평균을 통해 이를 보였습니다. Ultralytics YOLO 학습은 모든 YOLO26 실행에 이 기법을 적용합니다. 최적화 단계마다 업데이트되고 감쇠율이 0.9999까지 점진적으로 증가하는 가중치의 지수 이동 평균을 유지하며, 원본 가중치 대신 평균값을 검증하고 best.pt 및 last.pt에 저장합니다.