앙상블 학습과 AI 및 ML에서의 역할 살펴보기

이 글에서 다룬 개념을 시각적으로 설명하는 내용은 아래 동영상에서 확인할 수 있습니다.

추천 엔진과 사기 탐지 시스템 같은 AI 혁신 기술은 머신러닝 알고리즘과 모델을 사용해 데이터를 기반으로 예측하고 의사결정을 내립니다. 이러한 모델은 패턴을 식별하고 추세를 예측하며 복잡한 작업의 자동화를 지원합니다.

하지만 단일 모델은 실제 데이터의 모든 세부 사항을 포착하지 못할 수 있습니다. 어떤 경우에는 성능이 좋더라도, 사기 탐지 모델이 새로운 유형의 거래를 놓치는 경우처럼 다른 상황에서는 기대에 못 미칠 수 있습니다.

AI 엔지니어가 머신러닝 모델을 구축하고 배포할 때 자주 마주하는 한계입니다. 어떤 모델은 학습 데이터를 지나치게 학습해 과적합되고, 다른 모델은 중요한 패턴을 놓쳐 과소적합됩니다. 앙상블 학습은 여러 모델, 즉 기본 학습기를 결합해 하나의 더 강력한 시스템을 구성함으로써 이러한 문제를 해결하는 데 도움이 되는 AI 기법입니다.

문제를 해결하기 위해 전문가 팀이 협력하는 상황을 떠올려 보세요. 이 글에서는 앙상블 학습의 개념과 작동 방식, 활용 분야를 살펴보겠습니다.

앙상블 학습이란 무엇인가요?#

앙상블 학습은 여러 모델을 결합해 동일한 문제를 해결하고 더 나은 단일 결과를 도출하는 기법 모음입니다. 지도 학습(모델이 레이블이 지정된 데이터로 학습하는 방식)과 비지도 학습(모델이 레이블이 없는 데이터에서 패턴을 찾는 방식) 모두에 적용할 수 있습니다.

예측을 하나의 모델에만 의존하는 대신, 앙상블은 각기 다른 방식으로 데이터를 살펴보는 여러 모델을 사용합니다. 모델의 출력을 결합하면 단일 모델만으로 달성할 수 있는 결과보다 정확하고 안정적이며 일반화 성능이 높은 결과를 얻는 경우가 많습니다.

같은 문제를 다루는 분석가 패널에 비유할 수 있습니다. 분석가 또는 개별 모델은 각기 다른 방식으로 데이터를 해석합니다.

한 분석가는 패턴에 집중하고, 다른 분석가는 이상 징후를 살펴보며, 또 다른 분석가는 맥락을 고려할 수 있습니다. 각 관점을 결합하면 개인의 판단보다 균형 잡히고 신뢰할 수 있는 결정을 내릴 수 있습니다.

이 접근법은 머신러닝의 가장 큰 과제 두 가지인 편향과 분산 문제를 해결하는 데도 도움이 됩니다. 편향이 큰 모델은 지나치게 단순해 중요한 패턴을 놓치고, 분산이 큰 모델은 지나치게 민감해 학습 데이터에 과적합됩니다. 앙상블 학습은 모델을 결합해 두 요소 사이의 균형을 찾아 새로운 미관측 데이터에 대한 시스템의 성능을 개선합니다.

앙상블 학습의 작동 방식 이해하기#

앙상블을 구성하는 각 모델은 기본 학습기 또는 기본 모델이라고 합니다. 사용하는 앙상블 기법에 따라 같은 알고리즘을 여러 개 사용하거나 서로 다른 알고리즘을 조합할 수 있습니다.

앙상블 학습에서 사용되는 다양한 모델의 일반적인 예는 다음과 같습니다.

• 의사결정 트리: 이 모델은 특성값을 기준으로 데이터를 여러 분기로 나누어 의사결정을 내립니다. 예를 들어 고객의 제품 구매 여부를 예측하는 분류 문제에서는 나이, 소득, 검색 기록과 같은 요소를 고려합니다.
• 신경망: 인간의 뇌가 정보를 처리하는 방식에서 영감을 얻은 신경망은 대부분의 최신 AI 및 머신러닝 모델을 구성하는 기본 아키텍처입니다.
• 서포트 벡터 머신(SVM): 이 알고리즘은 초평면이라고 하는 최적의 결정 경계를 찾아 데이터의 클래스를 분류하며, 각 클래스 사이의 마진을 최대화합니다. 즉, 그룹을 구분하면서 그룹 사이의 간격을 최대한 넓히는 최적의 선을 그립니다. 예를 들어 단어 빈도와 구조 같은 패턴을 바탕으로 이메일이 스팸인지 판별하는 데 사용할 수 있습니다.
• 로지스틱 회귀 모델: 확률을 추정하며 이진 분류 작업에 자주 사용됩니다. 대표적인 예로 거래가 사기인지 정상인지 예측하는 작업이 있습니다.

결합된 모델 앙상블은 일반적으로 강한 학습기라고 합니다. 약한 모델이라고도 하는 기본 학습기의 강점을 통합하고 약점을 최소화하기 때문입니다. 각 모델의 예측을 구조화된 방식으로 결합하며, 분류 작업에는 다수결 투표를, 회귀 작업에는 가중 평균을 사용해 더 정확한 최종 결과를 도출합니다.

그림 1. 앙상블 학습 예시(출처)

앙상블 학습을 사용해야 하는 경우#

다양한 앙상블 학습 기법을 살펴보기 전에, 머신러닝 또는 AI 프로젝트에서 이러한 접근법을 언제 사용해야 하는지 먼저 알아보겠습니다.

앙상블 학습은 단일 모델이 정확하거나 일관된 예측을 내리는 데 어려움을 겪을 때 가장 효과적입니다. 데이터가 복잡하거나 노이즈가 많거나 예측하기 어려운 상황에도 활용할 수 있습니다.

앙상블 기법이 특히 효과적인 일반적인 상황은 다음과 같습니다.

• 낮은 모델 정확도: 단일 모델의 예측을 충분히 신뢰하기 어려울 때 여러 모델을 결합하면 정확도와 성능을 크게 높일 수 있습니다. 예를 들어 신용 평가나 의료 진단에서는 예측 정확도가 조금만 개선되어도 큰 차이를 만들 수 있습니다.
• 노이즈가 많거나 일관성이 없는 데이터: 데이터세트에 이상치, 오류, 무작위 변동이 포함된 경우, 앙상블 학습은 여러 모델의 예측을 평균하거나 투표를 통해 이러한 불규칙성을 완화합니다.
• 견고성 필요: 앙상블 모델은 데이터의 작은 변화에 덜 민감하므로 실제 입력이 달라질 수 있는 프로덕션 환경에서 더 안정적이고 신뢰할 수 있습니다.
• 복잡한 예측 작업: 이미지 인식, 사기 탐지, 시계열 예측과 같은 작업에서 앙상블은 단일 모델보다 더 다양한 패턴과 관계를 포착합니다.

다만 단일 모델의 성능이 이미 우수하다면 단일 모델을 선택하는 것이 더 나은 경우가 많습니다. 학습하기 더 간단하고 해석하기 쉬우며 유지보수 속도도 더 빠르기 때문입니다. 앙상블을 사용하기 전에 추가로 필요한 시간, 컴퓨팅 성능, 복잡성과 정확도 향상 효과를 비교해 보는 것이 중요합니다.

앙상블 학습 기법 개요#

이제 머신러닝 프로젝트에 앙상블 학습을 적용하는 주요 방법을 살펴보겠습니다. 모델을 결합하는 데 사용되는 핵심 기법은 여러 가지이며, 각 기법은 서로 다른 방식으로 성능을 개선합니다. 가장 일반적인 앙상블 방법은 배깅, 부스팅, 스태킹, 블렌딩입니다.

배깅#

배깅은 부트스트랩 집계(bootstrap aggregating)의 약자로, 데이터의 서로 다른 부분을 사용해 같은 모델을 여러 개 학습시켜 모델의 안정성과 정확도를 높이는 앙상블 학습 방법입니다.

각 하위 집합은 복원 추출 방식으로 데이터 포인트를 무작위 선택하는 부트스트랩 샘플링으로 생성합니다. 즉, 데이터 포인트를 하나 선택한 뒤 다음 포인트를 뽑기 전에 다시 풀에 넣으므로 같은 포인트가 여러 번 포함될 수 있고, 일부 포인트는 선택되지 않을 수 있습니다. 이렇게 무작위성을 적용하면 각 모델이 데이터세트의 조금씩 다른 버전으로 학습됩니다.

추론 단계에서는 학습된 모든 모델이 병렬로 실행되어 새로운 미관측 데이터에 대한 예측을 수행합니다. 각 모델은 학습한 내용을 바탕으로 자체 출력을 생성하고, 개별 예측을 결합해 최종 결과를 만듭니다.

주택 가격이나 매출 예측과 같은 회귀 작업에서는 일반적으로 모든 모델의 출력을 평균해 더 안정적인 추정치를 얻습니다. 거래가 사기인지 여부를 판별하는 것과 같은 분류 작업에서는 앙상블이 다수결로 최종 클래스를 결정하는 경우가 많습니다.

배깅의 실제 적용: 랜덤 포레스트 알고리즘#

배깅이 효과적인 대표적인 사례는 의사결정 트리입니다. 의사결정 트리는 단일 데이터세트로 학습하면 쉽게 과적합될 수 있습니다. 조금씩 다른 샘플로 여러 트리를 학습시키고 결과를 결합하면 배깅을 통해 과적합을 줄이고 신뢰성을 높일 수 있습니다.

랜덤 포레스트 알고리즘을 예로 들어 보겠습니다. 랜덤 포레스트는 의사결정 트리를 앙상블한 것으로, 각 트리는 학습 데이터세트의 무작위 하위 집합과 특성의 무작위 하위 집합을 사용해 학습됩니다.

특성을 무작위로 선택하면 트리 간 상관성이 낮아지고 전체 모델의 안정성과 정확도가 높아집니다. 랜덤 포레스트 알고리즘은 이미지 분류, 사기 탐지, 고객 이탈 예측, 매출 예측, 부동산 가격 추정 등에 사용할 수 있습니다.

그림 2. 랜덤 포레스트 알고리즘 살펴보기(출처)

부스팅#

부스팅은 여러 약한 학습기(모델)를 병렬로 학습하는 대신 차례로 학습시켜 성능을 개선하는 또 다른 앙상블 학습 기법입니다. 부스팅의 핵심 개념은 새 모델이 이전 모델의 실수로부터 학습하면서 전반적인 모델 성능을 점진적으로 개선하는 것입니다.

독립적인 모델의 예측을 평균해 분산을 줄이는 배깅과 달리, 부스팅은 이전 모델이 어려움을 겪은 사례에 새 모델이 더 집중하도록 해 편향을 줄입니다.

부스팅 모델은 순차적으로 학습되므로 최종 예측을 결합하는 방식이 다른 앙상블 방법과 약간 다릅니다. 각 모델은 학습 중 성능에 비례해 최종 예측에 기여하며, 정확도가 높은 모델에 더 큰 가중치가 부여됩니다.

회귀 작업에서는 일반적으로 모든 모델 예측의 가중합을 최종 결과로 사용합니다. 분류 작업에서는 알고리즘이 모델의 가중 투표를 결합해 최종 클래스를 결정합니다. 이 접근법은 정확도가 높은 모델에 더 큰 가중치를 주면서 다른 모델의 결과에서도 학습해 전반적으로 강력한 모델을 만드는 데 도움이 됩니다.

일반적인 부스팅 알고리즘의 유형은 다음과 같습니다.

• AdaBoost(적응형 부스팅): 이 방법은 작은 의사결정 트리와 같은 간단한 모델을 학습하는 것으로 시작한 다음, 오분류된 데이터 포인트의 가중치를 높입니다. 이렇게 높아진 가중치를 적용하면 다음 모델이 어려운 사례에 더 집중합니다. 여러 차례 반복하면서 모델들이 서로의 결과를 바탕으로 학습하고, 결합된 예측으로 더 강력하고 정확한 결과를 도출합니다. 예를 들어 AdaBoost는 스팸 탐지나 얼굴 인식의 정확도를 개선할 수 있습니다.
• 그래디언트 부스팅: 샘플의 가중치를 다시 조정하는 대신, 각 새 모델이 이전 모델에서 발생한 잔차 오류, 즉 실제값과 예측값의 차이를 보정하도록 학습합니다. 이러한 반복적 접근법은 매출 예측 및 신용 평가와 같은 회귀와 분류 작업 모두에 효과적입니다.
• XGBoost(극단적 그래디언트 부스팅): 이 고급 그래디언트 부스팅 버전은 속도와 정확도를 모두 향상합니다. 학습 중 지나치게 복잡한 모델에 약간의 페널티를 부과하는 정규화를 사용해 데이터 암기 대신 의미 있는 패턴에 집중하도록 합니다. 모델을 순차적으로 학습하는 방식은 유지하면서도 트리 구성 과정에 병렬화를 적용해 속도를 높입니다. 여러 CPU 코어에서 가능한 분할 지점을 동시에 다수 평가할 수 있습니다. 따라서 특히 대규모 데이터셋에서 높은 예측 성능을 유지하면서 학습 시간을 크게 단축합니다.

그림 3. 당뇨병 위험 예측을 위해 부스팅 방식으로 학습한 의사결정 트리 기반(DTB) 분류기 예시. (출처)

스태킹#

스태킹은 스태킹 일반화라고도 하며, 여러 모델의 예측을 메타 학습기라고 하는 최종 모델의 입력으로 사용해 한 단계 더 나아가는 기법입니다. 각자 의견을 내는 전문가 집단이 있고, 최종 의사결정자가 각 의견의 가중치를 학습해 최선의 결정을 내리는 과정이라고 생각할 수 있습니다.

예를 들어, 한 모델은 사기 탐지에 뛰어나고 다른 모델은 고객 이탈 예측에 더 뛰어날 수 있습니다. 메타 학습기는 각 모델의 성능을 살펴보고 강점을 함께 활용해 더 정확한 최종 예측을 생성합니다.

블렌딩#

블렌딩은 여러 모델의 예측을 결합해 최종 결정을 내린다는 점에서 스태킹과 비슷하지만, 더 간단하고 빠른 방식을 사용합니다. 스태킹처럼 교차 검증(모델의 신뢰도를 높이기 위해 데이터를 여러 부분으로 나누고 학습 및 테스트에 번갈아 사용하는 방법)을 사용하는 대신, 블렌딩은 홀드아웃 세트라고 하는 소량의 데이터를 따로 떼어 둡니다.

기본 모델은 나머지 데이터로 학습한 다음, 이전에 본 적이 없는 홀드아웃 세트에 대해 예측합니다. 이렇게 하면 실제 정답 또는 참 레이블과 각 기본 모델이 생성한 예측이라는 두 가지 핵심 정보를 얻을 수 있습니다.

그런 다음 이러한 예측을 블렌딩 모델 또는 메타 모델이라고 하는 다른 모델에 전달합니다. 이 최종 모델은 각 기본 모델 예측의 정확도를 살펴보고 이를 최선의 방식으로 결합하는 방법을 학습합니다.

블렌딩은 이 과정을 여러 번 반복하는 대신 한 번의 학습 및 테스트 분할에만 의존하므로 실행 속도가 빠르고 설정하기도 쉽습니다. 다만 학습에 사용할 정보가 약간 적어 정확도가 조금 떨어질 수 있습니다.

앙상블 알고리즘 평가#

앙상블 학습에서는 모델이 이전에 본 적이 없는 데이터에서 얼마나 잘 작동하는지 평가하는 것이 중요합니다. 기법이 아무리 고도화되어도 일반화 능력을 확인하기 위해 테스트해야 합니다. 즉, 학습 데이터를 단순히 암기하는 것이 아니라 새롭고 실제적인 사례에 대해 정확하게 예측해야 합니다.

AI 모델 평가에 사용되는 일반적인 성능 지표는 다음과 같습니다.

• 정확도: 이 지표는 모델이 수행한 전체 예측 중 올바른 예측의 비율을 측정합니다. 전반적인 성능을 빠르게 파악할 수 있습니다.
• 정밀도: 양성으로 예측한 샘플 중 실제로 양성인 샘플이 얼마나 되는지를 나타냅니다. 정밀도가 높으면 모델의 거짓 양성 오류가 적다는 뜻입니다.
• 재현율: 이 지표는 실제 양성 사례 중 모델이 정확하게 식별한 사례가 얼마나 되는지에 초점을 둡니다. 질병 진단과 같은 양성 사례를 놓치면 심각한 결과로 이어질 수 있는 의료 분야에서 특히 중요합니다.

앙상블 학습의 실제 적용 사례#

지금까지 앙상블 학습의 작동 방식과 그 기반이 되는 기법을 살펴보았습니다. 이제 이 접근 방식이 어떤 분야에 영향을 미치고 있는지 알아보겠습니다.

앙상블 학습이 일반적으로 적용되는 주요 분야는 다음과 같습니다.

• 데이터 분석 및 예측: 비즈니스와 분석 분야에서 앙상블 모델은 여러 모델의 인사이트를 결합해 조직이 더 나은 예측을 수행하도록 지원합니다. 이를 통해 매출 예측의 정확도를 높이고, 수요 계획을 개선하며, 고객 행동을 더 명확하게 이해할 수 있습니다.
• 이진 분류: 스팸 탐지, 사기 방지, 의료 진단과 같은 작업에서는 두 가지 가능한 결과를 구분해야 하는 경우가 많습니다. 앙상블 모델은 거짓 양성과 거짓 음성을 줄이는 데 도움을 주며, 이는 사이버 보안과 의료 등의 분야에서 특히 중요합니다.
• 회귀 문제: 주택 가격, 매출, 신용 위험과 같은 연속 값을 예측할 때 앙상블 기법은 데이터 내 복잡한 관계를 포착합니다. 이를 통해 더 정확한 예측을 생성하여 재무 및 운영 관련 의사결정을 개선합니다.

앙상블 학습으로 정형 데이터를 넘어 확장하기#

앙상블 학습은 숫자형 또는 범주형 정보가 포함된 스프레드시트와 같은 정형 데이터나 표 형식 데이터에 가장 흔히 사용되지만, 텍스트, 이미지, 오디오, 비디오와 같은 비정형 데이터에도 적용할 수 있습니다.

이러한 데이터 유형은 더 복잡하고 모델이 해석하기 어렵지만, 앙상블 기법은 정확도와 신뢰도를 높이는 데 도움이 됩니다. 예를 들어, 컴퓨터 비전에서는 앙상블을 통해 이미지 분류 및 객체 탐지와 같은 작업을 개선할 수 있습니다.

합성곱 신경망(CNNs)과 같은 여러 비전 모델의 예측을 결합하면 시스템이 객체를 더 정확하게 인식하고, 단일 모델을 혼란스럽게 할 수 있는 조명, 각도 또는 배경의 변화를 처리할 수 있습니다.

Ultralytics YOLOv5 모델 앙상블 살펴보기#

컴퓨터 비전에서 앙상블 학습을 활용하는 흥미로운 사례로, 엔지니어가 정확도를 높이기 위해 여러 객체 탐지 모델을 결합하는 경우가 있습니다. 조명, 각도, 객체 크기가 계속 변하는 건설 현장의 안전 모니터링 시스템을 개발하는 엔지니어를 생각해 보겠습니다.

단일 모델은 그늘에 있는 작업자를 놓치거나 움직이는 기계를 혼동할 수 있습니다. 서로 다른 강점을 가진 모델을 앙상블로 구성하면 시스템의 신뢰도가 높아지고 이러한 오류가 발생할 가능성이 낮아집니다.

특히 Ultralytics YOLOv5와 같은 모델은 모델 앙상블과 잘 어울립니다. 엔지니어는 YOLOv5x와 YOLOv5l6 같은 여러 YOLOv5 변형 모델을 결합해 함께 예측하도록 할 수 있습니다. 각 모델은 동일한 이미지를 분석하고 자체 탐지 결과를 생성하며, 이를 평균화해 더 강력하고 정확한 최종 결과를 도출합니다.

그림 4. YOLOv5를 사용한 이미지 내 객체 탐지. (출처)

앙상블 학습의 장단점#

앙상블 학습을 사용할 때의 주요 이점은 다음과 같습니다.

• 노이즈가 있는 데이터에 대한 복원력: 앙상블은 여러 모델에 의존하므로 데이터 세트의 이상치나 무작위 노이즈의 영향을 덜 받습니다.
• 더 나은 일반화: 앙상블은 과적합을 줄여 모델이 학습 예제를 단순히 암기하는 대신 보지 못한 데이터에서도 잘 작동하도록 돕습니다.
• 알고리즘 전반의 유연성: 의사결정 트리, 신경망, 선형 모델 등 서로 다른 유형의 모델을 결합해 각 모델의 고유한 강점을 활용할 수 있습니다.

앙상블 학습은 여러 이점을 제공하지만, 고려해야 할 과제도 있습니다. 염두에 두어야 할 몇 가지 요소는 다음과 같습니다.

• 더 높은 계산 비용: 여러 모델을 학습하고 유지 관리하려면 단일 모델을 사용할 때보다 더 많은 메모리, 처리 능력, 시간이 필요합니다.
• 해석 가능성 저하: 최종 출력은 여러 모델을 결합해 생성되므로 특정 결정이 내려진 이유를 이해하기 어려울 수 있습니다. 다만 이는 사용된 모델에 따라 달라집니다. 의사결정 트리나 서포트 벡터 머신과 같이 해석 가능한 모델을 사용하면 결과를 대체로 더 쉽게 이해할 수 있습니다.
• 앙상블 설계 시 고려 사항: 앙상블을 구축하려면 적절한 모델 조합을 선택하고 모델들이 잘 작동하도록 해야 합니다. 하지만 개별 모델의 하이퍼파라미터를 미세 조정할 필요가 없으므로 경우에 따라 더 간단할 수도 있습니다.

핵심 요점#

앙상블 학습은 여러 모델을 결합하면 AI 시스템의 정확도와 신뢰도를 높일 수 있음을 보여줍니다. 다양한 작업에서 오류를 줄이고 성능을 개선하는 데 도움이 됩니다. 머신러닝과 AI가 계속 발전함에 따라 이와 같은 기법은 AI 솔루션의 폭넓은 도입과 실용적인 고성능화를 이끌고 있습니다.

성장 중인 커뮤니티와 GitHub 저장소에서 비전 AI에 대해 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 컴퓨터 비전 및 물류 분야의 AI 적용 사례를 살펴보세요. 오늘 바로 나만의 컴퓨터 비전 모델을 시작할 수 있도록 라이선스 옵션을 확인해 보세요!