앙상블 학습과 AI 및 ML에서의 역할 살펴보기

이 글에서 다루는 개념을 시각적으로 설명하는 영상은 아래에서 확인할 수 있습니다.

추천 엔진과 사기 탐지 시스템 같은 AI 혁신은 데이터를 기반으로 예측과 의사 결정을 내리기 위해 머신 러닝 알고리즘과 모델에 의존합니다. 이러한 모델은 패턴을 식별하고 추세를 예측하며 복잡한 작업의 자동화를 지원할 수 있습니다.

하지만 단일 모델은 실제 데이터의 모든 세부 사항을 포착하는 데 어려움을 겪을 수 있습니다. 어떤 경우에는 잘 작동하더라도 다른 경우에는 기대에 미치지 못할 수 있습니다. 예를 들어 사기 탐지 모델이 새로운 유형의 거래를 놓칠 수 있습니다.

이러한 한계는 머신 러닝 모델을 구축하고 배포할 때 AI 엔지니어가 자주 마주하는 문제입니다. 일부 모델은 학습 데이터를 지나치게 밀접하게 학습하여 과적합되고, 다른 모델은 중요한 패턴을 놓쳐 과소적합됩니다. 앙상블 학습은 이러한 문제를 해결하는 데 도움이 되는 AI 기법으로, 기본 학습기라고 하는 여러 모델을 결합하여 하나의 더 강력한 시스템을 구성합니다.

문제를 해결하기 위해 함께 협력하는 전문가 팀이라고 생각하면 됩니다. 이 글에서는 앙상블 학습이 무엇인지, 어떻게 작동하는지, 어디에 사용할 수 있는지 살펴보겠습니다. 시작해 보겠습니다!

앙상블 학습이란 무엇입니까?#

앙상블 학습은 여러 모델을 결합하여 동일한 문제를 해결하고 하나의 향상된 결과를 생성하는 기법 모음입니다. 지도 학습(모델이 레이블이 지정된 데이터에서 학습하는 방식)과 비지도 학습(모델이 레이블이 지정되지 않은 데이터에서 패턴을 찾는 방식) 모두에 적용할 수 있습니다.

앙상블은 예측을 하나의 모델에 의존하는 대신, 각기 다른 방식으로 데이터를 살펴보는 여러 모델을 사용합니다. 이러한 모델의 출력을 결합하면 단일 모델이 자체적으로 달성할 수 있는 결과보다 더 정확하고 안정적이며 일반화 가능한 결과를 얻는 경우가 많습니다.

동일한 문제를 다루는 분석가 패널에 비유할 수 있습니다. 각 분석가 또는 개별 모델은 데이터를 서로 다르게 해석합니다.

한 분석가는 패턴에 집중하고, 다른 분석가는 이상 징후에 집중하며, 또 다른 분석가는 맥락에 집중할 수 있습니다. 이들의 관점을 종합하면 개인의 판단보다 더 균형 잡히고 신뢰할 수 있는 결정을 내릴 수 있습니다.

이 접근 방식은 머신 러닝의 가장 큰 과제 중 두 가지인 편향과 분산을 해결하는 데도 도움이 됩니다. 편향이 높은 모델은 지나치게 단순하여 중요한 패턴을 간과하는 반면, 분산이 높은 모델은 지나치게 민감하여 학습 데이터에 과도하게 맞춰집니다. 앙상블 학습은 모델을 결합하여 이 둘 사이의 균형을 찾고, 새롭고 보지 못한 데이터에서 시스템이 얼마나 잘 작동하는지 개선합니다.

앙상블 학습의 작동 방식 이해하기#

앙상블을 구성하는 각 모델을 기본 학습기 또는 기본 모델이라고 합니다. 사용하는 앙상블 기법에 따라 동일한 유형의 알고리즘을 사용할 수도 있고 서로 다른 알고리즘을 혼합할 수도 있습니다.

앙상블 학습에 사용되는 다양한 모델의 일반적인 예는 다음과 같습니다.

• 의사 결정 트리: 이러한 모델은 특징 값에 따라 데이터를 여러 분기로 나누어 의사 결정을 내립니다. 예를 들어 고객이 제품을 구매할지 예측하는 분류 문제에서는 연령, 소득, 검색 기록과 같은 요소를 고려합니다.
• 신경망: 인간의 뇌가 정보를 처리하는 방식에서 영감을 얻은 신경망은 대부분의 최신 AI 및 머신 러닝 모델을 구성하는 기본 아키텍처입니다.
• 서포트 벡터 머신(SVMs): 이러한 알고리즘은 서로 다른 클래스 사이의 마진을 최대화하는 초평면이라는 최적의 결정 경계를 찾아 데이터를 분류합니다. 즉, SVM은 그룹 사이에 가장 큰 간격을 두면서 그룹을 분리하는 가장 적합한 선을 그립니다. 예를 들어 단어 빈도와 구조 같은 패턴을 기반으로 이메일이 스팸인지 아닌지를 판별하는 데 사용할 수 있습니다.
• 로지스틱 회귀 모델: 이러한 모델은 확률을 추정하며 이진 분류 작업에 자주 사용됩니다. 대표적인 예로 거래가 사기인지 정상인지 예측하는 작업이 있습니다.

결합된 모델 앙상블은 일반적으로 강한 학습기라고 합니다. 기본 학습기(약한 모델이라고도 함)의 약점은 최소화하면서 강점을 통합하기 때문입니다. 각 모델의 예측을 구조화된 방식으로 결합하여 이를 수행하며, 분류 작업에서는 다수결 투표를 사용하고 회귀 작업에서는 가중 평균을 사용하여 더 정확한 최종 결과를 생성합니다.

그림 1. 앙상블 학습의 예시 (출처)

앙상블 학습을 사용해야 하는 경우#

다양한 앙상블 학습 기법을 살펴보기 전에 한 걸음 물러나 머신 러닝 또는 AI 프로젝트에서 이러한 접근 방식을 언제 사용해야 하는지 알아보겠습니다.

앙상블 학습은 단일 모델이 정확하거나 일관된 예측을 내리는 데 어려움을 겪을 때 가장 큰 효과를 발휘합니다. 데이터가 복잡하거나 노이즈가 많거나 예측하기 어려운 상황에서도 사용할 수 있습니다.

앙상블 방법이 특히 효과적인 일반적인 경우는 다음과 같습니다.

• 낮은 모델 정확도: 한 모델의 예측만으로는 충분히 신뢰하기 어려운 경우 여러 모델을 결합하면 정확도와 성능을 크게 향상할 수 있습니다. 예를 들어 신용 평가나 의료 진단에서는 예측 정확도가 조금만 향상되어도 큰 차이를 만들 수 있습니다.
• 노이즈가 많거나 일관되지 않은 데이터: 데이터세트에 이상치, 오류 또는 무작위 변동이 포함된 경우 앙상블 학습은 여러 모델에 걸쳐 평균을 내거나 투표하여 이러한 불규칙성을 완화합니다.
• 견고성 필요: 앙상블 모델은 작은 데이터 변화에 덜 민감하므로 실제 입력이 달라질 수 있는 프로덕션 환경에서 더 안정적이고 신뢰할 수 있습니다.
• 복잡한 예측 작업: 이미지 인식, 사기 탐지 또는 시계열 예측과 같은 작업에서 앙상블은 단일 모델이 자체적으로 포착할 수 있는 것보다 더 넓은 범위의 패턴과 관계를 포착합니다.

또한 학습이 더 간단하고 해석하기 쉬우며 유지 관리도 빠릅니다. 앙상블을 사용하기 전에 더 높은 정확도라는 이점과 이에 필요한 추가 시간, 컴퓨팅 성능, 복잡성을 비교하여 고려해야 합니다.

앙상블 학습 기법 개요#

이제 머신 러닝 프로젝트에 앙상블 학습을 적용하는 주요 방법을 살펴보겠습니다. 모델을 결합하는 데 사용되는 몇 가지 핵심 기법이 있으며, 각 기법은 고유한 방식으로 성능을 향상합니다. 가장 일반적인 앙상블 방법은 배깅, 부스팅, 스태킹, 블렌딩입니다.

배깅#

부트스트랩 집계의 줄임말인 배깅은 데이터의 서로 다른 부분으로 동일한 모델의 여러 버전을 학습하여 모델의 안정성과 정확도를 향상하는 앙상블 학습 방법입니다.

각 하위 집합은 부트스트랩 샘플링이라는 프로세스를 사용하여 생성되며, 이 과정에서는 복원 추출 방식으로 데이터 포인트를 무작위 선택합니다. 즉, 데이터 포인트 하나를 선택한 후 다음 포인트를 선택하기 전에 다시 모집단에 넣으므로 동일한 포인트가 두 번 이상 나타날 수 있고 다른 포인트는 제외될 수 있습니다. 이러한 무작위성 덕분에 각 모델은 데이터세트의 조금씩 다른 버전으로 학습됩니다.

추론 중에는 학습된 모든 모델이 병렬로 실행되어 새롭고 보지 못한 데이터에 대한 예측을 생성합니다. 각 모델은 학습한 내용을 기반으로 자체 출력을 생성하며, 이러한 개별 예측을 결합하여 최종 결과를 만듭니다.

주택 가격이나 판매 예측과 같은 회귀 작업에서는 일반적으로 모든 모델의 출력을 평균 내어 더 평활화된 추정치를 얻습니다. 거래가 사기인지 아닌지를 식별하는 것과 같은 분류 작업에서는 앙상블이 최종 클래스를 결정하기 위해 다수결 투표를 사용하는 경우가 많습니다.

실제 배깅: Random Forest 알고리즘#

배깅이 효과적으로 작동하는 좋은 예는 의사 결정 트리입니다. 의사 결정 트리는 단일 데이터세트로 학습할 때 쉽게 과적합될 수 있습니다. 조금씩 다른 샘플로 많은 트리를 학습하고 그 결과를 결합하면 배깅은 과적합을 줄이고 신뢰성을 향상합니다.

Random Forest 알고리즘을 예로 들어 보겠습니다. Random Forest는 의사 결정 트리의 앙상블로, 각 트리는 학습 데이터세트의 무작위 하위 집합과 특징의 무작위 하위 집합으로 학습됩니다.

이러한 특징 무작위성은 트리 간 상관관계를 낮추고 전체 모델을 더 안정적이고 정확하게 만드는 데 도움이 됩니다. Random Forest 알고리즘은 이미지를 분류하고, 사기를 탐지하고, 고객 이탈을 예측하고, 판매를 예측하거나, 부동산 가격을 추정하는 데 사용할 수 있습니다.

그림 2. Random Forest 알고리즘 살펴보기 (출처)

부스팅#

부스팅은 약한 학습기(모델)를 병렬로 학습하는 대신 순차적으로 하나씩 학습하여 개선하는 또 다른 앙상블 학습 기법입니다. 부스팅의 핵심 개념은 각각의 새로운 모델이 이전 모델의 실수에서 학습하여 전반적인 모델 성능을 점진적으로 향상하는 것입니다.

독립적인 모델의 평균을 내어 분산을 줄이는 배깅과 달리, 부스팅은 새로운 모델이 이전 모델이 어려움을 겪었던 어려운 사례에 더 집중하도록 하여 편향을 줄입니다.

부스팅 모델은 순차적으로 학습되므로 마지막에 예측을 결합하는 방식이 다른 앙상블 방법과 약간 다릅니다. 각 모델은 학습 중 성능에 비례하여 최종 예측에 기여하며, 더 정확한 모델에 더 큰 가중치가 부여됩니다.

회귀 작업에서 최종 결과는 일반적으로 모든 모델 예측의 가중합입니다. 분류 작업에서는 알고리즘이 모델의 가중 투표를 결합하여 최종 클래스를 결정합니다. 이 접근 방식은 더 정확한 모델에 더 큰 가중치를 부여하면서 다른 모델에서도 계속 학습함으로써 부스팅이 전반적으로 강력한 모델을 만들도록 돕습니다.

일반적인 부스팅 알고리즘 유형은 다음과 같습니다.

• AdaBoost(적응형 부스팅): 이 방법은 작은 의사 결정 트리와 같은 단순한 모델을 먼저 학습한 다음 잘못 분류된 데이터 포인트의 가중치를 높입니다. 이러한 가중치를 통해 다음 모델은 어려운 예시에 더 집중하게 됩니다. 여러 번의 반복을 거치면서 모델은 서로의 결과를 바탕으로 학습하고, 결합된 예측은 더 강력하고 정확한 결과를 형성합니다. 예를 들어 AdaBoost는 스팸 탐지 또는 얼굴 인식 정확도를 향상할 수 있습니다.
• Gradient Boosting: 샘플에 다시 가중치를 부여하는 대신, Gradient Boosting은 각 새로운 모델이 이전 모델이 만든 잔차 오류, 즉 실제 값과 예측값의 차이를 수정하도록 학습합니다. 이러한 반복적 접근 방식은 판매 예측 및 신용 평가와 같은 회귀와 분류 작업 모두에 효과적입니다.
• XGBoost(Extreme Gradient Boosting): 이 고급 그래디언트 부스팅 버전은 속도와 정확도를 모두 향상합니다. 정규화를 사용하여 학습 중 지나치게 복잡한 모델에 약간의 페널티를 부여하므로, 데이터를 암기하는 대신 의미 있는 패턴에 집중하도록 합니다. 모델은 여전히 순차적으로 학습되지만 XGBoost는 트리 구성 중 병렬화를 사용하여 프로세스의 속도를 높입니다. 여러 CPU 코어에서 가능한 여러 분할 지점을 동시에 평가할 수 있습니다. 따라서 특히 대규모 데이터세트에서 높은 예측 성능을 유지하면서 학습을 훨씬 빠르게 수행할 수 있습니다.

그림 3. 당뇨병 위험 예측을 위해 부스팅 접근 방식으로 학습한 의사 결정 트리 기반(DTB) 분류기의 예시입니다. (출처)

스태킹#

스태킹은 스택 일반화라고도 하며, 여러 모델의 예측을 메타 학습기라는 최종 모델의 입력으로 사용하여 한 단계 더 나아갑니다. 여러 전문가가 각자의 의견을 공유하고, 최종 의사 결정자가 이러한 의견에 가중치를 부여하는 방법을 학습하여 최선의 결정을 내리는 상황으로 생각할 수 있습니다.

예를 들어 한 모델은 사기 탐지에 뛰어나고 다른 모델은 고객 이탈 예측에 더 뛰어날 수 있습니다. 메타 학습기는 각 모델의 성능을 분석하고 강점을 함께 활용하여 더 정확한 최종 예측을 생성합니다.

블렌딩#

블렌딩은 여러 모델의 예측을 결합하여 최종 결정을 내린다는 점에서 스태킹과 유사하지만 더 간단하고 빠른 접근 방식을 사용합니다. 스태킹처럼 교차 검증(데이터를 여러 부분으로 나누고 학습과 테스트에 번갈아 사용하여 모델의 신뢰성을 높이는 방법)을 사용하는 대신, 블렌딩은 데이터의 일부를 홀드아웃 세트라고 하여 따로 분리합니다.

기본 모델은 나머지 데이터로 학습한 다음 이전에 본 적이 없는 홀드아웃 세트에 대한 예측을 생성합니다. 이를 통해 실제 정답 또는 실제 레이블과 각 기본 모델이 생성한 예측이라는 두 가지 핵심 정보를 얻습니다.

그런 다음 이러한 예측을 블렌딩 모델 또는 메타 모델이라고 하는 다른 모델에 전달합니다. 이 최종 모델은 각 기본 모델의 예측이 얼마나 정확한지 분석하고 이를 가장 적절한 방식으로 결합하는 방법을 학습합니다.

블렌딩은 프로세스를 여러 번 반복하는 대신 한 번의 학습-테스트 분할만 사용하므로 더 빠르게 실행되고 설정하기도 쉽습니다. 그 대가로 학습에 사용할 수 있는 정보가 조금 적어져 정확도가 다소 낮아질 수 있습니다.

앙상블 알고리즘 평가하기#

앙상블 학습에서 중요한 부분은 모델이 이전에 보지 못한 데이터에서 얼마나 잘 작동하는지 평가하는 것입니다. 아무리 고급 기법이라도 일반화할 수 있는지 확인하기 위해 테스트해야 합니다. 즉, 학습 데이터를 단순히 암기하는 것이 아니라 새롭고 실제적인 예시에서도 정확한 예측을 해야 합니다.

AI 모델을 평가하는 데 사용되는 일반적인 성능 지표는 다음과 같습니다.

• 정확도: 이 지표는 모델이 수행한 전체 예측 중 올바른 예측의 비율을 측정합니다. 전반적인 성능을 빠르게 파악할 수 있습니다.
• 정밀도: 양성으로 예측된 샘플 중 실제로 양성인 샘플이 얼마나 많은지를 나타냅니다. 정밀도가 높다는 것은 모델의 위양성 오류가 적다는 의미입니다.
• 재현율: 이 지표는 실제 양성 사례 중 모델이 정확하게 식별한 사례가 얼마나 많은지에 초점을 둡니다. 질병 진단과 같이 양성 사례를 놓치면 심각한 결과가 발생할 수 있는 의료 분야에서 특히 중요합니다.

앙상블 학습의 실제 활용 사례#

지금까지 앙상블 학습의 작동 방식과 그 이면의 기법을 살펴보았습니다. 이제 이 접근 방식이 어떤 분야에서 영향을 미치고 있는지 알아보겠습니다.

앙상블 학습이 일반적으로 적용되는 주요 분야는 다음과 같습니다.

• 데이터 분석 및 예측: 비즈니스와 애널리틱스에서 앙상블 모델은 여러 모델의 인사이트를 결합하여 조직이 더 나은 예측을 내리도록 지원합니다. 이를 통해 더 정확한 판매 예측, 더욱 효율적인 수요 계획, 고객 행동에 대한 명확한 이해가 가능합니다.
• 이진 분류: 스팸 탐지, 사기 방지, 의료 진단과 같은 작업에서는 두 가지 가능한 결과를 구분해야 하는 경우가 많습니다. 앙상블 모델은 위양성과 위음성을 줄이는 데 도움이 되므로 사이버 보안 및 의료와 같은 분야에서 특히 중요합니다.
• 회귀 문제: 주택 가격, 판매 수익 또는 신용 위험과 같은 연속 값을 예측할 때 앙상블 방법은 데이터 내의 복잡한 관계를 포착합니다. 그 결과 더 정확한 예측이 가능해져 재무 및 운영 의사 결정을 개선할 수 있습니다.

앙상블 학습으로 구조화된 데이터를 넘어선 활용#

앙상블 학습은 숫자 또는 범주형 정보가 포함된 스프레드시트와 같은 구조화된 데이터 또는 테이블 형식 데이터에 가장 일반적으로 사용되지만, 텍스트, 이미지, 오디오, 비디오와 같은 비구조화된 데이터에도 적용할 수 있습니다.

이러한 데이터 유형은 더 복잡하고 모델이 해석하기 어렵지만, 앙상블 방법은 정확도와 신뢰성을 향상하는 데 도움이 됩니다. 예를 들어 컴퓨터 비전에서는 앙상블을 통해 이미지 분류 및 객체 감지와 같은 작업을 향상할 수 있습니다.

합성곱 신경망(CNNs)과 같은 여러 비전 모델의 예측을 결합하면 시스템은 객체를 더 정확하게 인식하고 단일 모델을 혼란스럽게 할 수 있는 조명, 각도 또는 배경의 변화를 처리할 수 있습니다.

Ultralytics YOLOv5 모델 앙상블 살펴보기#

컴퓨터 비전에서 앙상블 학습을 사용하는 흥미로운 예는 엔지니어가 여러 객체 감지 모델을 결합하여 정확도를 향상하는 경우입니다. 조명, 각도, 객체 크기가 계속 변하는 건설 현장의 안전 모니터링 시스템을 작업하는 엔지니어를 생각해 보겠습니다.

단일 모델은 그림자 속의 작업자를 놓치거나 움직이는 기계를 혼동할 수 있습니다. 서로 다른 강점을 가진 여러 모델의 앙상블을 사용하면 시스템의 신뢰성이 높아지고 이러한 오류가 발생할 가능성이 줄어듭니다.

특히 Ultralytics YOLOv5와 같은 모델은 모델 앙상블과 밀접한 관련이 있습니다. 엔지니어는 YOLOv5x 및 YOLOv5l6과 같은 서로 다른 YOLOv5 변형을 결합하여 함께 예측을 생성할 수 있습니다. 각 모델은 동일한 이미지를 분석하여 자체 감지 결과를 생성하고, 이를 평균 내어 더 강력하고 정확한 최종 결과를 생성합니다.

그림 4. YOLOv5를 사용한 이미지 내 객체 감지. (출처)

앙상블 학습의 장단점#

앙상블 학습의 주요 이점은 다음과 같습니다.

• 노이즈가 있는 데이터에 대한 복원력: 앙상블은 여러 모델에 의존하므로 데이터세트의 이상치나 무작위 노이즈의 영향을 덜 받습니다.
• 더 나은 일반화: 앙상블은 과적합을 줄여 모델이 학습 예시를 단순히 암기하는 대신 보지 못한 데이터에서도 잘 작동하도록 합니다.
• 알고리즘 전반의 유연성: 의사 결정 트리, 신경망, 선형 모델 등 다양한 종류의 모델을 결합하여 각 모델의 고유한 강점을 활용할 수 있습니다.

앙상블 학습은 다양한 이점을 제공하지만 고려해야 할 과제도 있습니다. 다음과 같은 몇 가지 요소를 염두에 두어야 합니다.

• 더 높은 컴퓨팅 비용: 여러 모델을 학습하고 유지 관리하려면 단일 모델보다 더 많은 메모리, 처리 성능, 시간이 필요합니다.
• 해석 가능성 저하: 최종 출력이 여러 모델의 결합을 통해 생성되므로 특정 결정이 내려진 이유를 이해하기 어려울 수 있습니다. 그러나 이는 사용한 모델에 따라 달라집니다. 의사 결정 트리나 서포트 벡터 머신처럼 해석 가능한 모델을 사용하면 일반적으로 결과를 더 쉽게 이해할 수 있습니다.
• 앙상블 설계 고려 사항: 앙상블을 구축하려면 적절한 모델 조합을 선택하고 모델들이 함께 잘 작동하는지 확인해야 합니다. 그러나 개별 모델 각각의 하이퍼파라미터를 미세 조정할 필요가 없으므로 경우에 따라 더 간단할 수도 있습니다.

핵심 요점#

앙상블 학습은 여러 모델을 결합하면 AI 시스템을 더 정확하고 신뢰할 수 있게 만들 수 있다는 점을 보여줍니다. 다양한 유형의 작업에서 오류를 줄이고 성능을 향상하는 데 도움이 됩니다. 머신 러닝과 AI가 계속 발전함에 따라 이와 같은 기법은 더욱 광범위한 도입과 실용적이며 고성능인 AI 솔루션의 확산을 이끌고 있습니다.

성장 중인 커뮤니티와 GitHub 저장소에 참여하여 비전 AI에 대해 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 컴퓨터 비전 및 물류 분야의 AI 활용 사례를 살펴보세요. 지금 바로 라이선싱 옵션을 확인하고 자체 컴퓨터 비전 모델을 시작해 보세요!