모델 앙상블

모델 앙상블은 정교한 기법으로 머신 러닝(ML)의 정교한 기법으로 여러 개의 독립적인 모델을 결합하여 하나의 우수한 최종 결과물을 생성하는 정교한 기술입니다. 하나의 알고리즘의 하나의 알고리즘의 의사 결정 능력에 의존하는 대신, 앙상블은 '군중의 지혜' 원칙을 활용하여 전반적인 정확도와 안정성을 향상시킵니다. 다양한 모델의 다양한 모델의 결과를 집계함으로써 엔지니어는 다음과 같은 위험을 크게 줄일 수 있습니다. 훈련 세트에 대한 과적합의 위험을 크게 줄이고 훈련 데이터의 노이즈에 대해 훨씬 더 강력한 시스템을 만들 수 있습니다. 이 접근 방식은 다음과 같은 경우에 자주 사용됩니다. 다음과 같은 경쟁 환경에서 최첨단 결과를 얻기 위해 자주 사용됩니다. Kaggle 대회.

앙상블 학습의 메커니즘

모델 앙상블의 효과는 구성 부품의 다양성에 달려 있습니다. 모든 모델이 동일한 약점을 가지고 있다면 약점을 가지고 있다면 이를 결합해도 개선 효과가 없습니다. 따라서 실무자들은 종종 다양한 신경망 아키텍처를 사용하여 신경망 아키텍처를 변경하거나 데이터의 하위 집합을 사용하거나 데이터 증강 전략을 적용합니다.

앙상블을 구성하는 세 가지 주요 방법이 있습니다:

• 배깅(부트스트랩 애그리게이팅): 여기에는 의사 결정 트리와 같은 동일한 모델의 여러 버전을 훈련하는 것이 포함됩니다. 의사 결정 트리와 같은 동일한 모델의 여러 버전을 훈련하는 것을 포함합니다. 데이터 세트. 대표적인 예는 랜덤 포레스트 알고리즘이 대표적인 예입니다. 많은 트리의 예측을 평균화하여 분산을 완화하는 랜덤 포레스트 알고리즘입니다. Scikit-learn 앙상블 문서에 자세히 설명되어 있습니다.
• 부스팅: 이 반복 기법에서는 모델이 순차적으로 학습됩니다. 각각의 새 모델은 다음 사항에 중점을 둡니다. 이전 모델의 오류를 수정하는 데 중점을 둡니다. 다음과 같은 인기 있는 구현은 XGBoost 및 LightGBM은 이 방법을 사용하여 취약한 학습 모델을 매우 정확한 합성 모델로 변환합니다.
• 스태킹: 이 고급 접근 방식은 "메타 학습자"를 훈련시켜 다음과 같은 예측을 결합합니다. 여러 가지 기본 모델을 결합하도록 "메타 학습자"를 학습시킵니다. 서포트 벡터 머신(SVM) 과 딥 러닝 모델. 메타 학습자는 각 전문가의 의견을 평가하여 최종 손실 함수를 최소화하는 방법을 최적화합니다. 손실 함수를 최소화합니다.

실제 애플리케이션

모델 앙상블은 정밀도가 중요하고 오류로 인한 비용이 큰 산업에서 중추적인 역할을 합니다.

1. 의료 이미지 분석: 복잡한 상태를 진단하려면 종종 영상 데이터의 미묘한 패턴을 분석해야 합니다. 미묘한 패턴을 분석해야 하는 경우가 많습니다. 진단 시스템은 다음을 결합한 모델 앙상블을 사용할 수 있습니다. 컨볼루션 신경망(CNN) 과 텍스처 분석에 특화된 비전 트랜스포머(ViT)를 결합한 모델 앙상블을 사용할 수 있습니다. 글로벌 컨텍스트 이해. 이 조합은 다음과 같은 경우에 도움이 됩니다. 의료 영상에서 종양 감지 단일 아키텍처로는 달성할 수 없는 높은 감도로 종양을 감지하는 데 도움이 됩니다.
2. 자율 시스템: 자율주행 차량의 경우 자율 주행 차량의 경우 인식 시스템은 안전해야 합니다. 엔지니어는 종종 여러 물체 감지 모델의 앙상블을 실행하는 경우가 많습니다. 고속 기능의 YOLO11 의 고속 기능과 트랜스포머 기반 정확도 RT-DETR. 이를 통해 특정 조명이나 오클루전으로 인해 모델이 어려움을 겪는 경우에도 보행자나 장애물을 감지할 수 있습니다.

앙상블 대 전문가 혼합(MoE)

표준 모델 앙상블을 다음과 같이 구분하는 것이 중요합니다. 전문가 혼합(MoE)과 구별하는 것이 중요합니다. 둘 다 여러 하위 모델을 활용하지만 여러 하위 모델을 활용하지만 추론하는 동안 서로 다르게 작동합니다:

• 모델 앙상블: 일반적으로 모든 입력에 대해 컬렉션의 모든 모델을 쿼리하고 그 결과를 결과를 병합합니다. 이렇게 하면 정확도가 극대화되지만 추론 대기 시간과 계산 비용이 증가합니다.
• 전문가 혼합: 게이팅 네트워크를 사용하여 현재 입력에 가장 적합한 소수의 특정 '전문가'(하위 모델) (하위 모델)에게만 데이터를 라우팅합니다. 이를 통해 다음과 같은 다음과 같은 기초 모델에서 모든 토큰에 대해 모든 파라미터를 실행하는 데 따른 계산상의 불이익 없이도 스위치 트랜스포머와 같은 기반 모델을 대규모로 확장할 수 있습니다.

Ultralytics 앙상블 구현하기

다음과 같은 라이브러리는 PyTorch 복잡한 앙상블 허용 아키텍처에서는 여러 모델을 로드하고 동일한 입력을 처리하는 것만으로 추론을 위한 기본 앙상블을 달성할 수 있습니다. 동일한 입력을 처리하면 됩니다. 다음 예는 두 개의 서로 다른 YOLO 모델을 로드하는 방법을 보여줍니다. ultralytics 패키지입니다.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo11n.pt")  # Nano model
model_b = YOLO("yolo11s.pt")  # Small model

# Perform inference on an image with both models
# In a production ensemble, you would merge these results (e.g., via NMS)
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detections: {len(results_a[0].boxes)}")
print(f"Model B detections: {len(results_b[0].boxes)}")

앙상블을 구현하려면 다음을 신중하게 고려해야 합니다. MLOps 리소스, 여러 모델을 배포하면 메모리 사용량이 증가하기 때문입니다. 그러나 컴퓨터 비전(CV)에서 가능한 최고의 성능을 요구하는 작업의 경우 컴퓨터 비전(CV)의 경우, 이러한 트레이드오프가 정당화됩니다.