나이브 베이즈

베이즈의 정리와 순진한 가정

이 알고리즘은 이벤트와 관련된 조건에 대한 사전 지식을 바탕으로 이벤트의 확률을 설명하는 베이즈 정리에 기반을 두고 있습니다. 분류에서는 데이터 포인트의 특징이 주어졌을 때 특정 클래스에 속할 확률을 계산합니다. '순진한' 부분은 분류에 사용되는 모든 특징이 클래스가 주어졌을 때 서로 독립적이라는 핵심 가정에서 비롯됩니다. 예를 들어, 텍스트 분류에서는 문서의 카테고리가 주어지면 한 단어의 존재 여부가 같은 문서 내의 다른 단어의 존재 여부와 무관하다고 가정합니다. 이 가정은 실제로는 거의 적용되지 않지만(문서 내 단어들은 종종 서로 연관되어 있음), 계산을 대폭 단순화하여 특히 고차원 데이터 세트에서 알고리즘을 빠르고 효율적으로 만들어 줍니다.

나이브 베이즈 작동 방식

나이브 베이즈 분류기를 훈련하려면 각 클래스의 사전 확률(각 클래스가 훈련 데이터에 나타나는 빈도)과 각 클래스에서 각 특징이 발생할 가능성을 계산해야 합니다. 보이지 않는 새로운 데이터 포인트에 대해 알고리즘은 이러한 사전 계산된 확률과 독립성 가정을 사용하여 각 클래스에 대한 사후 확률을 계산합니다. 가장 높은 사후 확률을 가진 클래스가 예측으로 지정됩니다. 가우스 나이브 베이즈(정규 분포를 가정한 연속형 특징의 경우), 다항식 나이브 베이즈(단어 수를 사용한 텍스트 분류에 일반적), 베르누이 나이브 베이즈(존재 여부를 나타내는 이진 특징의 경우) 등 다양한 변형이 존재합니다. 알고리즘을 적용하기 전에 적절한 데이터 전처리가 필요한 경우가 많습니다.

실제 애플리케이션

나이브 베이즈 분류기는 효율성과 적절한 성능으로 인해 널리 사용됩니다:

1. 스팸 필터링: 이메일을 '스팸' 또는 '스팸 아님'으로 분류하는 대표적인 애플리케이션입니다. 이 알고리즘은 이메일에 포함된 특정 단어(특징)의 빈도를 분석하고 알려진 스팸 및 비스팸 이메일에서 해당 단어의 과거 발생 내역을 기반으로 스팸일 확률을 계산합니다. 초기 연구에서는 이 영역에서 그 효과가 입증되었습니다.
2. 텍스트 분류 및 감정 분석: 나이브 베이즈는 뉴스 기사와 같은 문서를 주제(예: 스포츠, 정치, 기술)로 분류하거나 텍스트 리뷰 또는 소셜 미디어 게시물에 표현된 감정 (긍정, 부정, 중립)을 파악하는 데 효과적입니다. 단어 빈도나 존재 여부를 기능으로 사용합니다. 많은 입문용 텍스트 분류 튜토리얼이 나이브 베이즈를 활용합니다.
3. 의료 진단: 의료 이미지 분석에서 딥러닝이 부상하면서 지금은 덜 일반적이지만, 나이브 베이즈는 질병의 증상 독립성을 가정하여 환자의 증상(특징)을 기반으로 예비 진단 제안에 사용되어 왔습니다.
4. 추천 시스템: 단순 추천 시스템은 나이브 베이즈를 사용하여 사용자 선호도와 과거 행동을 기반으로 항목을 제안하고 사용자 상호 작용을 기능으로 취급할 수 있습니다.

장점과 단점

장점:

• 속도와 단순성: 구현이 쉽고 훈련과 예측 모두에서 계산 속도가 매우 빠릅니다.
• 데이터 효율성: 적은 양의 학습 데이터로도 비교적 우수한 성능을 발휘합니다.
• 확장성: 텍스트 분석과 같이 고차원 데이터(많은 기능)를 효과적으로 처리합니다.
• 다용도성: 다양한 변형을 통해 연속형 데이터와 불연속형 데이터 모두에 사용할 수 있습니다.

단점:

• 순진한 독립성 가정: 기능 독립성에 대한 핵심 가정이 종종 위반되어 정확도가 제한될 수 있습니다.
• 영빈도 문제: 테스트 데이터의 특징값이 학습 중에 특정 클래스에서 한 번도 관찰되지 않은 경우, 모델은 해당 특징값에 0의 확률을 할당하여 전체 예측을 지배할 수 있습니다. 이 문제는 라플라스(또는 가산) 평활화와 같은 평활화 기법을 사용하여 처리하는 경우가 많습니다.

다른 알고리즘과의 비교

• 대 로지스틱 회귀: 두 가지 모두 유사한 분류 작업에 자주 사용됩니다. 나이브 베이즈는 생성 모델인 반면, 로지스틱 회귀는 판별 모델입니다. 나이브 베이즈는 데이터 세트가 작거나 차원이 높을 때 더 나은 성능을 발휘할 수 있지만, 독립성 가정이 강하게 위반되는 경우 로지스틱 회귀가 더 우수할 수 있습니다.
• 서포트 벡터 머신(SVM)과 비교: SVM은 최적의 분리 하이퍼플레인을 찾고 특징 상호작용을 더 잘 처리하여 정확도를 높이는 경우가 많지만 일반적으로 나이브 베이즈보다 학습 속도가 느립니다.
• 의사 결정 트리/랜덤 포레스트와 비교: 트리 기반 방법은 복잡한 비선형 관계를 모델링하고 상호 작용을 명시적으로 표현할 수 있지만, 나이브 베이즈는 독립성 가정으로 인해 이를 포착할 수 없습니다. 그러나 나이브 베이즈는 더 빠르고 메모리를 덜 필요로 할 수 있습니다.
• 딥러닝 모델 비교: 컨볼루션 신경망(CNN) 또는 트랜스포머와 같은 복잡한 모델(다음에서 사용되는 모델 포함)은 Ultralytics YOLO 와 같은 복잡한 모델은 일반적으로 복잡한 패턴을 이해해야 하는 작업(예: 이미지 분류, 물체 감지)에서 나이브 베이즈보다 성능이 뛰어납니다. 그러나 나이브 베이즈는 훨씬 적은 데이터, GPU와 같은 계산 리소스, 학습 시간이 필요하므로 더 간단한 문제에 대한 유용한 기준 또는 도구로 사용할 수 있습니다. Ultralytics HUB와 같은 플랫폼은 나이브 베이즈와는 다르게 작동하는 정교한 딥 러닝 모델을 배포하는 데 중점을 둡니다.

나이브 베이즈의 구현은 Scikit-learn과 같은 인기 있는 ML 라이브러리에서 쉽게 구할 수 있습니다. 딥 러닝이 지배하는 복잡한 작업에는 적합하지 않지만, 나이브 베이즈는 특정 영역, 특히 텍스트 처리에서 속도, 단순성 및 효과로 높이 평가되는 ML 툴킷의 기본 알고리즘으로 남아 있습니다. YOLO 성능 지표에서 설명한 것과 같은 메트릭을 사용하여 모델을 평가하는 것은 사용된 알고리즘에 관계없이 매우 중요합니다.