Naive Bayes

Naive Bayes는 분류 작업을 위해 머신 러닝에서 널리 사용되는 확률적 알고리즘 계열입니다. 통계적 원리에 기반을 둔 이 알고리즘은 기능(feature) 간의 강력한(또는 '순진한') 독립성 가정을 적용하여 **Bayes' Theorem**을 활용합니다. 단순함에도 불구하고 이 방법은 특히 텍스트와 같은 고차원 데이터셋을 다루는 시나리오에서 데이터를 분류하는 데 매우 효과적입니다. 이는 supervised learning 분야의 기본 구성 요소 역할을 하며, 계산 효율성과 예측 성능 사이의 균형을 제공합니다.

Link to this section핵심 개념: '순진한(Naive)' 가정#

이 알고리즘은 특정 데이터 포인트가 특정 클래스에 속할 확률을 예측합니다. '순진한'이라는 용어는 클래스 내 특정 기능의 존재가 다른 기능의 존재와 무관하다는 가정에서 비롯됩니다. 예를 들어, 과일이 빨갛고 둥글며 지름이 약 3인치라면 사과로 간주할 수 있습니다. Naive Bayes 분류기는 색상, 둥글기, 크기 사이의 가능한 상관관계와 관계없이 각 feature extraction 지점을 독립적으로 고려하여 해당 과일이 사과일 확률을 계산합니다.

이러한 단순화는 **model training**에 필요한 연산 능력을 획기적으로 줄여 알고리즘을 매우 빠르게 만듭니다. 그러나 실제 데이터에는 종종 **dependent variables**와 복잡한 관계가 포함되어 있으므로, 이 가정은 때때로 더 복잡한 아키텍처에 비해 모델 성능을 제한할 수 있습니다.

Link to this section실제 애플리케이션 사례#

Naive Bayes는 속도가 중요하고 독립성 가정이 적절하게 유지되는 애플리케이션에서 빛을 발합니다.

• 스팸 필터링: Naive Bayes의 가장 유명한 용도 중 하나는 이메일 필터링을 위한 **natural language processing (NLP)**입니다. 분류기는 이메일 내 단어(토큰)의 빈도를 분석하여 해당 이메일이 '스팸'인지 '정상(ham)'인지 결정합니다. 이메일에 'free', 'winner', 'urgent'와 같은 단어가 포함된 경우 해당 메시지가 스팸일 확률을 계산합니다. 이 애플리케이션은 받은 편지함을 깨끗하게 유지하기 위해 text classification 기술에 크게 의존합니다.
• 감성 분석: 기업은 고객 리뷰나 소셜 미디어 게시물을 분석하여 대중의 의견을 파악하기 위해 이 알고리즘을 사용합니다. 특정 단어를 긍정적 또는 부정적 감성과 연결함으로써, 모델은 방대한 양의 피드백을 신속하게 분류할 수 있습니다. 이를 통해 기업은 모든 댓글을 수동으로 읽지 않고도 브랜드 인식을 파악하기 위한 대규모 **sentiment analysis**를 수행할 수 있습니다.

Link to this section컴퓨터 비전 분야에서의 Naive Bayes와 딥러닝 비교#

Naive Bayes는 텍스트 분야에서는 강력하지만, **computer vision (CV)**와 같은 인식 작업에서는 어려움을 겪는 경우가 많습니다. 이미지에서 한 픽셀의 값은 일반적으로 주변 픽셀과 매우 밀접하게 관련되어 있습니다(예: 가장자리나 질감을 형성하는 픽셀 그룹). 여기서는 독립성 가정이 성립하지 않습니다.

**object detection**과 같은 복잡한 시각적 작업에는 현대적인 deep learning (DL) 모델이 선호됩니다. **YOLO26**과 같은 아키텍처는 컨볼루션 레이어를 활용하여 Naive Bayes가 무시하는 공간 계층 구조와 기능 상호작용을 포착합니다. Naive Bayes는 확률적 기준점을 제공하지만, YOLO26과 같은 모델은 자율 주행이나 의료 진단에 필요한 높은 **accuracy**를 제공합니다. 이러한 복잡한 비전 모델에 필요한 데이터셋을 관리하기 위해 **Ultralytics Platform**과 같은 도구는 단순한 표 형식 데이터 처리를 넘어선 간소화된 주석 및 학습 워크플로우를 제공합니다.

Link to this section베이지안 네트워크와의 비교#

Naive Bayes를 더 넓은 개념인 **Bayesian Network**와 구분하는 것이 도움이 됩니다.

• Naive Bayes: 모든 예측 변수 노드가 클래스 노드를 직접 가리키고, 예측 변수 간에는 연결이 없는 베이지안 네트워크의 특수하고 단순화된 형태입니다.
• 베이지안 네트워크: 변수 간의 복잡한 조건부 종속성을 모델링하기 위해 **Directed Acyclic Graph (DAG)**를 사용합니다. 이는 '순진한' 접근 방식이 단순화해 버리는 인과 관계를 나타낼 수 있습니다.

Link to this section구현 예시#

ultralytics 패키지는 딥러닝에 중점을 두고 있지만, Naive Bayes는 일반적으로 표준 **scikit-learn library**를 사용하여 구현됩니다. 다음 예제는 연속형 데이터에 유용한 Gaussian Naive Bayes 모델을 학습하는 방법을 보여줍니다.

import numpy as np
from sklearn.naive_bayes import GaussianNB

# Sample training data: [height (cm), weight (kg)] and Labels (0: Cat A, 1: Cat B)
X = np.array([[175, 70], [180, 80], [160, 50], [155, 45]])
y = np.array([0, 0, 1, 1])

# Initialize and train the classifier
model = GaussianNB()
model.fit(X, y)

# Predict class for a new individual [172 cm, 75 kg]
# Returns the predicted class label (0 or 1)
print(f"Predicted Class: {model.predict([[172, 75]])[0]}")

Link to this section장점과 한계#

Naive Bayes의 주된 장점은 매우 낮은 **inference latency**와 최소한의 하드웨어 요구 사항입니다. 이 알고리즘은 **Support Vector Machines (SVM)**과 같은 다른 알고리즘의 속도를 저하시킬 수 있는 대규모 데이터셋을 처리할 수 있습니다. 또한 독립성 가정이 위배되는 경우에도 놀라울 정도로 잘 작동합니다.

그러나 독립적인 기능에 의존하기 때문에 속성 간의 상호작용을 포착할 수 없습니다. 예측이 단어의 조합(예: "not good")에 따라 달라지는 경우, Naive Bayes는 **attention mechanisms**이나 **Transformers**를 사용하는 모델에 비해 어려움을 겪을 수 있습니다. 또한 **test data**의 카테고리가 학습 세트에 존재하지 않는 경우 모델은 0의 확률을 할당하는데, 이는 흔히 **Laplace smoothing**을 통해 해결되는 문제입니다.