Naive Bayes

Naive Bayes is a family of probabilistic algorithms widely used in machine learning for classification tasks. Rooted in statistical principles, it applies Bayes' Theorem with a strong (or "naive") independence assumption between the features. Despite its simplicity, this method is highly effective for categorizing data, particularly in scenarios involving high-dimensional datasets like text. It serves as a fundamental building block in the field of supervised learning, offering a balance between computational efficiency and predictive performance.

핵심 개념: '순진한(Naive)' 가정#

이 알고리즘은 주어진 데이터 포인트가 특정 클래스에 속할 확률을 예측합니다. "나이브"하다는 특징은 클래스 내에서 특정 특성의 존재가 다른 특성의 존재와 무관하다는 가정에서 비롯됩니다. 예를 들어, 과일이 빨갛고 둥글며 지름이 약 3인치라면 사과로 간주할 수 있습니다. Naive Bayes 분류기는 색상, 둥글기, 크기 간의 가능한 상관관계와 관계없이 이러한 각 feature extraction 포인트를 독립적으로 고려하여 과일이 사과일 확률을 계산합니다.

이러한 단순화는 **model training**에 필요한 연산 능력을 대폭 줄여주어 알고리즘을 예외적으로 빠르게 만듭니다. 그러나 실제 데이터에는 종종 **dependent variables**와 복잡한 관계가 포함되어 있으므로, 이 가정으로 인해 더 복잡한 아키텍처에 비해 모델의 성능이 제한될 수도 있습니다.

실제 애플리케이션 사례#

Naive Bayes는 속도가 중요하고 독립성 가정이 적절하게 유지되는 애플리케이션에서 빛을 발합니다.

• 스팸 필터링: Naive Bayes가 가장 널리 알려진 용도 중 하나는 이메일 필터링을 위한 **natural language processing (NLP)**입니다. 분류기는 이메일 내 단어(토큰)의 빈도를 분석하여 "스팸"인지 "햄"(정상 메일)인지 판별합니다. "무료", "당첨", "긴급"과 같은 단어가 존재할 때 메시지가 스팸일 확률을 계산합니다. 이 응용 프로그램은 받은편지함을 깨끗하게 유지하기 위해 text classification 기법에 크게 의존합니다.
• 감성 분석: 기업은 고객 리뷰나 소셜 미디어 게시물을 분석하여 대중의 의견을 측정하기 위해 이 알고리즘을 사용합니다. 특정 단어를 긍정적 또는 부정적 감성과 연결함으로써, 모델은 방대한 양의 피드백을 신속하게 분류할 수 있습니다. 이를 통해 기업은 모든 댓글을 수동으로 읽지 않고도 브랜드 인지도를 파악하기 위해 대규모 **sentiment analysis**를 수행할 수 있습니다.

컴퓨터 비전 분야에서의 Naive Bayes와 딥러닝 비교#

Naive Bayes는 텍스트에는 강력하지만 **computer vision (CV)**와 같은 지각 작업에서는 종종 어려움을 겪습니다. 이미지에서 하나의 픽셀 값은 보통 주변 픽셀(예: 모서리나 텍스처를 형성하는 픽셀 그룹)과 높은 연관성을 가집니다. 여기서는 독립성 가정이 깨집니다.

**object detection**과 같은 복잡한 시각적 작업에는 최신 deep learning (DL) 모델이 선호됩니다. YOLO26 같은 아키텍처는 컨볼루션 계층을 활용하여 Naive Bayes가 무시하는 공간 계층 구조와 특성 상호작용을 포착합니다. Naive Bayes가 확률적 기준선을 제공하는 반면, YOLO26과 같은 모델은 자율주행이나 의료 진단에 필요한 높은 **accuracy**를 제공합니다. 이러한 복잡한 비전 모델에 필요한 데이터셋을 관리하기 위해 **Ultralytics Platform**과 같은 도구는 단순한 표 형식 데이터 처리를 훨씬 뛰어넘는 간소화된 주석 및 학습 워크플로를 제공합니다.

베이지안 네트워크와의 비교#

Naive Bayes를 더 광범위한 개념인 **Bayesian Network**와 구분하는 것은 유익합니다.

• Naive Bayes: 모든 예측 변수 노드가 클래스 노드를 직접 가리키고, 예측 변수 간에는 연결이 없는 베이지안 네트워크의 특수하고 단순화된 형태입니다.
• 베이지안 네트워크: 변수 간의 복잡한 조건부 종속성을 모델링하기 위해 **Directed Acyclic Graph (DAG)**을 활용합니다. 이는 "나이브"한 접근 방식이 단순화하여 없애버린 인과 관계를 표현할 수 있습니다.

구현 예시#

ultralytics 패키지는 딥러닝에 중점을 두는 반면, Naive Bayes는 일반적으로 표준 **scikit-learn library**를 사용하여 구현됩니다. 다음 예제는 연속형 데이터에 유용한 Gaussian Naive Bayes 모델을 학습하는 방법을 보여줍니다.

import numpy as np
from sklearn.naive_bayes import GaussianNB

# Sample training data: [height (cm), weight (kg)] and Labels (0: Cat A, 1: Cat B)
X = np.array([[175, 70], [180, 80], [160, 50], [155, 45]])
y = np.array([0, 0, 1, 1])

# Initialize and train the classifier
model = GaussianNB()
model.fit(X, y)

# Predict class for a new individual [172 cm, 75 kg]
# Returns the predicted class label (0 or 1)
print(f"Predicted Class: {model.predict([[172, 75]])[0]}")

장점과 한계#

Naive Bayes의 주된 장점은 극도로 낮은 **inference latency**와 최소한의 하드웨어 요구 사항입니다. **Support Vector Machines (SVM)**과 같은 다른 알고리즘의 속도를 저하시킬 수 있는 방대한 데이터셋을 해석할 수 있습니다. 게다가 독립성 가정이 위반되었을 때도 의외로 잘 작동합니다.

그러나 독립적인 특성에 의존하기 때문에 속성 간의 상호작용을 포착할 수 없습니다. 예측이 단어의 조합(예: "not good")에 의존하는 경우, Naive Bayes는 **attention mechanisms**이나 **Transformers**를 활용하는 모델에 비해 어려움을 겪을 수 있습니다. 또한 **test data**의 카테고리가 학습 세트에 존재하지 않았던 경우, 모델은 0의 확률을 할당하는데, 이는 주로 **Laplace smoothing**으로 해결하는 문제입니다.