Naive Bayes

Naive Bayes là một họ bộ phân loại xác suất áp dụng định lý Bayes với giả định "ngây thơ" rằng các đặc trưng độc lập với nhau khi đã biết lớp. Giả định này cho phép model học riêng phân phối của từng đặc trưng trong mỗi lớp, vì vậy quá trình huấn luyện chỉ cần duyệt và đếm dữ liệu huấn luyện một lần, còn dự đoán kết hợp một số xác suất đã lưu. Mehran Sahami cùng các đồng nghiệp áp dụng phương pháp này cho email rác vào năm 1998; bộ lọc thư rác Bayes dựa trên phương pháp này phổ biến vào đầu những năm 2000, và Naive Bayes vẫn là baseline nhanh, hiệu quả trong học có giám sát với văn bản và các loại dữ liệu có số chiều rất cao khác.

Cách Naive Bayes Hoạt động#

Định lý Bayes cho biết xác suất của một lớp C khi đã biết các đặc trưng x₁ … xₙ là P(C | x) = P(C)·P(x | C) / P(x). Ước tính P(x | C) cho mọi tổ hợp giá trị đặc trưng sẽ cần một dataset khổng lồ, vì vậy Naive Bayes giả định tính độc lập có điều kiện và phân tích thành P(x₁ | C)·P(x₂ | C)·…·P(xₙ | C). Bộ phân loại dự đoán lớp có xác suất tiên nghiệm P(C) nhân với tích này lớn nhất, đồng thời bỏ qua P(x), vì giá trị này giống nhau ở mọi lớp. Các bản triển khai cộng log-probability thay vì nhân xác suất, vì tích của hàng nghìn số nhỏ sẽ gây underflow trong số học dấu phẩy động.

Phương pháp đếm gây ra một lỗi: từ chưa từng xuất hiện cùng một lớp trong quá trình huấn luyện sẽ có xác suất bằng 0, khiến xác suất của lớp đó bằng 0 với mọi tài liệu chứa từ này, bất kể các bằng chứng khác cho thấy điều gì. Làm trơn cộng tính khắc phục lỗi này bằng cách cộng một số đếm giả α vào mọi số đếm; α = 1 là làm trơn Laplace và là mặc định trong scikit-learn.

Các Loại Bộ phân loại Naive Bayes#

Các biến thể khác nhau ở phân phối được giả định cho từng đặc trưng trong mỗi lớp. Naive Bayes đa thức lập model số lần xuất hiện, chẳng hạn số lần mỗi từ xuất hiện trong tài liệu, và là lựa chọn tiêu chuẩn cho văn bản. Naive Bayes Bernoulli lập model sự hiện diện hoặc vắng mặt dạng nhị phân, đồng thời cũng phạt việc thiếu các từ đặc trưng của một lớp. Naive Bayes Gaussian khớp phân phối chuẩn với giá trị trung bình và phương sai riêng cho từng đặc trưng liên tục trong mỗi lớp. Naive Bayes bù ước tính thống kê từ ngữ của mỗi lớp từ tất cả các lớp còn lại, phù hợp với dataset văn bản mất cân bằng; Naive Bayes phân loại xử lý các đặc trưng nhận giá trị trong một tập danh mục cố định.

Ví dụ này huấn luyện MultinomialNB của scikit-learn trên số lần xuất hiện của từ trong sáu tin nhắn đã gán nhãn, rồi chấm điểm hai tin nhắn mới:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Tiny labeled corpus: 1 = spam, 0 = legitimate
texts = [
    "win a free prize now",
    "free cash bonus click now",
    "claim your free reward today",
    "meeting moved to monday",
    "lunch with the team today",
    "project review notes attached",
]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then learn class priors and per-class word probabilities (alpha=1 is Laplace smoothing)
vectorizer = CountVectorizer()
model = MultinomialNB(alpha=1.0)
model.fit(vectorizer.fit_transform(texts), labels)

new = vectorizer.transform(["free prize today", "notes from the monday meeting"])
print(f"P(spam): {model.predict_proba(new)[:, 1].round(3)}")

Tin nhắn thứ nhất có xác suất thư rác là 0.881 vì "free" và "prize" chỉ xuất hiện trong thư rác; tin nhắn thứ hai có xác suất 0.053 vì "notes", "monday" và "meeting" chỉ xuất hiện trong thư hợp lệ. Nếu không làm trơn, "free" sẽ có xác suất bằng 0 trong lớp thư hợp lệ và mọi thư hợp lệ chứa từ này sẽ bị chấm điểm là thư rác chắc chắn.

Ưu điểm và hạn chế#

Thời gian huấn luyện và dự đoán tăng tuyến tính theo số lượng mẫu và đặc trưng, vì vậy Naive Bayes xử lý hàng triệu tài liệu với độ trễ suy luận rất thấp; các bản triển khai của scikit-learn cũng cập nhật từ batch dữ liệu mới qua partial_fit để hỗ trợ học trực tuyến. Phương pháp này cũng cần ít dữ liệu: Ng và Jordan (2001) cho thấy Naive Bayes đạt gần mức lỗi tiệm cận với ít mẫu huấn luyện hơn hồi quy logistic, vốn đạt mức lỗi thấp hơn khi có nhiều dữ liệu. Dự đoán lớp thường vẫn chính xác ngay cả khi các đặc trưng tương quan, vì chỉ cần xếp hạng các lớp đúng.

Bản thân các xác suất được hiệu chỉnh kém. Các đặc trưng tương quan khiến cùng một bằng chứng bị tính nhiều lần, đẩy điểm số về gần 0 hoặc 1; vì vậy, các ứng dụng cần giá trị confidence đáng tin cậy sẽ hiệu chỉnh lại chúng trên dữ liệu giữ lại. Mô hình túi từ độc lập cũng không thể biểu diễn thứ tự từ hoặc tương tác giữa các từ, nên "not good" trông như sự kết hợp giữa một từ phủ định và một từ tích cực; trong khi các model có attention, chẳng hạn transformer, hiểu từ ngữ trong ngữ cảnh.

Ứng dụng#

• Lọc thư rác: Bộ lọc thư chấm điểm từng tin nhắn dựa trên từ ngữ, kiểu người gửi và liên kết trong đó, đồng thời cập nhật thống kê từ khi người dùng đánh dấu tin nhắn là thư rác.
• Phân tích cảm xúc: Đánh giá và phiếu yêu cầu hỗ trợ được gán nhãn tích cực hoặc tiêu cực dựa trên từ ngữ sử dụng; đây là model đầu tiên thường dùng trước khi fine-tune model ngôn ngữ.
• Định tuyến tài liệu: Bài báo, hồ sơ pháp lý và yêu cầu hỗ trợ được phân loại theo chủ đề hoặc hàng đợi, thường dùng Naive Bayes bù khi một số danh mục hiếm hơn nhiều so với các danh mục khác.
• Các baseline về xử lý ngôn ngữ tự nhiên (NLP): Nhận diện ngôn ngữ và gắn thẻ chủ đề dùng naive Bayes làm mốc tham chiếu nhanh mà mọi model tốn kém hơn phải vượt qua.

Naive Bayes trong Thị giác Máy tính#

Các pixel liền kề có tương quan mạnh, vì vậy xem pixel thô là các đặc trưng độc lập sẽ bỏ qua cạnh và kết cấu định hình đối tượng; mạng neural tích chập khắc phục điều này bằng cách xử lý đồng thời các vùng lân cận. Trước thời kỳ deep learning, phương pháp túi từ trực quan áp dụng Naive Bayes lên histogram của các descriptor cục bộ như SIFT, được nhóm thành các từ trực quan bằng phân cụm k-means, tương tự cách đếm từ. Số lượng từng lớp đối tượng mà YOLO26 tìm thấy thông qua phát hiện đối tượng tạo thành vector đếm cùng loại, vì vậy model Naive Bayes đa thức có thể phân loại cảnh thành đường phố, nhà bếp hoặc văn phòng chỉ dựa trên các đối tượng được phát hiện.

Naive Bayes và các mô hình liên quan#

• Mạng Bayes: Naive Bayes là mạng Bayes đơn giản nhất, trong đó lớp là nút cha duy nhất của mọi đặc trưng và không có cạnh nối giữa các đặc trưng. Mạng Bayes tổng quát bổ sung các cạnh này để mô hình hóa sự phụ thuộc.
• Suy luận Bayes: Từ "Bayes" trong Naive Bayes chỉ định lý Bayes. Naive Bayes tiêu chuẩn ước tính từng xác suất dưới dạng tần suất được làm trơn, tức một ước lượng điểm duy nhất, trong khi các phương pháp Bayes đầy đủ duy trì một phân phối trên mọi tham số.
• Máy vector hỗ trợ (SVM): Học trực tiếp một ranh giới phân biệt với chi phí huấn luyện cao hơn. Trong phân loại cảm xúc, Wang và Manning (2012) nhận thấy Naive Bayes chính xác hơn SVM trên các đoạn trích ngắn, còn SVM chính xác hơn trên các bài đánh giá đầy đủ.