Logistic Regression

Hồi quy logistic là phương pháp học có giám sát dùng cho phân loại, ước tính xác suất một đầu vào thuộc về một lớp bằng cách đưa tổng có trọng số của các đặc trưng qua hàm logistic, hay hàm sigmoid. Tên gọi có từ “hồi quy” vì model hồi quy log-odds của lớp theo các đặc trưng, nhưng phương pháp này được dùng để phân loại: bộ lọc thư rác, model tín dụng hoặc xét nghiệm sàng lọc chuyển xác suất thành quyết định có/không bằng một ngưỡng. Joseph Berkson phát triển phương pháp này thành một model thống kê tổng quát từ năm 1944, khi ông đặt ra thuật ngữ “logit”; đây vẫn là baseline tiêu chuẩn để phân loại dữ liệu dạng bảng vì model huấn luyện chỉ trong vài giây, xuất ra xác suất và trọng số thể hiện trực tiếp tác động lên odds.

Cách hồi quy logistic hoạt động#

Model tính điểm z = w·x + b, giống hệt hồi quy tuyến tính, sau đó ánh xạ điểm này thành xác suất p = 1 / (1 + e⁻ᶻ). Hàm sigmoid ép mọi điểm vào phạm vi từ 0 đến 1, trả về 0.5 khi z = 0 và tiến gần 1 hoặc 0 khi z tăng lớn theo một trong hai hướng. Phép biến đổi ngược cho thấy ý nghĩa của điểm số: z bằng log-odds, log(p / (1 − p)), nên model giả định log-odds của lớp dương thay đổi tuyến tính theo từng đặc trưng; ranh giới quyết định vì thế là một đường thẳng, mặt phẳng hoặc siêu phẳng. Mức tăng một đơn vị của một đặc trưng nhân odds với eʷ, trong đó w là trọng số của đặc trưng đó; đây là lý do các nghiên cứu y tế và tín dụng báo cáo kết quả hồi quy logistic dưới dạng tỷ số odds.

Quá trình huấn luyện thiết lập trọng số bằng phương pháp hợp lý cực đại, tương đương với việc tối thiểu hóa log loss, còn gọi là binary cross-entropy: −[y·log(p) + (1 − y)·log(1 − p)], lấy trung bình trên dữ liệu huấn luyện. Hàm mất mát lồi nên có một cực tiểu duy nhất nhưng không có nghiệm dạng đóng; vì vậy các bộ giải như L-BFGS, phương pháp Newton hoặc gradient descent tìm nghiệm bằng cách lặp. Nếu không có khoản phạt, các lớp được siêu phẳng phân tách hoàn hảo sẽ đẩy trọng số lên vô cực, nên các thư viện mặc định thêm regularization: LogisticRegression của scikit-learn áp dụng khoản phạt L2 với C = 1.0; giá trị C càng nhỏ thì regularization càng mạnh. Vì log loss khuyến khích xác suất chính xác, hồi quy logistic được đặc tả phù hợp và regularization thích hợp thường tạo ra xác suất được hiệu chuẩn tốt; đây là thuộc tính mà các thước đo như Brier score đánh giá.

Ngưỡng quyết định#

Ngưỡng chuyển từng xác suất thành một nhãn; 0.5 chỉ là giá trị mặc định. Thay đổi ngưỡng sẽ tạo ra sự đánh đổi giữa precision và recall: model sàng lọc ung thư hạ ngưỡng để bỏ sót ít khối u hơn, còn bộ lọc thư rác tăng ngưỡng để tránh ẩn thư hợp lệ. Đường cong ROC biểu diễn sự đánh đổi này trên mọi ngưỡng, còn diện tích bên dưới đường cong đo khả năng model xếp hạng mẫu dương cao hơn mẫu âm. Ví dụ này huấn luyện hồi quy logistic trên bộ dữ liệu ung thư vú Wisconsin đi kèm scikit-learn và so sánh hai ngưỡng:

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

Ở ngưỡng mặc định 0.5, mọi khối u mà model gắn cờ đều là ác tính (precision 1.000), nhưng model bỏ sót 2 trong số 53 khối u ác tính của tập kiểm tra (recall 0.962). Ở ngưỡng 0.1, model phát hiện đủ cả 53 khối u (recall 1.000) và cũng gắn cờ 11 trong số 90 khối u lành tính (precision 0.828).

Bộ phân loại đa lớp và mạng nơ-ron#

Với hơn hai lớp loại trừ lẫn nhau, hồi quy logistic đa thức tính một điểm cho mỗi lớp rồi chuyển các điểm thành xác suất có tổng bằng 1 bằng hàm softmax, và được huấn luyện bằng loss cross-entropy; phương pháp one-vs-rest thay vào đó huấn luyện một model nhị phân riêng cho mỗi lớp. Bài toán đa nhãn, trong đó một đầu vào có thể mang nhiều nhãn cùng lúc, sử dụng một hàm sigmoid độc lập cho mỗi lớp.

Lớp đầu ra của hầu hết mạng nơ-ron phân loại là một trong các model này áp dụng lên những đặc trưng đã được các lớp trước học, như trong các mạng phân loại ảnh kết thúc bằng một lớp tuyến tính và softmax. Đầu phát hiện của YOLO26 kết thúc mỗi nhánh phân loại bằng một tích chập 1×1, xuất ra một logit cho mỗi lớp tại mọi vị trí trên lưới; hàm sigmoid chuyển mỗi logit thành một điểm số lớp độc lập được huấn luyện bằng binary cross-entropy, nên mỗi điểm số lớp là một phép hồi quy logistic trên các đặc trưng tại vị trí đó. Đối số conf của chế độ predict, mặc định là 0.25, chính là ngưỡng quyết định áp dụng cho các điểm số này.

Ứng dụng#

• Điểm số rủi ro lâm sàng: Các model ước tính xác suất mắc bệnh, gặp biến chứng hoặc tái nhập viện dựa trên tuổi, huyết áp và kết quả xét nghiệm; tỷ số odds cho bác sĩ lâm sàng biết mỗi yếu tố làm tăng rủi ro đến mức nào.
• Chấm điểm tín dụng: Các bên cho vay xây dựng bảng điểm tín dụng bằng hồi quy logistic vì có thể giải thích cho người đăng ký và cơ quan quản lý mức đóng góp của từng đặc trưng vào điểm số.
• Dự đoán lượt nhấp quảng cáo: Bài báo năm 2013 của Google về hệ thống lượt nhấp đang vận hành mô tả hồi quy logistic được huấn luyện trực tuyến bằng thuật toán FTRL-Proximal để giữ model thưa, nhằm ước tính xác suất người dùng nhấp vào quảng cáo.
• Dự đoán khách hàng rời bỏ: Các doanh nghiệp kinh doanh dịch vụ thuê bao ước tính xác suất từng khách hàng hủy dịch vụ trong kỳ tiếp theo và nhắm đến các tài khoản có rủi ro cao nhất bằng ưu đãi giữ chân.

Hồi quy logistic và các phương pháp liên quan#

• Hồi quy tuyến tính trên nhãn 0/1: Khớp sai số bình phương với nhãn lớp tạo ra dự đoán nhỏ hơn 0 và lớn hơn 1; các điểm nằm xa ranh giới, kể cả những điểm được phân loại đúng, cũng làm lệch kết quả khớp, trong khi sigmoid và log loss tránh được vấn đề này.
• Máy vector hỗ trợ (SVM): SVM tuyến tính cũng học một siêu phẳng, nhưng tối thiểu hóa hinge loss để tối đa hóa biên và xuất ra khoảng cách đến ranh giới thay vì xác suất.
• Naive Bayes: Một bộ phân loại sinh mô hình hóa cách các đặc trưng được tạo ra từ mỗi lớp và thường được xem là cặp kinh điển với hồi quy logistic, phương pháp phân biệt tương ứng. Ng và Jordan (2001) cho thấy naive Bayes tiến gần đến mức lỗi tiệm cận cao hơn chỉ với ít mẫu huấn luyện hơn, trong khi hồi quy logistic đạt mức lỗi thấp hơn khi dữ liệu dồi dào.
• Perceptron: Áp dụng hàm bước lên cùng tổng có trọng số, chỉ xuất ra 0 hoặc 1 và chỉ cập nhật trọng số khi phân loại sai một mẫu huấn luyện.