Linear Regression

Hồi quy tuyến tính là một phương pháp học có giám sát, dự đoán một giá trị liên tục như giá cả, nhiệt độ hoặc nhu cầu tháng tới dưới dạng tổng có trọng số của các đặc trưng đầu vào cộng với một hằng số. Với một đặc trưng, phương pháp này khớp một đường thẳng, ŷ = w·x + b; với nhiều đặc trưng, phương pháp khớp một mặt phẳng hoặc siêu phẳng, ŷ = w₁x₁ + w₂x₂ + … + wₙxₙ + b. Adrien-Marie Legendre công bố phương pháp bình phương tối thiểu dùng để khớp hồi quy tuyến tính vào năm 1805, còn Carl Friedrich Gauss công bố mô tả của riêng mình vào năm 1809. Đây vẫn là model đầu tiên thường dùng cho mô hình hóa dự đoán giá trị số vì huấn luyện chỉ mất vài mili giây, hoạt động với ít dữ liệu và mỗi weight cho biết dự đoán thay đổi bao nhiêu khi đặc trưng tương ứng tăng một đơn vị.

Cách hồi quy tuyến tính hoạt động#

Quá trình huấn luyện chọn weight và hệ số chặn sao cho dự đoán gần với target thực nhất trong dữ liệu huấn luyện. Bình phương tối thiểu thông thường đo độ gần bằng tổng bình phương phần dư, tức chênh lệch giữa target và dự đoán; cách này tương đương với việc tối thiểu hóa sai số bình phương trung bình (MSE), hàm loss tiêu chuẩn cho hồi quy. Sai số bình phương tạo thành một vùng lõm trơn với một điểm cực tiểu duy nhất, vì vậy weight tối ưu có nghiệm dạng đóng là phương trình chuẩn w = (XᵀX)⁻¹Xᵀy; các thư viện tính nghiệm này bằng phép phân tích ma trận ổn định như QR hoặc SVD thay vì dùng phép nghịch đảo tường minh. Với dataset quá lớn cho cách đó, gradient descent hoặc stochastic gradient descent đạt cùng weight theo cách lặp; các phương pháp này hội tụ nhanh nhất khi đặc trưng được chuẩn hóa về thang đo tương tự.

Mỗi weight biểu thị mức thay đổi của dự đoán khi đặc trưng tương ứng tăng một đơn vị và giữ nguyên các đặc trưng khác, giúp model dễ kiểm tra. Estimator LinearRegression của scikit-learn khớp mô hình bình phương tối thiểu thông thường; ví dụ này tạo giá nhà từ các hệ số đã biết rồi kiểm tra mức độ khớp có khôi phục chính xác các hệ số đó hay không:

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score
from sklearn.model_selection import train_test_split

# 500 synthetic homes: price = $50,000 + $150 per sq ft - $2,000 per year of age + noise
rng = np.random.default_rng(0)
X = np.column_stack([rng.uniform(800, 3000, 500), rng.uniform(0, 50, 500)])
y = 50_000 + 150 * X[:, 0] - 2_000 * X[:, 1] + rng.normal(0, 20_000, 500)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# Fit by ordinary least squares
model = LinearRegression()
model.fit(X_train, y_train)

print(f"Per sq ft: {model.coef_[0]:.1f}, per year: {model.coef_[1]:.0f}, intercept: {model.intercept_:.0f}")
print(f"Test R^2: {r2_score(y_test, model.predict(X_test)):.3f}")

Kết quả khớp hồi quy là $147.7 cho mỗi foot vuông so với giá trị thực $150 và −$1,992 cho mỗi năm tuổi so với giá trị thực −$2,000; model giải thích 96.2% phương sai của giá nhà trong tập giữ lại (R² = 0.962). R² là tỷ lệ phương sai của target được model giải thích, còn căn bậc hai của sai số bình phương trung bình (RMSE) thể hiện sai số điển hình theo đơn vị của chính target.

Các giả định và phương pháp chẩn đoán#

Hồi quy tuyến tính giả định rằng giá trị trung bình của biến mục tiêu là tổng có trọng số của các đầu vào, sai số độc lập với nhau và độ phân tán của sai số gần như không đổi trên toàn bộ phạm vi dự đoán; khoảng tin cậy và p-value của các trọng số cũng giả định sai số gần như phân phối chuẩn. Đầu vào có thể là bất kỳ phép biến đổi cố định nào của các đặc trưng thô, vì vậy việc thêm các số hạng bình phương, logarit hoặc tích của đặc trưng thông qua kỹ thuật tạo đặc trưng vẫn tạo ra một mô hình hồi quy tuyến tính có thể mô tả đường cong. Vẽ phần dư theo giá trị dự đoán là cách kiểm tra tiêu chuẩn: dạng cong cho thấy thiếu một số hạng phi tuyến, còn dạng hình quạt cho thấy sai số tăng theo giá trị dự đoán; phép biến đổi logarit của biến mục tiêu thường khắc phục được vấn đề này. Sai số bình phương cũng khiến một vài giá trị ngoại lai kéo đường khớp về phía chúng, còn các hàm mất mát bền vững như hàm mất mát Huber giúp giảm ảnh hưởng của chúng.

Khi các đặc trưng tương quan mạnh với nhau, những thay đổi nhỏ trong dữ liệu có thể khiến trọng số của chúng biến động lớn. Hồi quy Ridge thêm một khoản phạt lên bình phương trọng số để thu nhỏ chúng; lasso thêm khoản phạt lên trị tuyệt đối của trọng số, khiến một số trọng số bằng đúng 0 và nhờ đó chọn lọc đặc trưng; elastic net kết hợp cả hai. Các dạng regularization này chấp nhận một chút độ chệch để đổi lấy phương sai thấp hơn, tức đánh đổi độ chệch-phương sai, đồng thời hạn chế overfitting khi số lượng đặc trưng lớn so với số mẫu.

Hồi quy tuyến tính trong Deep Learning#

Một mạng nơ-ron dự đoán các giá trị số thường kết thúc bằng một lớp tuyến tính, vì vậy bước cuối cùng là hồi quy tuyến tính trên các đặc trưng mà những lớp trước đã học; mạng không có lớp ẩn được huấn luyện bằng MSE chính là hồi quy tuyến tính. Các model phát hiện đối tượng sử dụng phương pháp này cho tọa độ bounding box. Trong YOLO26, mỗi nhánh box của đầu phát hiện kết thúc bằng một tích chập 1×1, ánh xạ tuyến tính các đặc trưng tại mỗi vị trí trên lưới thành bốn khoảng cách từ vị trí đó đến các cạnh của bounding box; quá trình huấn luyện phạt các khoảng cách này bằng loss L1, đồng thời sử dụng loss CIoU cho độ chồng lấp của box.

Ứng dụng#

• Dự báo: Các nhà bán lẻ và công ty tiện ích hồi quy doanh số hoặc nhu cầu điện theo giá cả, chương trình khuyến mãi, nhiệt độ và các biến lịch; đường xu hướng khớp dữ liệu thường là baseline phổ biến cho các model dự báo phức tạp hơn.
• Định giá và thẩm định giá: Các model định giá theo đặc tính hồi quy giá nhà theo diện tích, tuổi nhà và vị trí; mỗi trọng số thể hiện giá trị thị trường của một đơn vị tăng thêm ở thuộc tính đó.
• Ước tính tác động: Các nhà kinh tế và nhà nghiên cứu y tế hồi quy kết quả, chẳng hạn như tiền lương hoặc huyết áp, theo yếu tố quan tâm cùng các biến kiểm soát để ước tính kết quả thay đổi thế nào theo yếu tố đó khi giữ các yếu tố khác cố định.
• Đường cong hiệu chuẩn: Các phòng thí nghiệm hồi quy số đo của thiết bị theo nồng độ đã biết của các mẫu chuẩn, sau đó đảo ngược đường thẳng đã khớp để chuyển số đo của mẫu mới thành nồng độ.

Hồi quy tuyến tính và các phương pháp liên quan#

• Hồi quy logistic: Giải quyết bài toán phân loại bằng cách đưa cùng tổng có trọng số qua hàm sigmoid để xuất ra xác suất trong khoảng từ 0 đến 1; quá trình huấn luyện sử dụng log loss thay vì sai số bình phương.
• Hồi quy đa thức: Khớp các lũy thừa của một đặc trưng, chẳng hạn x và x²; đây là hồi quy tuyến tính trên các đặc trưng đã khai triển đó.
• Cây quyết định và cây tăng cường như XGBoost: Chia không gian đặc trưng thành các vùng và học các hiệu ứng phi tuyến cùng tương tác mà không cần tạo đặc trưng thủ công, nhưng dự đoán một hằng số trong mỗi vùng nên không thể ngoại suy xu hướng vượt ra ngoài phạm vi huấn luyện.
• Tương quan: Hệ số tương quan Pearson r đo độ mạnh của mối quan hệ tuyến tính một cách đối xứng; độ dốc của hồi quy tuyến tính đơn giản giữa y theo x bằng r nhân với tỷ số giữa độ lệch chuẩn của y và x.