Huber Loss
Huber loss kết hợp sai số bình phương và sai số tuyệt đối để giảm ảnh hưởng của giá trị ngoại lệ trong hồi quy, với ngưỡng delta có thể điều chỉnh và cách triển khai bằng Python.
Huber loss là một hàm loss dùng cho hồi quy, phạt các sai số dự đoán nhỏ theo bình phương và các sai số lớn theo tuyến tính. Hàm này tạo ra mục tiêu trơn cho model khi dự đoán gần đáp án đúng, đồng thời giảm ảnh hưởng của các sai số lớn bất thường. Vì vậy, Huber loss hữu ích khi phần lớn mẫu huấn luyện tuân theo một quy luật nhất quán nhưng một số mẫu có độ lệch cực lớn.
Peter J. Huber giới thiệu hàm này trong bài báo năm 1964 Ước lượng bền vững tham số vị trí. Huber loss vẫn là một công cụ nền tảng cho việc ước lượng bền vững: khớp một model có dự đoán ít nhạy cảm hơn với các giá trị ngoại lệ.
Cách Huber Loss hoạt động#
Phần dư là giá trị dự đoán trừ đi giá trị mục tiêu. Huber loss sử dụng một ngưỡng dương gọi là delta để xác định phần dư đóng góp như thế nào vào hàm mục tiêu:
- Phần dư nhỏ: Khi giá trị tuyệt đối của phần dư không vượt quá delta, loss bằng một nửa bình phương phần dư.
- Phần dư lớn: Khi vượt quá delta, loss bằng delta x (giá trị tuyệt đối của phần dư - 0.5 x delta).
Hai nhánh khớp nhau cả về giá trị lẫn độ dốc. Trong quá trình lan truyền ngược, đạo hàm theo giá trị dự đoán bằng phần dư trong vùng bậc hai; bên ngoài vùng này, độ lớn của đạo hàm bị giới hạn ở delta. Do đó, phần dư ngày càng lớn không còn tạo ra gradient dự đoán ngày càng lớn. Đuôi tuyến tính giới hạn mức độ mà một sai số cực lớn kéo kết quả khớp lệch khỏi các quan sát còn lại.
Chọn Delta và so sánh các hàm loss#
Sai số bình phương trung bình (MSE) lấy trung bình bình phương các phần dư và nhấn mạnh mạnh các sai số lớn. Sai số tuyệt đối trung bình (MAE), còn gọi là loss L1 khi áp dụng cho từng phần tử, sử dụng giá trị tuyệt đối của phần dư xuyên suốt và có một điểm gấp khúc tại 0. Huber loss kết hợp hành vi bậc hai gần 0 với các đuôi tuyến tính, tạo ra hàm mục tiêu khả vi liên tục cho gradient descent.
Delta lớn hơn mở rộng vùng sai số bình phương. Delta nhỏ hơn đưa nhiều phần dư hơn vào vùng tuyến tính có khả năng chống chịu giá trị ngoại lệ và làm giảm độ dốc của vùng này. Delta có cùng đơn vị với phần dư, vì vậy việc chuẩn hóa giá trị mục tiêu làm thay đổi ý nghĩa của delta. Khi chuyển đơn vị giá trị mục tiêu từ mét sang centimet, cần nhân delta với 100 để giữ nguyên điểm chuyển tiếp tương đối so với dữ liệu.
Việc chọn delta là một bài toán tinh chỉnh siêu tham số: so sánh các giá trị ứng viên trên dữ liệu xác thực bằng metric hồi quy dự định sử dụng. Huber loss phù hợp với dự đoán giá trị liên tục; cross-entropy loss và hinge loss phục vụ các mục tiêu phân loại.
Ứng dụng trong hồi quy và thị giác máy tính#
Trong hồi quy tuyến tính, các quan sát cực trị có thể khiến kết quả khớp theo sai số bình phương lệch khỏi xu hướng chính của dữ liệu. Kết quả khớp bằng HuberRegressor trên một tập dữ liệu hồi quy được tạo với bốn giá trị ngoại lệ được thêm vào bám sát xu hướng chính hơn so với kết quả khớp theo sai số bình phương bị các quan sát đó chi phối.
Trong phát hiện đối tượng, Fast R-CNN của Ross Girshick sử dụng loss Smooth L1, tương đương với Huber loss có delta bằng 1, cho tác vụ hồi quy bounding box. Các đuôi tuyến tính giúp giảm độ nhạy với sai số tọa độ ngoại lệ, vốn có thể tạo ra gradient lớn trong quá trình huấn luyện.
Ultralytics YOLO hỗ trợ các tiêu chí huấn luyện tùy chỉnh thông qua phương thức init_criterion() của model, cung cấp điểm tích hợp cho các hàm mục tiêu hồi quy tùy chỉnh dựa trên Huber. Việc tùy chỉnh như vậy làm thay đổi cách sai số hồi quy đóng góp vào các lần cập nhật model.
Huber Loss trong Python#
PyTorch cung cấp torch.nn.HuberLoss với delta và reduction có thể cấu hình. Sau khi cài đặt torch bằng pip install torch, phép tính sau đây cho thấy mức đóng góp của từng phần dư:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Giữ lại loss của từng phần tử để thể hiện đuôi tuyến tính.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())Đầu ra là [0.125, 1.5, 9.5] so với [0.25, 4.0, 100.0], cho thấy mức tăng hình phạt đã giảm đối với các phần dư lớn. Với reduction="mean", PyTorch lấy trung bình tất cả loss theo từng phần tử; "sum" cộng chúng lại.
Pseudo-Huber loss xấp xỉ dạng của Huber loss với vùng chuyển tiếp trơn và các đạo hàm bậc cao liên tục. Smooth L1 sử dụng quy ước tỷ lệ khác: trong PyTorch, khi beta bằng delta, Huber loss bằng Smooth L1 loss nhân với delta; hai hàm giống hệt nhau khi cả hai ngưỡng đều bằng 1.










