Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Huber Loss

Huber loss kết hợp sai số bình phương và sai số tuyệt đối để giảm ảnh hưởng của giá trị ngoại lệ trong hồi quy, với ngưỡng delta có thể điều chỉnh và cách triển khai bằng Python.

Huber loss là một hàm loss dùng cho hồi quy, phạt các sai số dự đoán nhỏ theo bình phương và các sai số lớn theo tuyến tính. Hàm này tạo ra mục tiêu trơn cho model khi dự đoán gần đáp án đúng, đồng thời giảm ảnh hưởng của các sai số lớn bất thường. Vì vậy, Huber loss hữu ích khi phần lớn mẫu huấn luyện tuân theo một quy luật nhất quán nhưng một số mẫu có độ lệch cực lớn.

Peter J. Huber giới thiệu hàm này trong bài báo năm 1964 Ước lượng bền vững tham số vị trí. Huber loss vẫn là một công cụ nền tảng cho việc ước lượng bền vững: khớp một model có dự đoán ít nhạy cảm hơn với các giá trị ngoại lệ.

Cách Huber Loss hoạt động#

Phần dư là giá trị dự đoán trừ đi giá trị mục tiêu. Huber loss sử dụng một ngưỡng dương gọi là delta để xác định phần dư đóng góp như thế nào vào hàm mục tiêu:

  • Phần dư nhỏ: Khi giá trị tuyệt đối của phần dư không vượt quá delta, loss bằng một nửa bình phương phần dư.
  • Phần dư lớn: Khi vượt quá delta, loss bằng delta x (giá trị tuyệt đối của phần dư - 0.5 x delta).

Hai nhánh khớp nhau cả về giá trị lẫn độ dốc. Trong quá trình lan truyền ngược, đạo hàm theo giá trị dự đoán bằng phần dư trong vùng bậc hai; bên ngoài vùng này, độ lớn của đạo hàm bị giới hạn ở delta. Do đó, phần dư ngày càng lớn không còn tạo ra gradient dự đoán ngày càng lớn. Đuôi tuyến tính giới hạn mức độ mà một sai số cực lớn kéo kết quả khớp lệch khỏi các quan sát còn lại.

Chọn Delta và so sánh các hàm loss#

Sai số bình phương trung bình (MSE) lấy trung bình bình phương các phần dư và nhấn mạnh mạnh các sai số lớn. Sai số tuyệt đối trung bình (MAE), còn gọi là loss L1 khi áp dụng cho từng phần tử, sử dụng giá trị tuyệt đối của phần dư xuyên suốt và có một điểm gấp khúc tại 0. Huber loss kết hợp hành vi bậc hai gần 0 với các đuôi tuyến tính, tạo ra hàm mục tiêu khả vi liên tục cho gradient descent.

Delta lớn hơn mở rộng vùng sai số bình phương. Delta nhỏ hơn đưa nhiều phần dư hơn vào vùng tuyến tính có khả năng chống chịu giá trị ngoại lệ và làm giảm độ dốc của vùng này. Delta có cùng đơn vị với phần dư, vì vậy việc chuẩn hóa giá trị mục tiêu làm thay đổi ý nghĩa của delta. Khi chuyển đơn vị giá trị mục tiêu từ mét sang centimet, cần nhân delta với 100 để giữ nguyên điểm chuyển tiếp tương đối so với dữ liệu.

Việc chọn delta là một bài toán tinh chỉnh siêu tham số: so sánh các giá trị ứng viên trên dữ liệu xác thực bằng metric hồi quy dự định sử dụng. Huber loss phù hợp với dự đoán giá trị liên tục; cross-entropy loss và hinge loss phục vụ các mục tiêu phân loại.

Ứng dụng trong hồi quy và thị giác máy tính#

Trong hồi quy tuyến tính, các quan sát cực trị có thể khiến kết quả khớp theo sai số bình phương lệch khỏi xu hướng chính của dữ liệu. Kết quả khớp bằng HuberRegressor trên một tập dữ liệu hồi quy được tạo với bốn giá trị ngoại lệ được thêm vào bám sát xu hướng chính hơn so với kết quả khớp theo sai số bình phương bị các quan sát đó chi phối.

Trong phát hiện đối tượng, Fast R-CNN của Ross Girshick sử dụng loss Smooth L1, tương đương với Huber loss có delta bằng 1, cho tác vụ hồi quy bounding box. Các đuôi tuyến tính giúp giảm độ nhạy với sai số tọa độ ngoại lệ, vốn có thể tạo ra gradient lớn trong quá trình huấn luyện.

Ultralytics YOLO hỗ trợ các tiêu chí huấn luyện tùy chỉnh thông qua phương thức init_criterion() của model, cung cấp điểm tích hợp cho các hàm mục tiêu hồi quy tùy chỉnh dựa trên Huber. Việc tùy chỉnh như vậy làm thay đổi cách sai số hồi quy đóng góp vào các lần cập nhật model.

Huber Loss trong Python#

PyTorch cung cấp torch.nn.HuberLoss với delta và reduction có thể cấu hình. Sau khi cài đặt torch bằng pip install torch, phép tính sau đây cho thấy mức đóng góp của từng phần dư:

import torch

predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)

# Giữ lại loss của từng phần tử để thể hiện đuôi tuyến tính.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()

print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())

Đầu ra là [0.125, 1.5, 9.5] so với [0.25, 4.0, 100.0], cho thấy mức tăng hình phạt đã giảm đối với các phần dư lớn. Với reduction="mean", PyTorch lấy trung bình tất cả loss theo từng phần tử; "sum" cộng chúng lại.

Pseudo-Huber loss xấp xỉ dạng của Huber loss với vùng chuyển tiếp trơn và các đạo hàm bậc cao liên tục. Smooth L1 sử dụng quy ước tỷ lệ khác: trong PyTorch, khi beta bằng delta, Huber loss bằng Smooth L1 loss nhân với delta; hai hàm giống hệt nhau khi cả hai ngưỡng đều bằng 1.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning