Focal Loss

Focal Loss là một hàm mục tiêu chuyên biệt chủ yếu được sử dụng trong học sâu để giải quyết thách thức về sự mất cân bằng dữ liệu nghiêm trọng. Trong nhiều tác vụ thị giác máy tính, ví dụ như phát hiện đối tượng, số lượng ví dụ nền (mẫu âm tính) nhiều hơn đáng kể so với các đối tượng cần quan tâm (mẫu dương tính). Các phương pháp tiêu chuẩn, như Cross-Entropy Loss được sử dụng rộng rãi, coi mọi sai số là như nhau, điều này thường khiến cho model bị quá tải bởi khối lượng lớn dữ liệu nền dễ phân loại. Focal Loss sửa đổi phép tính hàm mất mát tiêu chuẩn để giảm trọng số của các ví dụ dễ này, buộc optimization algorithm phải tập trung năng lực học tập vào các ví dụ "khó"—những đối tượng hiếm và khó phân loại vốn rất quan trọng đối với hiệu suất của model.

Link to this sectionCơ chế tập trung#

Cốt lõi cải tiến của Focal Loss nằm ở khả năng điều chỉnh tỷ lệ hình phạt được gán cho mỗi mẫu một cách linh hoạt dựa trên độ tin cậy của model. Trong một tình huống supervised learning điển hình, một trình phát hiện có thể đánh giá hàng nghìn vị trí ứng viên trong một hình ảnh. Vì hầu hết các vị trí này không chứa đối tượng nào, một loss function tiêu chuẩn sẽ tích lũy nhiều tín hiệu sai số nhỏ từ các mẫu âm tính dễ này, điều có thể làm át đi tín hiệu có giá trị từ một vài trường hợp dương tính.

Focal Loss giới thiệu một yếu tố điều biến làm giảm mức đóng góp của loss khi độ tin cậy đối với lớp đúng tăng lên. Điều này có nghĩa là nếu một model đã chắc chắn 99% rằng một vùng nền thực sự là nền, thì loss cho vùng đó được giảm xuống gần bằng không. Kết quả là, model weights được cập nhật chủ yếu dựa trên các mẫu bị phân loại sai hoặc những mẫu mà model chưa chắc chắn. Phương pháp có mục tiêu này là thiết yếu để huấn luyện các one-stage object detectors hiệu năng cao như YOLO26, cho phép chúng đạt độ chính xác cao mà không cần các giai đoạn lấy mẫu phức tạp.

Link to this sectionCác ứng dụng trong thực tế#

Xử lý training data bị mất cân bằng là rất quan trọng để triển khai các hệ thống AI mạnh mẽ trong các môi trường mà sự an toàn và độ chính xác là ưu tiên hàng đầu.

• AI in Healthcare: Trong các lĩnh vực như medical image analysis, việc xác định bệnh lý thường giống như mò kim đáy bể. Ví dụ, trong một bản quét MRI tìm kiếm các tổn thương nhỏ, mô khỏe mạnh có thể chiếm hơn 99% số pixel. Một model tiêu chuẩn có thể tối đa hóa độ chính xác đơn giản bằng cách dự đoán "khỏe mạnh" ở khắp mọi nơi, bỏ lỡ chẩn đoán quan trọng. Focal Loss cho phép hệ thống triệt tiêu tín hiệu từ mô khỏe mạnh dồi dào và ưu tiên học các đặc trưng tinh vi của các điểm bất thường, từ đó cải thiện recall cho các phát hiện cứu người.
• Autonomous Vehicles: Các hệ thống nhận thức cho xe tự lái phải phát hiện những người tham gia giao thông dễ bị tổn thương như người đi bộ hoặc người đi xe đạp trên nền phức tạp của các tòa nhà, đường phố và bầu trời. Mặc dù nền rất dễ học, nhưng các chướng ngại vật nhỏ hoặc ở xa gây ra thách thức đáng kể. Bằng cách sử dụng Focal Loss, các ứng dụng AI in automotive có thể đảm bảo ngăn xếp nhận thức không bỏ qua các đối tượng khó phát hiện này, duy trì các tiêu chuẩn an toàn ngay cả khi các mối nguy hiểm chỉ chiếm một phần nhỏ trong trường nhìn.

Link to this sectionTriển khai với Ultralytics#

Thư viện ultralytics bao gồm các triển khai tối ưu hóa của các hàm loss nâng cao để hỗ trợ các model hiện đại nhất. Mặc dù Ultralytics Platform tự động cấu hình các siêu tham số này để huấn luyện tối ưu, các nhà phát triển cũng có thể truy cập trực tiếp vào các thành phần này cho các nghiên cứu tùy chỉnh.

Ví dụ sau đây minh họa cách khởi tạo Focal Loss bằng gói tiện ích ultralytics và tính toán sai số cho một tập hợp các dự đoán.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

Link to this sectionSự khác biệt với các khái niệm liên quan#

Việc hiểu rõ vị trí của Focal Loss trong bối cảnh rộng lớn hơn của việc đo lường sai số sẽ giúp ích trong việc chọn chiến lược phù hợp cho các tác vụ thị giác máy tính cụ thể.

• Focal Loss vs. Cross-Entropy Loss: Cross-Entropy is the foundational metric for classification that penalizes predictions based on logarithmic error. Focal Loss is strictly an extension of Cross-Entropy; if the focusing parameter is set to zero, it mathematically reverts to standard Cross-Entropy. The key distinction is Focal Loss's ability to automatically down-weight easy negatives, making it superior for imbalanced datasets like COCO.
• Focal Loss vs. IoU Loss: Trong khi Focal Loss được thiết kế cho việc phân loại (xác định đối tượng là gì), thì IoU Loss được sử dụng cho việc định vị (xác định đối tượng ở đâu). Các trình phát hiện hiện đại sử dụng một hàm loss hỗn hợp kết hợp giữa Focal Loss cho xác suất lớp và các thước đo dựa trên IoU cho hồi quy bounding box.
• Focal Loss vs. Dice Loss: Dice Loss là một kỹ thuật khác được sử dụng để xử lý mất cân bằng, chủ yếu trong các tác vụ image segmentation. Trong khi Focal Loss hoạt động trên từng pixel hoặc từng mẫu dựa trên độ tin cậy, Dice Loss tối ưu hóa sự chồng lấp giữa các vùng dự đoán và vùng thực tế trên toàn bộ. Việc sử dụng kết hợp cả hai trong các segmentation workflows phức tạp là điều rất phổ biến.