Focal Loss

Focal Loss là một hàm mục tiêu chuyên biệt, chủ yếu được sử dụng trong deep learning để giải quyết thách thức mất cân bằng lớp nghiêm trọng. Trong nhiều tác vụ thị giác máy tính, chẳng hạn như phát hiện đối tượng, số lượng mẫu nền (mẫu âm) lớn hơn đáng kể so với các đối tượng cần quan tâm (mẫu dương). Các phương pháp tiêu chuẩn, như Cross-Entropy Loss được sử dụng rộng rãi, xử lý mọi lỗi như nhau, điều này thường khiến model bị quá tải bởi khối lượng dữ liệu nền dễ phân loại. Focal Loss điều chỉnh phép tính loss tiêu chuẩn để giảm trọng số của các mẫu dễ này, buộc thuật toán tối ưu hóa tập trung năng lực học vào các mẫu "khó"—những đối tượng hiếm gặp và khó phân loại, vốn đóng vai trò quan trọng đối với hiệu năng của model.

Cơ chế tập trung#

Đổi mới cốt lõi của Focal Loss nằm ở khả năng điều chỉnh động mức phạt áp dụng cho từng mẫu dựa trên độ tin cậy của model. Trong một kịch bản học có giám sát điển hình, một detector có thể đánh giá hàng nghìn vị trí ứng viên trong một hình ảnh. Vì hầu hết các vị trí này không chứa đối tượng, một hàm loss tiêu chuẩn sẽ tích lũy nhiều tín hiệu lỗi nhỏ từ các mẫu âm dễ phân loại, có thể lấn át tín hiệu giá trị từ một vài mẫu dương.

Focal Loss đưa vào một hệ số điều biến làm giảm phần đóng góp vào loss khi độ tin cậy đối với lớp đúng tăng lên. Điều này có nghĩa là nếu model đã chắc chắn 99% rằng một vùng ảnh nền thực sự là nền, loss cho vùng ảnh đó sẽ giảm xuống gần bằng không. Do đó, trọng số model chủ yếu được cập nhật dựa trên các mẫu bị phân loại sai hoặc những mẫu mà model không chắc chắn. Cách tiếp cận có trọng điểm này rất cần thiết để huấn luyện các detector đối tượng một giai đoạn hiệu năng cao như YOLO26, giúp chúng đạt độ chính xác cao mà không cần các giai đoạn lấy mẫu phức tạp.

Các ứng dụng trong thực tế#

Xử lý dữ liệu huấn luyện mất cân bằng là yếu tố then chốt để triển khai các hệ thống AI mạnh mẽ trong những môi trường đòi hỏi an toàn và độ chính xác cao.

• AI trong Y tế: Trong các lĩnh vực như phân tích ảnh y khoa, việc xác định bệnh lý thường giống như tìm kim đáy bể. Chẳng hạn, trong một ảnh chụp MRI để tìm các tổn thương nhỏ, mô khỏe mạnh có thể chiếm hơn 99% số pixel. Một model tiêu chuẩn có thể tối đa hóa độ chính xác đơn giản bằng cách dự đoán "khỏe mạnh" ở mọi vị trí, khiến chẩn đoán quan trọng bị bỏ sót. Focal Loss cho phép hệ thống làm suy giảm tín hiệu từ mô khỏe mạnh dồi dào và ưu tiên học các đặc trưng tinh tế của những điểm bất thường, qua đó cải thiện recall cho các phát hiện có ý nghĩa cứu sống.
• Xe tự hành: Các hệ thống nhận thức dành cho xe tự lái phải phát hiện những người tham gia giao thông dễ bị tổn thương như người đi bộ hoặc người đi xe đạp giữa phông nền phức tạp gồm các tòa nhà, đường sá và bầu trời. Mặc dù nền dễ học, các chướng ngại vật nhỏ hoặc ở xa lại đặt ra thách thức đáng kể. Bằng cách sử dụng Focal Loss, các ứng dụng AI trong ngành ô tô có thể đảm bảo hệ thống nhận thức không bỏ qua những đối tượng khó phát hiện này, duy trì các tiêu chuẩn an toàn ngay cả khi mối nguy chỉ chiếm một phần rất nhỏ trong trường nhìn.

Triển khai với Ultralytics#

Thư viện ultralytics bao gồm các triển khai được tối ưu hóa của những hàm loss nâng cao để hỗ trợ các model hiện đại. Mặc dù Ultralytics Platform tự động cấu hình các hyperparameter này để tối ưu hóa quá trình huấn luyện, developer cũng có thể truy cập trực tiếp các thành phần này cho nghiên cứu tùy chỉnh.

Ví dụ sau minh họa cách khởi tạo Focal Loss bằng gói tiện ích ultralytics và tính toán lỗi cho một tập hợp các dự đoán.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

Phân biệt với các khái niệm liên quan#

Hiểu được vị trí của Focal Loss trong bức tranh tổng thể về phép đo lỗi sẽ giúp lựa chọn chiến lược phù hợp cho các tác vụ thị giác máy tính cụ thể.

• Focal Loss và Cross-Entropy Loss: Cross-Entropy là metric nền tảng cho bài toán phân loại, trong đó các dự đoán bị phạt dựa trên sai số logarit. Focal Loss hoàn toàn là một phần mở rộng của Cross-Entropy; nếu tham số tập trung được đặt bằng 0, về mặt toán học, nó sẽ trở về Cross-Entropy tiêu chuẩn. Điểm khác biệt cốt lõi là khả năng tự động giảm trọng số của các mẫu âm dễ phân loại của Focal Loss, khiến nó vượt trội đối với các dataset mất cân bằng như COCO.
• Focal Loss và IoU Loss: Trong khi Focal Loss được thiết kế cho phân loại (xác định một đối tượng là gì), IoU Loss được sử dụng cho định vị (xác định một đối tượng ở đâu). Các detector hiện đại sử dụng một hàm loss kết hợp, trong đó Focal Loss xử lý xác suất lớp còn các metric dựa trên IoU xử lý hồi quy bounding box.
• Focal Loss và Dice Loss: Dice Loss là một kỹ thuật khác được sử dụng để xử lý mất cân bằng, chủ yếu trong các tác vụ phân đoạn hình ảnh. Trong khi Focal Loss hoạt động trên từng pixel hoặc mẫu riêng lẻ dựa trên độ tin cậy, Dice Loss tối ưu hóa sự chồng lấp giữa các vùng được dự đoán và các vùng ground truth trên toàn cục. Việc sử dụng cả hai cùng nhau trong các quy trình phân đoạn phức tạp là điều phổ biến.