Focal Loss

Focal loss là một hàm loss cross-entropy được điều chỉnh để giảm trọng số của các ví dụ mà model đã phân loại tốt, nhờ đó quá trình huấn luyện tập trung vào các ví dụ khó bị phân loại sai. Lin và cộng sự giới thiệu phương pháp này vào năm 2017 trong bài báo Focal Loss cho Phát hiện Vật thể Dense, cùng với detector RetinaNet, nhằm xử lý tình trạng mất cân bằng nghiêm trọng giữa nền và vật thể trong phát hiện vật thể. Hiện nay phương pháp này được sử dụng rộng rãi trong các bài toán phân loại có số lượng mẫu của một lớp vượt xa các lớp còn lại.

Bài toán mất cân bằng#

Detector vật thể one-stage phân loại mọi vị trí ứng viên trong ảnh; RetinaNet đánh giá khoảng 100.000 vị trí cho mỗi ảnh. Hầu hết các vị trí đó là nền, và model học cách loại bỏ chúng từ sớm trong quá trình huấn luyện. Với cross-entropy tiêu chuẩn, mỗi mẫu âm dễ vẫn đóng góp một loss nhỏ; số lượng quá lớn khiến chúng chi phối tổng loss và gradient, lấn át một vài vị trí có chứa vật thể. Detector vật thể two-stage tránh vấn đề này bằng cách lọc ứng viên qua giai đoạn đề xuất vùng và lấy mẫu theo tỷ lệ cố định giữa nền và tiền cảnh; các detector one-stage trước đây dựa vào khai thác mẫu âm khó. Focal loss xử lý mất cân bằng ngay trong hàm loss, nhờ vậy có thể huấn luyện trên mọi ứng viên mà không cần lấy mẫu.

Cách Focal Loss hoạt động#

Gọi p_t là xác suất model gán cho lớp chính xác. Cross-entropy là CE = -log(p_t), còn focal loss nhân giá trị này với một hệ số điều biến:

FL = -α_t (1 - p_t)^γ log(p_t)

• Tham số tập trung γ (gamma): Kiểm soát tốc độ giảm loss của các ví dụ dễ. Khi γ = 0, focal loss bằng cross-entropy. Khi p_t tiến gần 1, (1 - p_t)^γ tiến gần 0, trong khi ví dụ bị phân loại sai có p_t nhỏ vẫn giữ gần như toàn bộ loss cross-entropy. Với thiết lập tốt nhất trong bài báo là γ = 2, ví dụ được phân loại với p_t = 0.9 có loss thấp hơn 100 lần so với cross-entropy.
• Trọng số cân bằng α_t (alpha): Trọng số cố định cho lớp dương và phần bù của trọng số này cho lớp âm. RetinaNet dùng α = 0.25 với γ = 2; bài báo cũng chuẩn hóa tổng loss của mỗi ảnh theo số anchor được gán cho vật thể.

Hàm sigmoid_focal_loss trong torchvision triển khai công thức này. Đặt alpha=-1 sẽ tắt trọng số cân bằng, qua đó tách riêng ảnh hưởng của γ lên một ví dụ dương dễ, trung bình và khó:

import torch
import torch.nn.functional as F
from torchvision.ops import sigmoid_focal_loss

# Logits for three positive examples: easy, moderate, and hard
logits = torch.tensor([4.0, 1.0, -2.0])
targets = torch.ones(3)

# alpha=-1 turns off class weighting so only the gamma focusing term differs
bce = F.binary_cross_entropy_with_logits(logits, targets, reduction="none")
focal = sigmoid_focal_loss(logits, targets, alpha=-1, gamma=2.0, reduction="none")

for p, b, f in zip(logits.sigmoid(), bce, focal):
    print(f"p={p:.2f}  cross-entropy={b:.6f}  focal={f:.6f}  ratio={b / f:,.1f}x")

Focal loss giảm loss của ví dụ dễ (p = 0.98) khoảng 3.091 lần, ví dụ trung bình (p = 0.73) 13.8 lần và ví dụ khó (p = 0.12) chỉ 1.3 lần, nhờ đó ví dụ khó đóng góp gần như toàn bộ tín hiệu huấn luyện.

Focal Loss được sử dụng ở đâu#

Ngoài RetinaNet, focal loss và các biến thể còn huấn luyện nhánh phân loại của nhiều detector dense và detector dựa trên Transformer, bao gồm các model thuộc họ DETR như Deformable DETR. Trong phân tích ảnh y khoa, tổn thương thường chỉ chiếm một phần rất nhỏ số pixel, vì vậy model phân đoạn ảnh thường kết hợp focal loss với Dice loss để tránh bỏ sót các phát hiện nhỏ và tăng recall. Trong Ultralytics, trainer RT-DETR chấm điểm lớp bằng Varifocal Loss, còn module ultralytics.utils.loss cung cấp lớp FocalLoss với giá trị mặc định gamma=1.5 và alpha=0.25.

Focal Loss và các kỹ thuật liên quan#

• Gán trọng số theo lớp: Cross-entropy có trọng số áp dụng cùng một mức tăng cố định cho mọi ví dụ thuộc lớp hiếm dựa trên tần suất lớp. Focal loss gán trọng số cho từng ví dụ theo độ khó hiện tại, vì vậy trọng số thay đổi khi model học.
• Khai thác mẫu âm khó: Chỉ giữ lại các mẫu âm có loss cao nhất và loại bỏ phần còn lại. Focal loss giữ mọi ví dụ và giảm dần loss của các ví dụ dễ.
• Varifocal Loss: Biến thể bất đối xứng từ VarifocalNet chỉ giảm trọng số các mẫu âm và huấn luyện mẫu dương theo điểm số có xét IoU, nhờ đó độ tin cậy của lớp cũng phản ánh chất lượng định vị.
• Distribution Focal Loss (DFL): Hàm loss hồi quy bbox trong Generalized Focal Loss, xem mỗi cạnh bbox như một phân phối xác suất rời rạc. Phương pháp này chỉ chung tên với focal loss và được áp dụng cho hồi quy bbox.