Mất tiêu cự

Mất mát tiêu điểm là một hàm mục tiêu chuyên biệt được thiết kế để giải quyết vấn đề mất cân bằng lớp cực độ trong huấn luyện học máy, đặc biệt là trong lĩnh vực thị giác máy tính. Trong nhiều tình huống phát hiện đối tượng, số lượng ví dụ nền (mục tiêu cực) vượt xa số lượng đối tượng quan tâm (mục tiêu tích cực). Các hàm mất mát tiêu chuẩn có thể bị quá tải bởi khối lượng lớn các đối tượng dễ bị tổn thương này. classify Các ví dụ nền, cản trở khả năng học các ví dụ tích cực, khó hơn của mô hình. Focal Loss giảm thiểu điều này bằng cách tự động điều chỉnh mức độ mất mát dựa trên độ tin cậy của dự đoán, giảm trọng số các ví dụ dễ và buộc mô hình tập trung nỗ lực huấn luyện vào các ví dụ tiêu cực khó và các đối tượng bị phân loại sai.

Giải quyết sự mất cân bằng giai cấp

Động lực chính đằng sau Focus Loss là cải thiện hiệu suất của các bộ phát hiện vật thể một giai đoạn , chẳng hạn như các phiên bản đầu của RetinaNet và các kiến trúc hiện đại như Ultralytics YOLO11 . Trong các hệ thống này, bộ phát hiện sẽ quét hình ảnh và tạo ra hàng nghìn vị trí ứng viên. Vì phần lớn hình ảnh thường là nền, tỷ lệ nền/vật thể thường có thể là 1000:1 hoặc cao hơn.

Nếu không có sự can thiệp, hiệu ứng tích lũy của các lỗi nhỏ từ số lượng lớn mẫu nền có thể chi phối các bản cập nhật gradient trong quá trình lan truyền ngược . Điều này khiến thuật toán tối ưu hóa ưu tiên việc phân loại mọi thứ thành nền để giảm thiểu lỗi tổng thể, thay vì học các đặc điểm tinh tế của các đối tượng thực tế. Focal Loss định hình lại đường cong mất mát tiêu chuẩn để giảm thiểu hình phạt cho các ví dụ mà mô hình đã tự tin, từ đó điều chỉnh trọng số mô hình cho các trường hợp khó.

Cơ chế và chức năng

Tổn thất Tiêu điểm là một phần mở rộng của Tổn thất Entropy Chéo tiêu chuẩn được sử dụng trong phân loại nhị phân. Nó đưa vào một hệ số điều chế làm giảm mức đóng góp của tổn thất khi độ tin cậy vào lớp đúng tăng lên. Khi một mô hình gặp một ví dụ "dễ"—chẳng hạn như một mảng trời trong mà nó xác định chính xác là nền với xác suất cao—hệ số điều chế sẽ đẩy tổn thất về gần bằng 0. Ngược lại, đối với các ví dụ "khó" mà dự đoán của mô hình không chính xác hoặc không chắc chắn, tổn thất vẫn đáng kể.

Hành vi này được kiểm soát bởi một tham số tập trung, thường được ký hiệu là gamma. Bằng cách điều chỉnh tham số này, các nhà khoa học dữ liệu có thể điều chỉnh mức độ giảm trọng số mạnh mẽ của hàm mất mát đối với các ví dụ được phân loại tốt. Điều này cho phép huấn luyện ổn định hơn trên dữ liệu huấn luyện có độ mất cân bằng cao, dẫn đến độ chính xác và khả năng thu hồi cao hơn cho các lớp hiếm.

Các Ứng dụng Thực tế

Khả năng xử lý sự mất cân bằng khiến Focal Loss trở nên thiết yếu trong các môi trường quan trọng về an toàn và có độ chính xác cao.

• Lái xe tự động: Trong bối cảnh xe tự động , một hệ thống thị giác phải detect Người đi bộ, người đi xe đạp và biển báo giao thông. Trong một nguồn cấp dữ liệu video thông thường, phần lớn pixel đại diện cho đường xá, bầu trời hoặc các tòa nhà, trong khi các chướng ngại vật quan trọng xuất hiện thưa thớt. Tính năng Mất Tiêu Cự giúp hệ thống nhận dạng bỏ qua dữ liệu mặt đường dồi dào và tập trung vào việc xác định các vật thể động tiềm ẩn nguy hiểm, xuất hiện không thường xuyên nhưng có tầm quan trọng cao đối với AI trong các giải pháp ô tô .
• Chẩn đoán Y khoa: Trong phân tích hình ảnh y khoa , việc xác định các bất thường như khối u hoặc gãy xương là một bài toán khó. Ảnh chụp não của một người khỏe mạnh gần như hoàn toàn là mô khỏe mạnh, với khối u chỉ chiếm một phần rất nhỏ thể tích. Việc sử dụng Mất Tiêu Điểm cho phép AI trong các mô hình chăm sóc sức khỏe học hỏi từ một vài điểm ảnh đại diện cho bệnh lý mà không bị ảnh hưởng bởi lượng mô khỏe mạnh quá lớn, giúp cải thiện độ nhạy của các công cụ chẩn đoán .

Thực hiện với Ultralytics

Các ultralytics Thư viện cung cấp một triển khai mạnh mẽ cho Focal Loss, có thể dễ dàng tích hợp vào các quy trình huấn luyện tùy chỉnh. Ví dụ sau đây minh họa cách khởi tạo hàm loss và tính toán sai số giữa logit dự đoán và nhãn thực tế.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss with a gamma of 1.5
criterion = FocalLoss(gamma=1.5)

# Example: Prediction logits (before activation) and Ground Truth labels (0 or 1)
preds = torch.tensor([[0.1], [2.5], [-1.0]], requires_grad=True)
targets = torch.tensor([[0.0], [1.0], [1.0]])

# Compute the loss
loss = criterion(preds, targets)
print(f"Focal Loss value: {loss.item():.4f}")

Mối quan hệ với các khái niệm khác

Sẽ rất hữu ích khi phân biệt Mất mát tiêu điểm với các thuật ngữ liên quan trong bối cảnh hàm mất mát:

• Suy hao Tiêu điểm so với Entropy Chéo: Suy hao Entropy Chéo là hàm cơ sở xử lý tất cả các ví dụ như nhau. Suy hao Tiêu điểm được xây dựng hoàn toàn dựa trên Entropy Chéo bằng cách thêm hệ số điều chế để giải quyết tình trạng mất cân bằng. Nếu tham số hội tụ (gamma) được đặt thành 0, Suy hao Tiêu điểm sẽ trở về Entropy Chéo tiêu chuẩn.
• Mất mát tiêu cự so với Mất mát IoU : Trong khi Mất mát tiêu cự giải quyết vấn đề phân loại (đối tượng là gì?), các hàm như Giao điểm trên Liên hợp ( IoU ) và các biến thể của nó ( GIoU , CIoU ) định vị địa chỉ (đối tượng ở đâu?). Các máy dò hiện đại như YOLO11 thường sử dụng hàm mất mát tổng hợp, kết hợp Mất mát tiêu cự để dự đoán lớp và IoU mất mát cho hồi quy hộp giới hạn .
• Mất tiêu cự so với Mất tiêu cự biến thiên: Mất tiêu cự biến thiên là một sự phát triển hơn nữa xử lý các ví dụ dương và âm một cách không đối xứng. Nó sử dụng IoU tính điểm để cân nhắc các ví dụ tích cực, ưu tiên những ví dụ có độ chính xác định vị cao hơn, trong khi Tiêu cự tiêu chuẩn xử lý tất cả các ví dụ tích cực như nhau.