Temperature Scaling

Temperature scaling là một kỹ thuật hậu xử lý được sử dụng rộng rãi, được thiết kế để hiệu chỉnh các xác suất dự đoán của các mô hình Trí tuệ nhân tạo (AI) và Học máy (ML). Trong deep learning hiện đại, các mô hình thường thể hiện sự tự tin thái quá, nghĩa là các xác suất dự đoán của chúng không phản ánh chính xác hiệu chuẩn thống kê thực tế hoặc khả năng chính xác. Temperature scaling giải quyết vấn đề này bằng cách chia các điểm số đầu ra thô (logits) của mạng cho một tham số vô hướng duy nhất đã học, được gọi là "nhiệt độ" (T), trước khi áp dụng hàm softmax. Điều chỉnh này làm giảm độ gắt của xác suất mà không thay đổi quyết định phân loại hình ảnh cuối cùng, đảm bảo rằng độ tin cậy của mô hình phù hợp chặt chẽ với độ chính xác thực tế của nó.

Link to this sectionCách thức hoạt động của Temperature Scaling#

Trong một mạng phân loại tiêu chuẩn, lớp cuối cùng xuất ra các logits thô, sau đó được truyền qua một kích hoạt softmax để tạo ra các xác suất có tổng bằng một. Các kiến trúc deep learning hiện đại, đặc biệt là những kiến trúc được tối ưu hóa mạnh mẽ bằng hàm mất mát như cross-entropy, có xu hướng đẩy các logits này đến các giá trị cực đoan để giảm thiểu mất mát, dẫn đến hiện tượng mô hình bị lệch hiệu chuẩn và quá tự tin.

Temperature scaling giới thiệu một tham số nhiệt độ (T) vào phương trình softmax.

• Khi T = 1, hàm softmax hoạt động bình thường.
• Khi T > 1, các logits được thu nhỏ lại, giúp làm mềm phân phối đầu ra, làm giảm hiệu quả độ tự tin cực đại và phân phối khối xác suất đồng đều hơn trên tất cả các lớp.
• Khi T < 1, phân phối trở nên sắc nét hơn, thúc đẩy mô hình tự tin hơn nữa vào dự đoán hàng đầu của nó.

Bằng cách tối ưu hóa T trên một tập xác thực được chỉ định, các kỹ sư giảm thiểu sai số hiệu chuẩn kỳ vọng. Điều chỉnh đơn giản, chỉ sử dụng một tham số này rất được ưa chuộng vì nó đòi hỏi chi phí tính toán tối thiểu và bảo toàn độ chính xác ban đầu của trọng số mô hình.

Link to this sectionTemperature Scaling so với Label Smoothing#

Mặc dù cả hai kỹ thuật đều nhằm mục đích ngăn chặn quá khớp và sự tự tin thái quá, chúng hoạt động ở các giai đoạn khác nhau trong vòng đời của mô hình. Label smoothing được áp dụng trong quá trình đào tạo. Nó thay đổi các mục tiêu thực tế (ví dụ: thay đổi nhãn cứng từ 1.0 thành 0.9) để ngăn mô hình gán toàn bộ xác suất cho một lớp duy nhất. Ngược lại, temperature scaling—và các biến thể mới hơn như Focal Temperature Scaling—là các phương pháp hiệu chuẩn hậu hĩnh được áp dụng sau khi quá trình đào tạo hoàn tất, nghĩa là chúng sửa đổi xác suất đầu ra của một mô hình đã được đào tạo đầy đủ mà không yêu cầu đào tạo lại.

Link to this sectionCác ứng dụng thực tế#

Việc hiệu chuẩn mô hình đúng cách là rất quan trọng đối với sự an toàn và độ tin cậy trong các ngành công nghiệp đa dạng:

• Chẩn đoán y tế: Trong các tác vụ như phát hiện khối u não, việc phân loại sai do quá tự tin có thể dẫn đến hậu quả lâm sàng nghiêm trọng. Việc sử dụng temperature scaling đảm bảo rằng hệ thống mô hình hóa dự đoán xuất ra các xác suất đáng tin cậy. Nếu dự đoán quét có độ không chắc chắn cao sau khi hiệu chuẩn, hệ thống có thể tự tin gắn cờ hình ảnh để bác sĩ chẩn đoán hình ảnh xem xét thủ công. Các nghiên cứu gần đây về hiệu chuẩn mô hình lâm sàng tiếp tục làm nổi bật giá trị của nó trong các môi trường chẩn đoán đòi hỏi khắt khe và rủi ro cao.
• Các mô hình ngôn ngữ lớn (LLM): Đối với các LLM, temperature scaling được sử dụng nhiều để kiểm soát tính ngẫu nhiên của đầu ra và sự đa dạng trong tạo văn bản, như đã thấy với tham số nhiệt độ của OpenAI. Nhiệt độ cao tạo ra văn bản sáng tạo, đa dạng hơn, trong khi nhiệt độ thấp mang lại các phản hồi có tính quyết định và tập trung hơn. Khi nghiên cứu tiến triển, các kỹ thuật như Adaptive Temperature Scaling (ATS) đang được phát triển để khắc phục sự suy giảm hiệu chuẩn thường xảy ra sau khi học tăng cường từ phản hồi của con người.
• Phương tiện tự hành: Trong lái xe tự động, các hệ thống phát hiện đối tượng phải quyết định ngay lập tức xem chướng ngại vật là người đi bộ hay chỉ là bóng râm. Việc hiệu chuẩn các mô hình thị giác này đảm bảo rằng các cơ chế dự phòng, chẳng hạn như phanh khẩn cấp, được kích hoạt một cách đáng tin cậy khi độ tự tin thực sự của mô hình giảm xuống dưới ngưỡng an toàn quan trọng.

Link to this sectionVí dụ mã: Triển khai Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Đối với các nhóm đang tìm cách triển khai các hệ thống thị giác máy tính đã được hiệu chuẩn một cách liền mạch, Ultralytics Platform cung cấp các công cụ mạnh mẽ để quản lý theo dõi thí nghiệm, tinh chỉnh các mô hình và giám sát độ trễ suy luận theo thời gian thực. Ngoài ra, kiến thức nền tảng về các kỹ thuật hiệu chuẩn hiện đại có thể được truy xuất từ các nghiên cứu có tầm ảnh hưởng như "On Calibration of Modern Neural Networks", nghiên cứu đã phổ biến temperature scaling như một tiêu chuẩn ngành. Để có các triển khai thực tế hơn, hãy khám phá các khung hiệu chuẩn xác suất của scikit-learn hoặc các mô hình nhận thức sự không chắc chắn của TensorFlow.