Temperature Scaling

Temperature scaling là một kỹ thuật hậu xử lý được sử dụng rộng rãi nhằm hiệu chuẩn xác suất dự đoán của các mô hình Artificial Intelligence (AI) và Machine Learning (ML). Trong deep learning hiện đại, các mô hình thường biểu hiện tình trạng quá tự tin (overconfidence), nghĩa là xác suất dự đoán của chúng không phản ánh chính xác hiệu chuẩn thống kê thực tế hoặc mức độ chính xác có thể xảy ra. Temperature scaling giải quyết vấn đề này bằng cách chia điểm số đầu ra thô (logits) của mạng cho một tham số vô hướng duy nhất đã học được gọi là "temperature" (T) trước khi áp dụng hàm softmax. Sự điều chỉnh này làm mềm các xác suất mà không làm thay đổi quyết định image classification cuối cùng, đảm bảo rằng mức độ tin cậy của mô hình khớp chặt chẽ với độ chính xác thực tế của nó.

Cách thức hoạt động của Temperature Scaling#

Trong một mạng phân loại tiêu chuẩn, lớp cuối cùng xuất ra các logits thô, sau đó được chuyển qua một hàm kích hoạt softmax để tạo ra các xác suất có tổng bằng một. Các kiến trúc deep learning hiện đại, đặc biệt là những kiến trúc được tối ưu hóa mạnh mẽ với các loss functions như cross-entropy, có xu hướng đẩy các logits này đến các giá trị cực đoan để giảm thiểu hàm mất mát, dẫn đến hiện tượng mô hình bị sai lệch hiệu chuẩn và quá tự tin.

Temperature scaling đưa một tham số nhiệt độ (T) vào phương trình softmax.

• Khi T = 1, hàm softmax hoạt động như bình thường.
• Khi T > 1, các logit bị chia tỷ lệ nhỏ xuống, điều này làm mềm phân phối đầu ra, làm giảm độ tự tin đỉnh một cách hiệu quả và phân phối khối lượng xác suất đều hơn trên tất cả các lớp.
• Khi T < 1, phân phối trở nên sắc nét hơn, thúc đẩy mô hình tự tin hơn nữa vào dự đoán hàng đầu của nó.

Bằng cách tối ưu hóa T trên một tập hợp validation được chỉ định, các kỹ sư sẽ giảm thiểu sai số hiệu chuẩn kỳ vọng. Sự điều chỉnh một tham số đơn giản này rất được ưa chuộng vì nó đòi hỏi chi phí tính toán tối thiểu và bảo toàn độ chính xác ban đầu của model weights.

Temperature Scaling so với Label Smoothing#

Mặc dù cả hai kỹ thuật đều nhằm mục đích ngăn chặn overfitting và tình trạng quá tự tin, chúng hoạt động ở các giai đoạn khác nhau trong vòng đời của mô hình. Label smoothing được áp dụng trong quá trình huấn luyện. Nó làm thay đổi các mục tiêu ground-truth (ví dụ: thay đổi nhãn cứng từ 1.0 thành 0.9) để ngăn mô hình gán xác suất toàn phần cho một lớp duy nhất. Ngược lại, temperature scaling—và các biến thể mới hơn như Focal Temperature Scaling—là các phương pháp hiệu chuẩn hậu kỳ được áp dụng sau khi quá trình huấn luyện hoàn tất, nghĩa là chúng sửa đổi xác suất đầu ra của một mô hình đã được huấn luyện đầy đủ mà không đòi hỏi bất kỳ quá trình huấn luyện lại nào.

Các ứng dụng trong thực tế#

Hiệu chuẩn mô hình đúng cách là rất quan trọng đối với sự an toàn và độ tin cậy trong các ngành công nghiệp đa dạng:

• Medical Diagnostics: Trong các tác vụ như phát hiện u não, việc phân loại nhầm với độ tự tin thái quá có thể dẫn đến hậu quả lâm sàng nghiêm trọng. Việc sử dụng temperature scaling đảm bảo rằng hệ thống predictive modeling đưa ra các xác suất đáng tin cậy. Nếu dự đoán quét có độ bất định cao sau khi hiệu chuẩn, hệ thống có thể đánh dấu hình ảnh một cách tự tin để bác sĩ chẩn đoán hình ảnh xem xét thủ công. Các nghiên cứu gần đây về việc hiệu chuẩn các mô hình lâm sàng tiếp tục làm nổi bật giá trị của nó trong các môi trường chẩn đoán bị ràng buộc và có rủi ro cao.
• Large Language Models (LLMs): Đối với LLMs, temperature scaling được sử dụng rất nhiều để kiểm soát tính ngẫu nhiên của đầu ra và sự đa dạng của việc tạo văn bản, giống như tham số temperature của OpenAI. Nhiệt độ cao tạo ra văn bản sáng tạo và đa dạng hơn, trong khi nhiệt độ thấp mang lại các phản hồi tập trung và mang tính xác định. Khi nghiên cứu tiến步, các kỹ thuật như Adaptive Temperature Scaling (ATS) đang được phát triển để khắc phục tình trạng suy giảm hiệu chuẩn thường xảy ra sau khi học tăng cường từ phản hồi của con người.
• Autonomous Vehicles: Trong lái xe tự hành, các hệ thống object detection phải ngay lập tức quyết định xem một vật cản là người đi bộ hay một cái bóng. Việc hiệu chuẩn các mô hình thị giác này đảm bảo rằng các cơ chế dự phòng, chẳng hạn như phanh khẩn cấp, được kích hoạt một cách đáng tin cậy khi độ tin cậy thực sự của mô hình giảm xuống dưới ngưỡng an toàn quan trọng.

Ví dụ mã nguồn: Triển khai Temperature Scaling#

Đoạn mã sau minh họa cách bạn có thể áp dụng một hệ số nhiệt độ (temperature scalar) cho các logits thô của một mô hình classification Ultralytics YOLO26 sử dụng PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Đối với các nhóm muốn triển khai liền mạch các hệ thống thị giác máy tính đã được hiệu chuẩn, Ultralytics Platform cung cấp các công cụ mạnh mẽ để quản lý experiment tracking, tinh chỉnh mô hình và giám sát inference latency theo thời gian thực. Ngoài ra, kiến thức nền tảng về các kỹ thuật hiệu chuẩn hiện đại có thể được bắt nguồn từ các nghiên cứu có ảnh hưởng như "On Calibration of Modern Neural Networks", nghiên cứu đã phổ biến temperature scaling thành một tiêu chuẩn ngành. Để có thêm các triển khai thực tế, hãy khám phá các framework hiệu chuẩn xác suất của scikit-learn hoặc các mô hình nhận thức độ bất định của TensorFlow.