Temperature Scaling

Temperature scaling là một kỹ thuật hậu xử lý (post-processing) được sử dụng rộng rãi nhằm hiệu chỉnh xác suất dự đoán của các mô hình Artificial Intelligence (AI) và Machine Learning (ML). Trong deep learning hiện đại, các mô hình thường thể hiện sự tự tin thái quá (overconfidence), nghĩa là các xác suất dự đoán của chúng không phản ánh chính xác statistical calibration thực tế hoặc khả năng dự đoán đúng. Temperature scaling giải quyết vấn đề này bằng cách chia điểm đầu ra thô (logits) của mạng cho một tham số vô hướng (scalar parameter) đã được học, gọi là "nhiệt độ" (T), trước khi áp dụng hàm softmax. Sự điều chỉnh này làm mềm các xác suất mà không thay đổi quyết định image classification cuối cùng, đảm bảo rằng confidence của mô hình tương ứng chặt chẽ với độ chính xác thực tế của nó.

Link to this sectionCách thức hoạt động của Temperature Scaling#

Trong một mạng phân loại tiêu chuẩn, lớp cuối cùng xuất ra các logits thô, sau đó được truyền qua hàm kích hoạt softmax để tạo ra các xác suất có tổng bằng một. Các kiến trúc deep learning hiện đại, đặc biệt là những kiến trúc được tối ưu hóa mạnh mẽ với các loss functions như cross-entropy, có xu hướng đẩy các logit này đến các giá trị cực đoan để giảm thiểu hàm mất mát, dẫn đến hiện tượng mô hình bị lệch hiệu chuẩn (miscalibrated) và quá tự tin.

Temperature scaling đưa một tham số nhiệt độ (T) vào phương trình softmax.

• Khi T = 1, hàm softmax hoạt động như bình thường.
• Khi T > 1, các logit bị chia tỷ lệ nhỏ xuống, điều này làm mềm phân phối đầu ra, làm giảm độ tự tin đỉnh một cách hiệu quả và phân phối khối lượng xác suất đều hơn trên tất cả các lớp.
• Khi T < 1, phân phối trở nên sắc nét hơn, thúc đẩy mô hình tự tin hơn nữa vào dự đoán hàng đầu của nó.

Bằng cách tối ưu hóa T trên một tập kiểm chứng (validation set) xác định, các kỹ sư giảm thiểu sai số hiệu chuẩn kỳ vọng. Sự điều chỉnh đơn giản bằng một tham số này được đánh giá cao vì nó đòi hỏi chi phí tính toán tối thiểu và bảo toàn độ chính xác ban đầu của model weights.

Link to this sectionTemperature Scaling so với Label Smoothing#

Mặc dù cả hai kỹ thuật đều nhằm ngăn chặn overfitting và tình trạng quá tự tin, chúng hoạt động ở các giai đoạn khác nhau của vòng đời mô hình. Label smoothing được áp dụng trong quá trình huấn luyện. Nó thay đổi các mục tiêu ground-truth (ví dụ, thay đổi nhãn cứng từ 1.0 thành 0.9) để ngăn mô hình gán xác suất đầy đủ cho một lớp duy nhất. Ngược lại, temperature scaling—và các biến thể mới hơn như Focal Temperature Scaling—là các phương pháp hiệu chuẩn hậu kiểm (post-hoc) được áp dụng sau khi huấn luyện hoàn tất, nghĩa là chúng sửa đổi xác suất đầu ra của một mô hình đã được huấn luyện đầy đủ mà không cần phải huấn luyện lại.

Link to this sectionCác ứng dụng trong thực tế#

Hiệu chuẩn mô hình đúng cách là rất quan trọng đối với sự an toàn và độ tin cậy trong các ngành công nghiệp đa dạng:

• Chẩn đoán Y tế: Trong các tác vụ như phát hiện khối u não, việc phân loại sai do quá tự tin có thể dẫn đến những hậu quả lâm sàng nghiêm trọng. Việc sử dụng temperature scaling đảm bảo hệ thống predictive modeling đưa ra các xác suất đáng tin cậy. Nếu dự đoán từ ảnh quét có độ không chắc chắn cao sau khi hiệu chỉnh, hệ thống có thể tự tin gắn cờ hình ảnh để bác sĩ chẩn đoán hình ảnh xem xét thủ công. Các nghiên cứu gần đây về hiệu chỉnh mô hình lâm sàng tiếp tục làm nổi bật giá trị của phương pháp này trong các môi trường chẩn đoán đòi hỏi độ chính xác cao và hạn chế.
• Large Language Models (LLMs): Đối với các LLM, temperature scaling được sử dụng nhiều để kiểm soát tính ngẫu nhiên của đầu ra và sự đa dạng của quá trình tạo văn bản, như đã thấy với OpenAI's temperature parameter. Nhiệt độ cao tạo ra văn bản sáng tạo và đa dạng hơn, trong khi nhiệt độ thấp mang lại các phản hồi tập trung và có tính quyết định. Khi nghiên cứu tiến triển, các kỹ thuật như Adaptive Temperature Scaling (ATS) đang được phát triển để sửa lỗi suy giảm hiệu chuẩn thường xảy ra sau khi học tăng cường từ phản hồi của con người (reinforcement learning from human feedback).
• Autonomous Vehicles: Trong lái xe tự động, các hệ thống object detection phải quyết định ngay lập tức xem vật cản là người đi bộ hay chỉ là một cái bóng. Việc hiệu chuẩn các mô hình thị giác này đảm bảo rằng các cơ chế dự phòng, chẳng hạn như phanh khẩn cấp, được kích hoạt một cách đáng tin cậy khi độ tự tin thực sự của mô hình giảm xuống dưới ngưỡng an toàn quan trọng.

Link to this sectionVí dụ mã nguồn: Triển khai Temperature Scaling#

The following snippet demonstrates how you might apply a temperature scalar to the raw logits of an Ultralytics YOLO26 classification model using PyTorch.

import torch
import torch.nn.functional as F
from ultralytics import YOLO

# Load a pre-trained Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Assume 'logits' are the raw outputs from the model prior to activation
# (e.g., obtained via a custom forward pass or feature extraction)
logits = torch.tensor([[5.0, 2.0, 0.5]])

# Define an optimized temperature scalar (T > 1 softens the probabilities)
temperature = 1.5

# Apply temperature scaling before passing logits to the softmax function
scaled_logits = logits / temperature
calibrated_probabilities = F.softmax(scaled_logits, dim=1)

print(f"Original Softmax: {F.softmax(logits, dim=1)}")
print(f"Calibrated Probabilities: {calibrated_probabilities}")

Đối với các đội ngũ muốn triển khai các hệ thống thị giác máy tính đã được hiệu chuẩn một cách liền mạch, Ultralytics Platform cung cấp các công cụ mạnh mẽ để quản lý experiment tracking, tinh chỉnh mô hình và giám sát inference latency theo thời gian thực. Ngoài ra, kiến thức nền tảng về các kỹ thuật hiệu chuẩn hiện đại có thể được truy xuất từ các nghiên cứu có ảnh hưởng như "On Calibration of Modern Neural Networks", nghiên cứu đã phổ biến temperature scaling thành một tiêu chuẩn ngành. Để có thêm các triển khai thực tế, hãy khám phá các framework scikit-learn's probability calibration hoặc các mô hình TensorFlow's uncertainty-aware models.