Half-Precision

Độ chính xác bán phần, thường được ký hiệu là FP16, là một định dạng dữ liệu dấu phẩy động chiếm 16 bit bộ nhớ máy tính, khác với định dạng độ chính xác đơn tiêu chuẩn (FP32) sử dụng 32 bit. Trong lĩnh vực trí tuệ nhân tạo và machine learning, độ chính xác bán phần là một kỹ thuật tối ưu hóa quan trọng được sử dụng để tăng tốc quá trình huấn luyện và suy luận model, đồng thời giảm đáng kể mức tiêu thụ bộ nhớ. Bằng cách lưu trữ các giá trị số—chẳng hạn như trọng số model mạng neuron và gradient—bằng ít bit hơn, các developer có thể đưa những model lớn hơn lên GPU, bộ xử lý đồ họa hoặc chạy các model hiện có nhanh hơn nhiều. Mức tăng hiệu suất này rất cần thiết khi triển khai các kiến trúc hiện đại, phức tạp như YOLO26 trên các thiết bị hạn chế tài nguyên mà không làm giảm đáng kể độ chính xác.

Cơ chế của các định dạng dấu phẩy động#

Để hiểu độ chính xác bán phần, việc đối chiếu với độ chính xác đầy đủ sẽ hữu ích. Một số dấu phẩy động 32 bit tiêu chuẩn (FP32) dành nhiều bit hơn cho phần mũ và phần định trị, mang lại phạm vi động rất rộng và độ chính xác số cao. Tuy nhiên, các model deep learning nổi tiếng là có khả năng chống chịu tốt trước những sai số số học nhỏ. Mạng neuron thường vẫn có thể học hiệu quả ngay cả với phạm vi động và độ phân giải thấp hơn mà định dạng 16 bit cung cấp.

Chuyển sang độ chính xác bán phần giúp giảm một nửa yêu cầu về băng thông bộ nhớ. Điều này cho phép sử dụng batch size lớn hơn trong quá trình huấn luyện, qua đó có thể ổn định các cập nhật gradient và tăng tốc quá trình huấn luyện tổng thể. Các bộ tăng tốc phần cứng hiện đại, chẳng hạn như Tensor Core của NVIDIA, được tối ưu hóa chuyên biệt để thực hiện phép nhân ma trận bằng FP16 với tốc độ cao hơn đáng kể so với FP32.

Các lợi ích chính trong quy trình AI#

Việc áp dụng độ chính xác bán phần mang lại một số lợi ích thiết thực cho các chuyên gia AI:

• Giảm dung lượng bộ nhớ: Model yêu cầu một nửa VRAM (RAM video), cho phép các developer huấn luyện mạng lớn hơn hoặc sử dụng dữ liệu huấn luyện có độ phân giải cao hơn trên cùng một phần cứng.
• Suy luận nhanh hơn: Đối với các ứng dụng thời gian thực, chẳng hạn như phương tiện tự hành hoặc phân tích video, FP16 có thể tăng gấp đôi thông lượng (số khung hình trên giây), qua đó giảm độ trễ suy luận.
• Hiệu quả năng lượng: Xử lý ít bit hơn cần ít năng lượng hơn, điều này rất quan trọng đối với các thiết bị AI biên và điện thoại di động, nơi thời lượng pin là một hạn chế.
• Huấn luyện độ chính xác hỗn hợp: Nhiều framework hiện đại sử dụng độ chính xác hỗn hợp, trong đó model giữ một bản sao chính của các trọng số ở FP32 để đảm bảo tính ổn định nhưng thực hiện các phép tính nặng bằng FP16. Cách này mang lại "lợi ích tốt nhất của cả hai"—tốc độ và độ ổn định hội tụ.

Các ứng dụng trong thực tế#

Độ chính xác bán phần được sử dụng phổ biến trong các hệ thống AI cấp production. Dưới đây là hai ví dụ cụ thể:

1. Phát hiện vật thể thời gian thực trên thiết bị biên: Hãy xem xét một hệ thống camera an ninh chạy Ultralytics YOLO26 để phát hiện kẻ xâm nhập. Triển khai model ở FP16 cho phép model chạy mượt mà trên một chip nhúng như NVIDIA Jetson hoặc Raspberry Pi AI Kit. Tải tính toán giảm giúp hệ thống xử lý các luồng video ở chế độ suy luận thời gian thực mà không bị trễ, điều này rất quan trọng để gửi cảnh báo kịp thời.

2. Triển khai mô hình ngôn ngữ lớn (LLM): Các model AI tạo sinh, chẳng hạn như GPT-4 hoặc các biến thể Llama, có hàng tỷ tham số. Việc tải các model này ở độ chính xác đầy đủ (FP32) sẽ yêu cầu lượng bộ nhớ máy chủ rất lớn, thường có chi phí quá cao. Bằng cách chuyển đổi các model này sang FP16 (hoặc thậm chí các định dạng thấp hơn), các nhà cung cấp cloud có thể phục vụ model nền tảng cho hàng nghìn người dùng đồng thời, giúp các dịch vụ như chatbot và tạo nội dung tự động trở nên khả thi về mặt kinh tế.

Độ chính xác bán phần so với lượng tử hóa#

Mặc dù cả hai kỹ thuật đều nhằm giảm kích thước model, điều quan trọng là phải phân biệt 'Độ chính xác bán phần' với lượng tử hóa model.

• Độ chính xác bán phần (FP16): Giảm độ rộng bit từ 32 xuống 16 nhưng vẫn giữ dữ liệu dưới dạng số dấu phẩy động. Phương pháp này duy trì phạm vi động hợp lý và thường là lựa chọn mặc định cho huấn luyện GPU và suy luận.
• Lượng tử hóa (INT8): Chuyển đổi các số dấu phẩy động thành số nguyên (thường là 8 bit). Phương pháp này mang lại mức tăng tốc và tiết kiệm bộ nhớ lớn hơn nữa, nhưng đôi khi có thể dẫn đến mức giảm độ chính xác dễ nhận thấy hơn nếu không được thực hiện cẩn thận (ví dụ: thông qua huấn luyện nhận biết lượng tử hóa). FP16 thường an toàn hơn trong việc duy trì hiệu năng model, trong khi INT8 được sử dụng để tối ưu hóa ở mức cao nhất.

Triển khai độ chính xác bán phần với Ultralytics#

Thư viện ultralytics giúp việc sử dụng độ chính xác bán phần trở nên đơn giản. Trong quá trình dự đoán, model có thể tự động chuyển sang độ chính xác bán phần nếu phần cứng hỗ trợ, hoặc có thể được yêu cầu chuyển đổi một cách tường minh.

Dưới đây là một ví dụ Python minh họa cách tải model YOLO26 và thực hiện suy luận bằng độ chính xác bán phần. Lưu ý rằng việc chạy ở half=True thường yêu cầu GPU hỗ trợ CUDA.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

Đối với người dùng quản lý dataset và pipeline huấn luyện, Ultralytics Platform tự động xử lý nhiều tối ưu hóa trong số này trên cloud, giúp đơn giản hóa quá trình chuyển đổi từ gán nhãn đến triển khai model đã tối ưu.

Tài liệu đọc thêm và tài nguyên#

Để tìm hiểu thêm về các định dạng số và tác động của chúng đối với AI, hãy tham khảo Tài liệu Hiệu năng Deep Learning của NVIDIA liên quan đến Tensor Core. Để hiểu rộng hơn về cách các tối ưu hóa này phù hợp với vòng đời phát triển, hãy đọc về vận hành machine learning (MLOps).

Ngoài ra, những người quan tâm đến sự đánh đổi giữa các chiến lược tối ưu hóa khác nhau có thể tìm hiểu về pruning, kỹ thuật loại bỏ các kết nối thay vì giảm độ chính xác theo bit, hoặc tham khảo Tiêu chuẩn IEEE về Số học Dấu phẩy động (IEEE 754) để xem các thông số kỹ thuật về số học kỹ thuật số. Việc hiểu rõ những nền tảng này giúp đưa ra quyết định sáng suốt khi export model sang các định dạng như ONNX hoặc TensorRT cho môi trường production.