Half-Precision

Độ chính xác bán phần (half-precision), thường được ký hiệu là FP16, là một định dạng dữ liệu dấu phẩy động chiếm 16 bit bộ nhớ máy tính, khác với định dạng đơn chính xác chuẩn (FP32) sử dụng 32 bit. Trong bối cảnh trí tuệ nhân tạo và học máy, độ chính xác bán phần là một kỹ thuật tối ưu hóa quan trọng được sử dụng để tăng tốc quá trình huấn luyện mô hình và suy luận đồng thời giảm đáng kể mức tiêu thụ bộ nhớ. Bằng cách lưu trữ các giá trị số—chẳng hạn như trọng số mô hình và độ dốc (gradients) của mạng neural—bằng ít bit hơn, các nhà phát triển có thể đưa các mô hình lớn hơn vào GPU (đơn vị xử lý đồ họa) hoặc chạy các mô hình hiện có nhanh hơn nhiều. Sự gia tăng hiệu quả này rất cần thiết để triển khai các kiến trúc hiện đại, phức tạp như YOLO26 trên các thiết bị bị giới hạn tài nguyên mà không làm hy sinh đáng kể độ chính xác.

Cơ chế của các định dạng dấu phẩy động#

Để hiểu về độ chính xác bán phần, việc đối chiếu nó với độ chính xác toàn phần sẽ rất hữu ích. Một số dấu phẩy động 32-bit chuẩn (FP32) dành nhiều bit hơn cho phần mũ (exponent) và phần định trị (mantissa), cung cấp dải động rất rộng và độ chính xác số cao. Tuy nhiên, các mô hình học sâu nổi tiếng là có khả năng chống chọi tốt với các lỗi số học nhỏ. Các mạng neural thường có thể học tập hiệu quả ngay cả với dải động và độ chi tiết đã giảm được cung cấp bởi định dạng 16-bit.

Việc chuyển đổi sang độ chính xác bán phần giúp cắt giảm một nửa yêu cầu về băng thông bộ nhớ. Điều này cho phép sử dụng kích thước lô (batch sizes) lớn hơn trong quá trình huấn luyện, giúp ổn định việc cập nhật độ dốc và tăng tốc quá trình huấn luyện tổng thể. Các bộ tăng tốc phần cứng hiện đại, chẳng hạn như Tensor Cores của NVIDIA, được tối ưu hóa đặc biệt để thực hiện các phép nhân ma trận ở định dạng FP16 với tốc độ cao hơn đáng kể so với FP32.

Những lợi ích chính trong các quy trình công việc AI#

Việc áp dụng độ chính xác bán phần mang lại một số ưu điểm thiết thực cho các kỹ sư AI:

• Giảm Dung Lượng Bộ Nhớ: Các mô hình yêu cầu một nửa VRAM (RAM video), cho phép các nhà phát triển huấn luyện các mạng lớn hơn hoặc sử dụng dữ liệu huấn luyện có độ phân giải cao hơn trên cùng một phần cứng.
• Suy Luận Nhanh Hơn: Đối với các ứng dụng thời gian thực, chẳng hạn như xe tự hành hoặc phân tích video, FP16 có thể nhân đôi thông lượng (khung hình trên giây), làm giảm độ trễ suy luận.
• Hiệu Quả Năng Lượng: Xử lý ít bit hơn đòi hỏi ít năng lượng hơn, điều này rất quan trọng đối với các thiết bị edge AI và điện thoại di động nơi thời lượng pin là một hạn chế.
• Huấn Luyện Độ Chính Xác Hỗn Hợp (Mixed Precision Training): Nhiều framework hiện đại tận dụng độ chính xác hỗn hợp, nơi mô hình giữ một bản sao chính của trọng số ở định dạng FP32 để đảm bảo tính ổn định nhưng thực hiện các phép tính nặng ở định dạng FP16. Điều này mang lại "lợi ích từ cả hai phía"—tốc độ và sự ổn định khi hội tụ.

Các ứng dụng trong thực tế#

Độ chính xác bán phần rất phổ biến trong các hệ thống AI cấp sản xuất. Dưới đây là hai ví dụ cụ thể:

1. Phát Hiện Đối Tượng Thời Gian Thực trên Thiết Bị Biên: Hãy xem xét một hệ thống camera an ninh chạy Ultralytics YOLO26 để phát hiện kẻ đột nhập. Triển khai mô hình ở định dạng FP16 cho phép mô hình chạy mượt mà trên một chip nhúng như NVIDIA Jetson hoặc Raspberry Pi AI Kit. Tải tính toán giảm đảm bảo hệ thống có thể xử lý các luồng video ở chế độ suy luận thời gian thực mà không bị chậm trễ, điều này rất quan trọng để đưa ra cảnh báo kịp thời.

2. Triển Khai Mô Hình Ngôn Ngữ Lớn (LLM): Các mô hình AI tạo sinh, chẳng hạn như GPT-4 hoặc các biến thể của Llama, có hàng tỷ tham số. Tải các mô hình này ở độ chính xác đầy đủ (FP32) sẽ yêu cầu lượng bộ nhớ máy chủ khổng lồ mà thường gây tốn kém chi phí. Bằng cách chuyển đổi các mô hình này sang FP16 (hoặc thậm chí các định dạng thấp hơn), các nhà cung cấp đám mây có thể phục vụ các mô hình nền tảng cho hàng nghìn người dùng đồng thời, giúp các dịch vụ như chatbot và tạo nội dung tự động khả thi về mặt kinh tế.

Độ chính xác bán phần so với Lượng tử hóa#

Mặc dù cả hai kỹ thuật đều nhằm mục đích giảm kích thước mô hình, nhưng điều quan trọng là phải phân biệt 'Độ chính xác bán phần' với lượng tử hóa mô hình.

• Độ Chính Xác Bán Phần (FP16): Giảm độ rộng bit từ 32 xuống 16 nhưng vẫn giữ nguyên dữ liệu dưới dạng số dấu phẩy động. Nó duy trì dải động hợp lý và thường là lựa chọn mặc định cho huấn luyện GPU và suy luận.
• Lượng Tử Hóa (INT8): Chuyển đổi các số dấu phẩy động thành số nguyên (thường là 8-bit). Điều này mang lại tốc độ và tiết kiệm bộ nhớ lớn hơn nữa nhưng đôi khi có thể dẫn đến việc giảm sút rõ rệt hơn về độ chính xác nếu không được thực hiện cẩn thận (ví dụ: thông qua huấn luyện nhận thức lượng tử hóa). FP16 thường an toàn hơn để bảo toàn hiệu suất mô hình, trong khi INT8 được sử dụng cho việc tối ưu hóa cực hạn.

Triển khai Độ chính xác bán phần với Ultralytics#

Thư viện ultralytics giúp việc sử dụng độ chính xác bán phần trở nên đơn giản. Trong quá trình dự đoán, mô hình có thể tự động chuyển sang độ chính xác bán phần nếu phần cứng hỗ trợ hoặc có thể được yêu cầu rõ ràng.

Dưới đây là một ví dụ bằng Python minh họa cách tải mô hình YOLO26 và thực hiện suy luận sử dụng độ chính xác bán phần. Lưu ý rằng việc chạy trong half=True thường yêu cầu một GPU hỗ trợ CUDA.

import torch
from ultralytics import YOLO

# Check if CUDA (GPU) is available, as FP16 is primarily for GPU acceleration
device = "cuda" if torch.cuda.is_available() else "cpu"

# Load the latest YOLO26n model
model = YOLO("yolo26n.pt")

# Run inference on an image with half-precision enabled
# The 'half=True' argument tells the engine to use FP16
results = model.predict("https://ultralytics.com/images/bus.jpg", device=device, half=True)

# Print the device and precision status
print(f"Inference device: {results[0].orig_img.shape}, Speed: {results[0].speed}")

Đối với người dùng quản lý các tập dữ liệu và đường ống huấn luyện, Ultralytics Platform xử lý nhiều hoạt động tối ưu hóa này tự động trên đám mây, giúp hợp lý hóa quá trình chuyển đổi từ việc gán nhãn sang triển khai mô hình đã tối ưu hóa.

Đọc thêm và Tài nguyên#

Để khám phá thêm về các định dạng số và tác động của chúng đối với AI, hãy tham khảo Tài liệu Hiệu suất Học sâu của NVIDIA liên quan đến Tensor Cores. Để có sự hiểu biết rộng hơn về cách các tối ưu hóa này phù hợp với vòng đời phát triển, hãy đọc về vận hành học máy (MLOps).

Ngoài ra, những ai quan tâm đến sự đánh đổi giữa các chiến lược tối ưu hóa khác nhau có thể tìm hiểu về cắt tỉa (pruning), cách loại bỏ các kết nối thay vì giảm độ chính xác của bit, hoặc khám phá Tiêu chuẩn IEEE cho Số học Dấu phẩy động (IEEE 754) để biết các thông số kỹ thuật của số học kỹ thuật số. Hiểu rõ các nguyên tắc cơ bản này giúp đưa ra các quyết định sáng suốt khi xuất các mô hình sang các định dạng như ONNX hoặc TensorRT cho môi trường sản xuất.