Mixed Precision

Mixed precision là một kỹ thuật then chốt trong tối ưu hóa mô hình được sử dụng để tăng tốc quá trình huấn luyện các mô hình deep learning đồng thời giảm mức tiêu thụ bộ nhớ. Bằng cách kết hợp chiến lược các định dạng số khác nhau—thường là các kiểu dấu phẩy động 16-bit và 32-bit—phương pháp này cho phép các thuật toán machine learning thực hiện các phép tính nhanh hơn mà không làm giảm độ chính xác cuối cùng của mô hình. Đây đã trở thành một thực tiễn tiêu chuẩn trong phát triển AI hiện đại, đặc biệt đối với các tác vụ đòi hỏi tài nguyên cao như huấn luyện kiến trúc YOLO26 trên các tập dữ liệu khổng lồ.

Link to this sectionCách Mixed Precision hoạt động#

Trong các quy trình deep learning truyền thống, các mô hình thường thực hiện tính toán bằng định dạng dấu phẩy động đơn chính xác (FP32). Mỗi số trong FP32 yêu cầu 32 bit bộ nhớ. Mặc dù có độ chính xác cao, định dạng này có thể tốn kém về mặt tính toán và tiêu tốn nhiều bộ nhớ.

Mixed precision giới thiệu việc sử dụng half precision (FP16), chỉ sử dụng 16 bit. Tuy nhiên, việc chỉ sử dụng FP16 có thể dẫn đến mất ổn định về mặt số học do dải động nhỏ hơn. Để giải quyết vấn đề này, các phương pháp mixed precision duy trì một "bản sao gốc" của model weights ở dạng FP32 để đảm bảo tính ổn định trong khi sử dụng FP16 cho các công việc tính toán nặng, chẳng hạn như phép tích chập và nhân ma trận.

Quá trình này thường bao gồm ba bước chính:

1. Casting (Chuyển kiểu): Chuyển đổi đầu vào và các activation của mô hình sang FP16 để tăng tốc độ thực thi trên các phần cứng tương thích, chẳng hạn như NVIDIA Tensor Cores.

2. Loss Scaling: Khuếch đại các giá trị loss function để ngăn chặn hiện tượng "underflow", nơi các cập nhật gradient nhỏ bị biến thành số không trong FP16.

3. Accumulation (Tích lũy): Thực hiện các phép tính số học ở FP16 nhưng tích lũy kết quả ở dạng FP32 để bảo toàn thông tin cần thiết trước khi cập nhật các trọng số gốc.

Link to this sectionLợi ích trong huấn luyện AI#

Việc áp dụng mixed precision mang lại những lợi thế đáng kể cho các lập trình viên và nhà nghiên cứu tận dụng computational resources một cách hiệu quả:

• Tốc độ huấn luyện nhanh hơn: Các thao tác ở FP16 yêu cầu ít băng thông bộ nhớ hơn và được xử lý nhanh hơn bởi các GPUs hiện đại. Điều này có thể giảm đáng kể thời gian cần thiết cho một epoch.
• Giảm mức sử dụng bộ nhớ: Vì các tensor FP16 chiếm một nửa bộ nhớ so với FP32, các lập trình viên về cơ bản có thể tăng gấp đôi batch size của họ. Batch size lớn hơn thường dẫn đến các ước tính gradient ổn định hơn và hội tụ nhanh hơn.
• Hiệu quả năng lượng: Tải tính toán giảm đồng nghĩa với mức tiêu thụ năng lượng thấp hơn, điều này rất quan trọng đối với các hoạt động cloud training quy mô lớn.

Link to this sectionCác ứng dụng trong thực tế#

Mixed precision được sử dụng trong nhiều ngành công nghiệp để xử lý các mô hình phức tạp và tập dữ liệu lớn một cách hiệu quả.

Link to this sectionXe tự hành#

Trong quá trình phát triển autonomous vehicles, các kỹ sư phải huấn luyện các mô hình phát hiện đối tượng trên hàng triệu khung hình video có độ phân giải cao. Việc sử dụng mixed precision cho phép họ huấn luyện các mô hình tiên tiến như YOLO26 một cách hiệu quả. Dung lượng bộ nhớ giảm cho phép xử lý các đầu vào có độ phân giải cao hơn, điều này rất quan trọng để phát hiện các đối tượng nhỏ như biển báo giao thông hoặc người đi bộ từ xa.

Link to this sectionPhân tích hình ảnh y tế#

Medical image analysis thường liên quan đến dữ liệu thể tích 3D từ quét MRI hoặc CT, vốn cực kỳ ngốn bộ nhớ. Việc huấn luyện các mô hình segmentation trên dữ liệu này ở độ chính xác FP32 đầy đủ thường dẫn đến lỗi "Out of Memory" (OOM). Mixed precision cho phép các nhà nghiên cứu đưa các mô hình nặng này vào bộ nhớ GPU, tạo điều kiện phát triển AI có thể hỗ trợ bác sĩ chẩn đoán bệnh sớm hơn.

Link to this sectionTriển khai Mixed Precision với Ultralytics#

Các framework hiện đại như PyTorch thường xử lý các sự phức tạp của mixed precision một cách tự động thông qua một tính năng có tên là Automatic Mixed Precision (AMP). Gói ultralytics cho phép AMP theo mặc định trong quá trình huấn luyện để đảm bảo hiệu suất tối ưu.

Dưới đây là một ví dụ ngắn gọn về cách bắt đầu huấn luyện với YOLO26, trong đó mixed precision được kích hoạt theo mặc định (có thể điều khiển thông qua đối số amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Link to this sectionMixed Precision và các khái niệm liên quan#

Việc phân biệt mixed precision với các thuật ngữ tương tự trong bảng thuật ngữ sẽ giúp tránh nhầm lẫn:

• Model Quantization: Trong khi mixed precision sử dụng các số dấu phẩy động có độ chính xác thấp hơn (FP16) trong quá trình huấn luyện, thì quantization thường chuyển đổi trọng số sang số nguyên (như INT8) sau khi huấn luyện để triển khai. Quantization chủ yếu tập trung vào inference latency trên các thiết bị biên, trong khi mixed precision tập trung vào tốc độ và tính ổn định của huấn luyện.
• Half Precision: Thuật ngữ này đề cập cụ thể đến định dạng dữ liệu FP16. Mixed precision là kỹ thuật sử dụng kết hợp cả FP16 và FP32. Việc sử dụng pure half precision mà không có bản sao gốc FP32 "mixed" thường dẫn đến các mô hình không thể hội tụ do lỗi số học.

Link to this sectionKết luận#

Mixed precision đã cách mạng hóa cách các neural networks được huấn luyện, đóng vai trò là yếu tố then chốt cho các foundation models khổng lồ và các hệ thống thị giác mà chúng ta thấy ngày nay. Bằng cách cân bằng nhu cầu về độ chính xác toán học với những hạn chế về tốc độ phần cứng và bộ nhớ, nó cho phép các lập trình viên lặp lại nhanh hơn và xây dựng các giải pháp AI có năng lực hơn.

Đối với những người muốn quản lý các tập dữ liệu và huấn luyện các mô hình tối ưu một cách liền mạch, Ultralytics Platform cung cấp một môi trường toàn diện tự động tận dụng các kỹ thuật tối ưu hóa hiện đại này.