Mixed Precision

Độ chính xác hỗn hợp là một kỹ thuật then chốt trong tối ưu hóa model, được sử dụng để tăng tốc quá trình huấn luyện các model deep learning đồng thời giảm mức tiêu thụ bộ nhớ. Bằng cách kết hợp một cách có chủ đích các định dạng số khác nhau—thường là kiểu số thực dấu phẩy động 16-bit và 32-bit—phương pháp này cho phép các thuật toán machine learning thực hiện phép tính nhanh hơn mà không làm giảm độ chính xác cuối cùng của model. Phương pháp này đã trở thành một thực hành tiêu chuẩn trong phát triển AI hiện đại, đặc biệt đối với các tác vụ cần nhiều tài nguyên như huấn luyện kiến trúc YOLO26 trên các dataset quy mô lớn.

Cách thức hoạt động của độ chính xác hỗn hợp#

Trong các quy trình deep learning truyền thống, model thường thực hiện phép tính bằng định dạng số thực dấu phẩy động độ chính xác đơn (FP32). Mỗi số trong FP32 cần 32 bit bộ nhớ. Mặc dù có độ chính xác cao, định dạng này có thể tiêu tốn nhiều tài nguyên tính toán và bộ nhớ.

Độ chính xác hỗn hợp đưa vào sử dụng độ chính xác bán phần (FP16), chỉ sử dụng 16 bit. Tuy nhiên, chỉ sử dụng FP16 có thể dẫn đến mất ổn định số học do miền động nhỏ hơn. Để khắc phục điều này, các phương pháp độ chính xác hỗn hợp duy trì một "bản sao chính" của trọng số model ở FP32 để đảm bảo tính ổn định, đồng thời sử dụng FP16 cho các phép toán nặng như phép tích chập và phép nhân ma trận.

Quy trình này thường gồm ba bước chính:

1. Chuyển kiểu: Chuyển các đầu vào và activation của model sang FP16 để tăng tốc thực thi trên phần cứng tương thích, chẳng hạn như NVIDIA Tensor Cores.

2. Scale loss: Khuếch đại các giá trị của hàm loss để ngăn hiện tượng "underflow", trong đó các cập nhật gradient nhỏ trở thành số 0 trong FP16.

3. Tích lũy: Thực hiện các phép toán số học trong FP16 nhưng tích lũy kết quả trong FP32 để bảo toàn thông tin cần thiết trước khi cập nhật các trọng số chính.

Lợi ích trong huấn luyện AI#

Việc áp dụng độ chính xác hỗn hợp mang lại những lợi ích đáng kể cho các developer và nhà nghiên cứu khi sử dụng hiệu quả tài nguyên tính toán:

• Tốc độ huấn luyện nhanh hơn: Các phép toán trong FP16 yêu cầu băng thông bộ nhớ thấp hơn và được các GPU hiện đại xử lý nhanh hơn. Điều này có thể giảm đáng kể thời gian cần thiết cho một epoch.
• Giảm mức sử dụng bộ nhớ: Vì tensor FP16 chiếm một nửa dung lượng bộ nhớ so với FP32, các developer về cơ bản có thể tăng gấp đôi batch size. Batch size lớn hơn thường mang lại các ước tính gradient ổn định hơn và khả năng hội tụ nhanh hơn.
• Hiệu quả năng lượng: Việc giảm tải tính toán dẫn đến mức tiêu thụ năng lượng thấp hơn, điều này rất quan trọng đối với các hoạt động huấn luyện trên cloud quy mô lớn.

Các ứng dụng trong thực tế#

Độ chính xác hỗn hợp được sử dụng trong nhiều ngành khác nhau để xử lý hiệu quả các model phức tạp và dataset lớn.

Lái xe tự hành#

Trong quá trình phát triển phương tiện tự hành, các kỹ sư phải huấn luyện model phát hiện đối tượng trên hàng triệu khung hình video có độ phân giải cao. Sử dụng độ chính xác hỗn hợp cho phép họ huấn luyện hiệu quả các model tiên tiến như YOLO26. Dung lượng bộ nhớ giảm giúp xử lý các đầu vào có độ phân giải cao hơn, điều này rất quan trọng để phát hiện các đối tượng nhỏ như biển báo giao thông hoặc người đi bộ ở khoảng cách xa.

Phân tích ảnh y tế#

Phân tích ảnh y tế thường bao gồm dữ liệu thể tích 3D từ các ảnh chụp MRI hoặc CT, vốn tiêu tốn rất nhiều bộ nhớ. Việc huấn luyện các model phân đoạn trên dữ liệu này với độ chính xác FP32 đầy đủ thường dẫn đến lỗi "Hết bộ nhớ" (OOM). Độ chính xác hỗn hợp cho phép các nhà nghiên cứu đưa những model nặng này vào bộ nhớ GPU, hỗ trợ phát triển AI có thể giúp bác sĩ chẩn đoán bệnh sớm hơn.

Triển khai độ chính xác hỗn hợp với Ultralytics#

Các framework hiện đại như PyTorch thường tự động xử lý những phức tạp của độ chính xác hỗn hợp thông qua một tính năng gọi là Độ chính xác hỗn hợp tự động (AMP). Gói ultralytics bật AMP theo mặc định trong quá trình huấn luyện để đảm bảo hiệu năng tối ưu.

Dưới đây là ví dụ ngắn gọn về cách bắt đầu huấn luyện với Ultralytics YOLO26, trong đó độ chính xác hỗn hợp được bật theo mặc định (có thể điều khiển thông qua đối số amp):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Độ chính xác hỗn hợp và các khái niệm liên quan#

Việc phân biệt độ chính xác hỗn hợp với các thuật ngữ tương tự trong bảng thuật ngữ sẽ giúp tránh nhầm lẫn:

• Lượng tử hóa model: Trong khi độ chính xác hỗn hợp sử dụng các số thực dấu phẩy động có độ chính xác thấp hơn (FP16) trong quá trình huấn luyện, lượng tử hóa thường chuyển đổi trọng số thành số nguyên (chẳng hạn INT8) sau khi huấn luyện để triển khai. Lượng tử hóa chủ yếu tập trung vào độ trễ suy luận trên các thiết bị edge, còn độ chính xác hỗn hợp tập trung vào tốc độ và tính ổn định của quá trình huấn luyện.
• Độ chính xác bán phần: Thuật ngữ này chỉ đề cập cụ thể đến định dạng dữ liệu FP16. Độ chính xác hỗn hợp là kỹ thuật sử dụng đồng thời FP16 và FP32. Việc chỉ sử dụng độ chính xác bán phần mà không có bản sao chính FP32 "hỗn hợp" thường khiến model không hội tụ do các lỗi số học.

Kết luận#

Độ chính xác hỗn hợp đã cách mạng hóa phương thức huấn luyện mạng neural, đóng vai trò là yếu tố then chốt thúc đẩy các foundation model quy mô lớn và các hệ thống thị giác mà chúng ta thấy ngày nay. Bằng cách cân bằng nhu cầu về độ chính xác toán học với các giới hạn về tốc độ phần cứng và bộ nhớ, phương pháp này cho phép các developer lặp lại nhanh hơn và xây dựng các giải pháp AI mạnh mẽ hơn.

Đối với những người muốn quản lý dataset và huấn luyện các model được tối ưu hóa một cách liền mạch, Ultralytics Platform cung cấp một môi trường toàn diện, tự động tận dụng các kỹ thuật tối ưu hóa hiện đại này.