BFloat16 (BF16)

BFloat16, hay Brain Floating Point, là một định dạng số máy tính 16 bit được tối ưu hóa mạnh cho các ứng dụng machine learning. Ban đầu được phát triển bởi Google Brain team, định dạng này cung cấp một phương pháp chuyên biệt để xử lý hiệu quả các mảng lớn gồm model weights và gradient. Khác với số dấu phẩy động 32 bit tiêu chuẩn (FP32), các thuộc tính toán học của BFloat16 phân bổ 8 bit cho số mũ và 7 bit cho phần phân số (mantissa). Cấu trúc độc đáo này cung cấp cùng dynamic range chính xác như FP32 nhưng có độ chính xác thấp hơn, qua đó giảm một nửa yêu cầu bộ nhớ của các kiến trúc deep learning phức tạp mà không gặp phải tình trạng bất ổn số thường thấy ở các định dạng 16 bit cũ hơn.

BFloat16 so với Float16 (FP16): Những khác biệt chính#

Khi so sánh các định dạng độ chính xác thấp, sự khác biệt giữa BF16 và FP16 tiêu chuẩn (dựa trên Tiêu chuẩn IEEE về số học dấu phẩy động) có ý nghĩa then chốt đối với các kỹ sư AI.

FP16 sử dụng 5 bit cho số mũ và 10 bit cho mantissa. Cấu trúc này mang lại cho FP16 độ chính xác số cao hơn nhưng dynamic range hẹp hơn đáng kể. Do đó, các quy trình training FP16 thường yêu cầu các kỹ thuật scale loss phức tạp để ngăn gradient underflow—a scenario trong đó các cập nhật gradient cực nhỏ trở thành số 0. Số mũ 8 bit của BFloat16 giải quyết vấn đề này bằng cách khớp với dynamic range của FP32. Điều này có nghĩa là các developer có thể dễ dàng đưa BF16 vào neural networks mà không cần điều chỉnh hyperparameter hoặc scale loss, khiến đây trở thành định dạng được ưu tiên để ổn định quá trình training các mô hình ngôn ngữ lớn (LLMs) quy mô lớn. Có thể xem thêm các thông số số học chi tiết trên trang BFloat16 của Wikipedia.

Ưu điểm đối với quá trình training Deep Learning#

Các nghiên cứu gần đây về BFloat16 trong training deep learning cho thấy định dạng này giúp tăng tốc đáng kể toàn bộ quá trình training. Bằng cách giảm memory bandwidth cần thiết để tải và lưu tensor, BFloat16 cho phép các chuyên gia tăng gấp đôi batch size hoặc scale lên các foundation model có hàng tỷ parameter trên phần cứng hiện có. Đáng chú ý, sự suy giảm nhẹ về độ chính xác của mantissa hoạt động như một kỹ thuật regularization nhẹ trong quá trình training, đôi khi có thể cải thiện khả năng generalize của model trên dữ liệu chưa thấy. Hiện nay, đây là nền tảng của các chế độ mixed precision hiện đại.

Khả năng tương thích phần cứng và thực thi#

Để tận dụng đầy đủ lợi ích tốc độ của BFloat16, cần có hỗ trợ phần cứng chuyên dụng. BFloat16 đạt hiệu năng cao trên Cloud TPU và được tăng tốc native trên các GPU NVIDIA hiện đại, bắt đầu từ kiến trúc NVIDIA Ampere (chẳng hạn RTX 30-series, A100 và các card workstation chuyên nghiệp như RTX A6000) cho đến các thế hệ NVIDIA Hopper và Blackwell mới hơn.

Khi sử dụng các framework có PyTorch Automatic Mixed Precision (AMP), các developer có thể sử dụng torch.autocast để tự động định tuyến các phép toán được hỗ trợ qua Tensor Core BF16 chuyên dụng. Điều này tối đa hóa throughput đồng thời giảm thiểu độ trễ inference.

Các ứng dụng AI trong thực tế#

BFloat16 đang nhanh chóng trở thành tiêu chuẩn ngành trong nhiều lĩnh vực:

• Generative AI và LLMs: Các tổ chức nghiên cứu training các model generative mới nhất của OpenAI hoặc Claude của Anthropic sử dụng BFloat16 để training các network hiện đại hàng đầu. Ngoài ra, họ sử dụng BF16 cho bộ nhớ đệm KV trong quá trình inference. Định dạng này đóng vai trò quan trọng trong việc ngăn cạn kiệt bộ nhớ trong các môi trường cloud computing khi phục vụ hàng triệu yêu cầu chat đồng thời.
• Computer Vision độ phân giải cao: Khi xử lý các luồng video 4K hoặc hình ảnh vệ tinh lớn, giới hạn VRAM rất chặt chẽ. Bằng cách triển khai các kiến trúc nâng cao như Ultralytics YOLO26 bằng BFloat16, các hệ thống bảo mật hoặc sản xuất tự động có thể đạt object detection tốc độ cao trên các thiết lập edge AI bị giới hạn phần cứng, chẳng hạn như thiết bị NVIDIA Jetson, đồng thời duy trì các yêu cầu nghiêm ngặt về độ chính xác.

Triển khai BFloat16 với Ultralytics#

Package ultralytics, được hỗ trợ bởi PyTorch, giúp việc thực thi model bằng BFloat16 trở nên cực kỳ đơn giản. Dưới đây là một ví dụ ngắn gọn minh họa cách load một model và thực hiện inference bên trong một block context autocast BF16.

import torch
from ultralytics import YOLO

# Initialize the latest Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")

# Verify that the active GPU architecture supports BFloat16
if torch.cuda.is_available() and torch.cuda.is_bf16_supported():
    # Use PyTorch autocast to run inference purely in BFloat16
    with torch.autocast(device_type="cuda", dtype=torch.bfloat16):
        results = model.predict("https://ultralytics.com/images/bus.jpg")

        print("Inference completed successfully using BFloat16 precision.")

Đối với các team muốn dễ dàng scale những tối ưu hóa này, Ultralytics Platform tự động quản lý các định dạng precision trong các pipeline training trên cloud phức tạp, đảm bảo người dùng đạt được tốc độ và độ chính xác tốt nhất có thể mà không cần quản lý code phần cứng cấp thấp.