Batch Size

Trong lĩnh vực machine learning, đặc biệt là deep learning, Kích thước batch là số lượng mẫu huấn luyện được sử dụng trong một iteration của quá trình huấn luyện model. Thay vì đưa toàn bộ training data vào neural network cùng lúc—điều thường bất khả thi về mặt tính toán do giới hạn bộ nhớ—dataset được chia thành các tập con nhỏ hơn gọi là batch. Model xử lý một batch, tính toán lỗi và cập nhật model weights nội bộ thông qua backpropagation trước khi chuyển sang batch tiếp theo. Hyperparameter này đóng vai trò quan trọng trong việc quyết định cả tốc độ huấn luyện lẫn độ ổn định của quá trình học.

Động lực học của quá trình huấn luyện với các batch#

Việc lựa chọn kích thước batch làm thay đổi căn bản cách thuật toán optimization, thường là một biến thể của stochastic gradient descent, di chuyển trên loss landscape.

• Kích thước batch nhỏ: Sử dụng một số lượng nhỏ (ví dụ: 8 hoặc 16) dẫn đến các cập nhật mang tính "nhiễu". Mặc dù việc ước tính gradient kém chính xác hơn đối với toàn bộ dataset, nhiễu này đôi khi có thể giúp model thoát khỏi các local minima, từ đó có khả năng cải thiện khả năng generalization. Tuy nhiên, batch nhỏ hơn cần nhiều lần cập nhật hơn trong mỗi epoch, khiến thời gian huấn luyện thực tế có thể chậm hơn do overhead.
• Kích thước batch lớn: Một batch lớn hơn (ví dụ: 128 hoặc 256) cung cấp ước tính gradient chính xác hơn, giúp loss function hội tụ mượt mà hơn. Batch lớn cho phép parallelization quy mô lớn trên phần cứng hiện đại, giúp tăng đáng kể tốc độ tính toán. Tuy nhiên, nếu batch quá lớn, model có thể rơi vào các cực tiểu sắc và không tối ưu, dẫn đến overfitting và giảm khả năng generalization trên dữ liệu mới.

Tác động của phần cứng và bộ nhớ#

Các chuyên gia thường phải lựa chọn kích thước batch dựa trên giới hạn phần cứng thay vì chỉ dựa trên ưu tiên lý thuyết. Các model deep learning, đặc biệt là những kiến trúc lớn như Transformer hoặc các mạng convolutional tiên tiến, được lưu trữ trong VRAM của GPU.

Khi sử dụng NVIDIA CUDA để tăng tốc, VRAM phải chứa các tham số của model, batch dữ liệu đầu vào và các activation output trung gian cần thiết cho việc tính gradient. Nếu kích thước batch vượt quá dung lượng bộ nhớ khả dụng, quá trình huấn luyện sẽ bị dừng với lỗi "Out of Memory" (OOM). Các kỹ thuật như huấn luyện mixed precision thường được sử dụng để giảm mức tiêu thụ bộ nhớ, cho phép dùng batch lớn hơn trên cùng phần cứng.

Phân biệt các khái niệm liên quan#

Để cấu hình quá trình huấn luyện hiệu quả, cần phân biệt kích thước batch với các thuật ngữ thời gian khác trong training loop.

• Kích thước batch so với Epoch: Một epoch là một lượt hoàn chỉnh đi qua toàn bộ training dataset. Kích thước batch quyết định dữ liệu được chia thành bao nhiêu phần trong epoch đó. Ví dụ, nếu bạn có 1.000 image và kích thước batch là 100, sẽ cần 10 iteration để hoàn thành một epoch.
• Kích thước batch so với Iteration: Một iteration (hoặc step) là quá trình xử lý một batch và cập nhật weights. Tổng số iteration trong quá trình huấn luyện bằng số batch trong mỗi epoch nhân với tổng số epoch.
• Kích thước batch so với Batch Normalization: Mặc dù có chung tên gọi, Batch Normalization là một loại layer cụ thể, chuẩn hóa các input của layer dựa trên mean và variance của batch hiện tại. Kỹ thuật này phụ thuộc nhiều vào kích thước batch; nếu kích thước batch quá nhỏ (ví dụ: 2), các ước tính thống kê sẽ trở nên không đáng tin cậy và có khả năng làm suy giảm hiệu năng.

Các ứng dụng trong thực tế#

Điều chỉnh kích thước batch là một nhu cầu thường xuyên khi triển khai các giải pháp computer vision trong nhiều ngành khác nhau.

1. Medical Imaging độ trung thực cao: Trong lĩnh vực AI trong healthcare, các chuyên gia thường làm việc với dữ liệu thể tích 3D như ảnh chụp MRI hoặc CT. Các file này cực kỳ dày đặc và tiêu tốn nhiều bộ nhớ. Để thực hiện các tác vụ như medical image analysis hoặc image segmentation phức tạp mà không làm hệ thống bị dừng, engineer thường giảm kích thước batch xuống một số rất nhỏ, đôi khi chỉ còn 1 mẫu trong batch. Trong trường hợp này, ưu tiên là xử lý chi tiết ở độ phân giải cao thay vì tốc độ huấn luyện thuần túy.

2. Kiểm soát chất lượng công nghiệp: Ngược lại, trong lĩnh vực AI trong manufacturing, tốc độ là yếu tố tối quan trọng. Các hệ thống tự động kiểm tra sản phẩm trên băng chuyền cần xử lý hàng nghìn image mỗi giờ. Trong quá trình inference, engineer có thể gom các luồng camera đầu vào thành các batch lớn hơn để tối đa hóa mức sử dụng của các thiết bị edge AI, đảm bảo throughput cao cho việc phát hiện lỗi theo thời gian thực.

Cấu hình kích thước batch trong Python#

Khi sử dụng Ultralytics Python package, việc thiết lập kích thước batch rất đơn giản. Bạn có thể chỉ định một số nguyên cố định hoặc sử dụng thiết lập động batch=-1, trong đó tận dụng AutoBatch feature để tự động tính toán kích thước batch tối đa mà phần cứng của bạn có thể xử lý an toàn.

Ví dụ sau minh họa cách huấn luyện một YOLO26 model—tiêu chuẩn mới nhất về tốc độ và độ chính xác—bằng một thiết lập batch cụ thể.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

Để quản lý các experiment quy mô lớn và trực quan hóa cách những kích thước batch khác nhau ảnh hưởng đến các metric huấn luyện, các công cụ như Ultralytics Platform cung cấp một environment toàn diện để logging và so sánh các run. Việc hyperparameter tuning phù hợp cho kích thước batch thường là bước cuối cùng để khai thác hiệu năng tốt nhất từ model của bạn.