Batch Size

Batch size là số lượng mẫu huấn luyện mà một model xử lý cùng lúc trước khi cập nhật trọng số model. Thay vì đưa toàn bộ dataset huấn luyện qua mạng nơ-ron cùng một lúc, quá trình huấn luyện chia dữ liệu thành các batch. Với mỗi batch, model tạo dự đoán, hàm loss chấm điểm dự đoán, lan truyền ngược tính gradient và optimizer thực hiện một bước cập nhật. Batch size là một hyperparameter đồng thời chi phối ba yếu tố: lượng bộ nhớ GPU cần cho huấn luyện, thời gian chạy của mỗi epoch và mức độ nhiễu của mỗi ước tính gradient.

Batch size ảnh hưởng đến quá trình huấn luyện như thế nào#

Mỗi batch cung cấp cho thuật toán tối ưu hóa một ước tính gradient trên toàn bộ dataset; batch càng lớn thì ước tính càng chính xác. Đoạn mã PyTorch dưới đây đo trực tiếp độ chính xác đó bằng cách tính trung bình gradient từng mẫu trên nhiều batch ngẫu nhiên với mỗi kích thước:

import torch

torch.manual_seed(0)

# Per-sample gradients of a squared-error loss for 10,000 samples
x = torch.randn(10_000)
y = 2 * x + torch.randn(10_000)
w = torch.tensor(0.0)
per_sample_grads = 2 * (w * x - y) * x

# Estimate the gradient from 1,000 random batches at each batch size
for batch_size in (8, 64, 512):
    idx = torch.randint(0, len(x), (1000, batch_size))
    batch_grads = per_sample_grads[idx].mean(dim=1)
    print(f"batch {batch_size:3d}: gradient std {batch_grads.std():.3f}")

Độ phân tán của ước tính gradient giảm từ 2.248 ở batch size 8 xuống 0.771 ở 64 và 0.267 ở 512. Mỗi lần tăng batch size gấp 8 lần, nhiễu giảm khoảng 2.9 lần, gần bằng căn bậc hai của 8, đúng với cách lấy trung bình các mẫu độc lập.

Nhiễu này định hình sự đánh đổi giữa batch nhỏ và lớn:

• Batch nhỏ (ví dụ: 8 đến 32): Các lần cập nhật nhiễu và nhiều bước trong mỗi epoch. Nhiễu đóng vai trò như regularizer nhẹ, thường giúp stochastic gradient descent (SGD) tổng quát hóa tốt hơn; batch nhỏ cũng phù hợp với phần cứng khiêm tốn, nhưng mỗi epoch mất nhiều thời gian hơn vì GPU hoạt động chưa hết công suất.
• Batch lớn (ví dụ: từ 256 trở lên): Gradient mượt hơn, ít bước hơn trong mỗi epoch và mức sử dụng phần cứng cao. Batch cực lớn thường hội tụ đến các cực tiểu sắc, khiến khả năng tổng quát hóa kém hơn, như Keskar và cộng sự đã phát hiện. Vì chúng có ít bước hơn mỗi epoch nên cần learning rate lớn hơn tương ứng cùng một giai đoạn warmup. Áp dụng quy tắc tăng tuyến tính này, Goyal và cộng sự đã huấn luyện ResNet-50 trên ImageNet với batch size 8,192 bằng 256 GPU trong một giờ, đồng thời đạt độ chính xác tương đương huấn luyện với batch nhỏ.

Giới hạn bộ nhớ và tích lũy gradient#

Bộ nhớ GPU phải chứa trọng số model, trạng thái optimizer và các activation trung gian cần cho lan truyền ngược; bộ nhớ dành cho activation tăng tuyến tính theo batch size và độ phân giải ảnh. Batch vượt quá dung lượng sẽ khiến quá trình huấn luyện dừng với lỗi hết bộ nhớ (OOM). Huấn luyện bằng độ chính xác hỗn hợp giảm gần một nửa bộ nhớ activation, còn tích lũy gradient đạt batch hiệu dụng lớn hơn bằng cách cộng gradient từ nhiều batch nhỏ trước mỗi lần cập nhật trọng số.

Quá trình huấn luyện Ultralytics YOLO tích hợp sẵn cách này: hệ thống tích lũy gradient cho đến khi xử lý khoảng 64 ảnh, tức batch size danh định nbs; do đó, sau giai đoạn warmup, batch=16 mặc định thực hiện một lần cập nhật trọng số sau mỗi bốn batch. Thiết lập batch=-1 sẽ chạy AutoBatch, chọn batch lớn nhất vừa với khoảng 60% bộ nhớ CUDA còn trống và chuyển về batch size 16 trên thiết bị CPU và Apple MPS.

from ultralytics import YOLO

# Tải model YOLO26n đã tiền huấn luyện
model = YOLO("yolo26n.pt")

# batch=-1 cho phép AutoBatch chọn batch size dựa trên bộ nhớ GPU khả dụng
# Dùng số nguyên (batch=16) để đặt kích thước cố định hoặc số thực (batch=0.70) để đặt tỷ lệ bộ nhớ
results = model.train(data="coco8.yaml", epochs=5, batch=-1)

Trước khi bắt đầu huấn luyện, AutoBatch chạy model YOLO26 với batch size từ 1 đến 16 (tối đa 64 trên GPU có dung lượng từ 16 GB trở lên), khớp đường thẳng với mức sử dụng bộ nhớ đo được rồi giải phương trình để tìm batch size đạt tỷ lệ mục tiêu.

Batch size và các thuật ngữ liên quan#

• Epoch và iteration: Một epoch là một lượt chạy qua toàn bộ dataset, còn một iteration là một lần cập nhật trọng số. Số iteration mỗi epoch bằng kích thước dataset chia cho batch size rồi làm tròn lên; vì vậy, 1.000 ảnh với batch size 100 cần 10 iteration.
• Mini-batch: Từ đồng nghĩa với batch trong hầu hết tài liệu deep learning. Theo nghĩa chặt chẽ, batch gradient descent dùng toàn bộ dataset cho mỗi lần cập nhật, stochastic gradient descent dùng một mẫu, còn mini-batch gradient descent nằm giữa hai phương pháp này; hầu hết mạng hiện đại được huấn luyện theo cách đó.
• Batch normalization: Lớp chuẩn hóa activation bằng trung bình và phương sai của batch hiện tại, nên thống kê trở nên không đáng tin cậy khi batch size rất nhỏ. Group Normalization tránh được sự phụ thuộc này và được ghi nhận có lỗi thấp hơn batch normalization 10.6% trên ResNet-50 với ImageNet ở batch size 2.
• Batch size khi suy luận: Khi triển khai, batching đánh đổi độ trễ suy luận để lấy thông lượng. Gom khung hình từ nhiều camera làm tăng số ảnh xử lý mỗi giây, trong khi mỗi khung hình phải chờ batch được lấp đầy.