Kích thước Batch

Kích thước lô (Batch size) là một siêu tham số cơ bản trong học máy, xác định số lượng mẫu huấn luyện được xử lý trước khi các tham số nội bộ của mô hình được cập nhật. Thay vì xử lý toàn bộ tập dữ liệu huấn luyện cùng một lúc, điều này có thể gây tốn kém về mặt tính toán, dữ liệu được chia thành các tập hợp con nhỏ hơn hoặc "lô". Việc lựa chọn kích thước lô là một quyết định quan trọng ảnh hưởng trực tiếp đến động lực học tập, tốc độ huấn luyện và hiệu suất cuối cùng của mô hình. Nó thể hiện sự đánh đổi giữa hiệu quả tính toán và độ chính xác của ước tính gradient được sử dụng để cập nhật trọng số của mô hình.

Vai trò của Kích thước Batch trong Huấn luyện Mô hình

Trong quá trình huấn luyện, một mạng nơ-ron (neural network - NN) học bằng cách điều chỉnh các trọng số của nó dựa trên lỗi mà nó mắc phải. Sự điều chỉnh này được hướng dẫn bởi một thuật toán tối ưu hóa (optimization algorithm) như gradient descent. Kích thước lô (batch size) xác định số lượng ví dụ mà mô hình "nhìn thấy" trước khi nó tính toán gradient và thực hiện cập nhật trọng số.

• Gradient Descent стохастический (SGD): Khi kích thước lô là 1, quy trình được gọi là стохастический gradient descent. Độ dốc được tính cho từng mẫu riêng lẻ, dẫn đến các bản cập nhật thường xuyên nhưng nhiễu.
• Batch Gradient Descent: Khi kích thước batch bằng tổng số mẫu trong tập dữ liệu huấn luyện, nó được gọi là batch gradient descent. Điều này cung cấp một ước tính gradient rất chính xác nhưng tốn kém về mặt tính toán và tốn nhiều bộ nhớ.
• Mini-Batch Gradient Descent: Đây là phương pháp phổ biến nhất, trong đó kích thước batch được đặt thành một giá trị từ 1 đến tổng kích thước tập dữ liệu (ví dụ: 32, 64, 128). Nó mang lại sự cân bằng giữa tính ổn định của batch gradient descent và hiệu quả của stochastic gradient descent.

Việc lựa chọn kích thước batch ảnh hưởng đáng kể đến quá trình huấn luyện. Kích thước batch lớn hơn cung cấp ước tính chính xác hơn về gradient, nhưng chi phí tính toán cho mỗi lần cập nhật sẽ cao hơn. Ngược lại, kích thước batch nhỏ hơn dẫn đến ước tính gradient kém chính xác hơn nhưng cho phép cập nhật nhanh hơn.

Chọn Kích thước Lô Phù hợp

Tìm kích thước lô tối ưu là một phần quan trọng của điều chỉnh siêu tham số và phụ thuộc vào tập dữ liệu, kiến trúc mô hình và phần cứng hiện có.

• Kích thước lô lớn (Large Batch Sizes): Xử lý nhiều dữ liệu hơn cùng một lúc có thể tận dụng tối đa khả năng xử lý song song của GPU, dẫn đến thời gian huấn luyện nhanh hơn cho mỗi epoch. Tuy nhiên, nghiên cứu đã chỉ ra rằng các lô rất lớn đôi khi có thể dẫn đến một "khoảng cách tổng quát hóa", trong đó mô hình hoạt động tốt trên dữ liệu huấn luyện nhưng kém trên dữ liệu chưa thấy. Chúng cũng đòi hỏi bộ nhớ đáng kể, có thể là một yếu tố hạn chế.
• Kích thước lô nhỏ: Chúng yêu cầu ít bộ nhớ hơn và thường dẫn đến khả năng khái quát hóa mô hình tốt hơn, vì nhiễu trong các bản cập nhật gradient có thể giúp mô hình thoát khỏi các cực tiểu cục bộ và tìm ra một giải pháp mạnh mẽ hơn. Điều này có thể giúp ngăn ngừa overfitting. Nhược điểm chính là việc huấn luyện chậm hơn vì các bản cập nhật trọng số thường xuyên hơn và ít dữ liệu được xử lý song song hơn.

Đối với nhiều ứng dụng, kích thước lô là lũy thừa của hai (như 32, 64, 128, 256) được khuyến nghị vì chúng thường phù hợp với kiến trúc bộ nhớ GPU. Các công cụ như Ultralytics HUB cho phép dễ dàng thử nghiệm với các kích thước lô khác nhau khi huấn luyện mô hình.

Kích thước lô (Batch Size) trong huấn luyện so với suy luận

Mặc dù kích thước batch (lô) là một khái niệm cốt lõi trong quá trình huấn luyện, nó cũng được áp dụng cho quá trình suy luận (inference), nhưng với một mục đích khác. Trong quá trình suy luận, batching được sử dụng để xử lý đồng thời nhiều đầu vào (ví dụ: hình ảnh hoặc câu) để tối đa hóa thông lượng. Điều này thường được gọi là suy luận theo lô (batch inferencing).

Đối với các ứng dụng yêu cầu kết quả ngay lập tức, chẳng hạn như suy luận theo thời gian thực (real-time inference) trong một chiếc xe tự hành, kích thước lô (batch size) là 1 được sử dụng để giảm thiểu độ trễ suy luận (inference latency). Trong các tình huống ngoại tuyến, như xử lý một bộ sưu tập lớn các hình ảnh qua đêm, có thể sử dụng kích thước lô lớn hơn để cải thiện hiệu quả.

Các Ứng dụng Thực tế

1. Phân tích hình ảnh y tế: Khi huấn luyện mô hình YOLO11 để phát hiện khối u trong ảnh y tế, các hình ảnh thường có độ phân giải cao. Do giới hạn bộ nhớ trên GPU, kích thước lô nhỏ (ví dụ: 4 hoặc 8) thường được sử dụng. Điều này cho phép mô hình được huấn luyện trên dữ liệu chi tiết cao mà không vượt quá bộ nhớ khả dụng, đảm bảo quá trình huấn luyện ổn định.
2. Kiểm soát chất lượng sản xuất: Trong môi trường ứng dụng AI trong sản xuất, một mô hình có thể được huấn luyện để phát hiện các lỗi trên dây chuyền lắp ráp. Với một bộ dữ liệu lớn gồm hàng triệu hình ảnh sản phẩm, kích thước lô lớn hơn (ví dụ: 256 hoặc 512) có thể được sử dụng trên một cụm huấn luyện phân tán mạnh mẽ. Điều này giúp tăng tốc quá trình huấn luyện, cho phép lặp lại và triển khai mô hình nhanh hơn.

So sánh kích thước lô với các thuật ngữ liên quan

Điều quan trọng là phải phân biệt kích thước lô với các khái niệm liên quan khác:

• Kích thước lô so với Epoch và Iteration: Một iteration (lần lặp) là một lần cập nhật trọng số của mô hình. Một epoch là một lần duyệt qua toàn bộ tập dữ liệu huấn luyện. Số lượng lần lặp trong một epoch là tổng số mẫu huấn luyện chia cho kích thước lô.
• Kích thước lô so với Chuẩn hóa theo lô: Chuẩn hóa theo lô (BatchNorm) là một kỹ thuật được sử dụng trong một lớp mạng nơ-ron để chuẩn hóa các đầu vào cho mỗi mini-batch. Mặc dù hiệu quả của nó có thể bị ảnh hưởng bởi kích thước lô (nó hoạt động tốt hơn với các lô lớn hơn), nhưng nó là một lớp riêng biệt trong kiến trúc mô hình, không phải là một tham số vòng lặp huấn luyện. Hầu hết các framework học sâu hiện đại như PyTorch và TensorFlow cung cấp các triển khai mạnh mẽ.