Batch Normalization

Batch Normalization, thường được gọi là BatchNorm, là một kỹ thuật được sử dụng trong deep learning (DL) để ổn định và tăng tốc quá trình huấn luyện các artificial neural networks. Được giới thiệu để giải quyết vấn đề internal covariate shift—nơi phân phối đầu vào của một lớp thay đổi liên tục khi các tham số của các lớp trước đó được cập nhật—BatchNorm chuẩn hóa các đầu vào của một lớp cho mỗi mini-batch. Bằng cách chuẩn hóa các đầu vào lớp để có giá trị trung bình bằng 0 và độ lệch chuẩn bằng một, sau đó thực hiện scaling và shifting với các tham số có thể học được, phương pháp này cho phép các mạng sử dụng learning rates cao hơn và giảm sự phụ thuộc vào khởi tạo.

Link to this sectionCách thức hoạt động của Batch Normalization#

Trong một Convolutional Neural Network (CNN) tiêu chuẩn, dữ liệu chảy qua các lớp, nơi mỗi lớp thực hiện một quá trình biến đổi. Nếu không có chuẩn hóa, quy mô của các giá trị đầu ra có thể thay đổi dữ dội, khiến optimization algorithm khó tìm được trọng số tối ưu. Batch Normalization thường được áp dụng ngay trước activation function (như ReLU hoặc SiLU).

Quá trình này bao gồm hai bước chính trong khi huấn luyện:

1. Chuẩn hóa (Normalization): Lớp tính toán giá trị trung bình và phương sai của các kích hoạt trong batch size hiện tại. Sau đó, nó trừ đi giá trị trung bình của batch và chia cho độ lệch chuẩn của batch.

2. Scaling và Shifting: Để đảm bảo mạng vẫn có thể biểu diễn các hàm phức tạp, hai tham số có thể học được (gamma và beta) được đưa vào. Các tham số này cho phép mạng hủy bỏ việc chuẩn hóa nếu phân phối dữ liệu tối ưu không phải là một phân phối chuẩn.

Cơ chế này hoạt động như một dạng điều chuẩn (regularization), giúp giảm nhẹ nhu cầu sử dụng các kỹ thuật khác như Dropout layers bằng cách thêm một lượng nhiễu nhỏ vào các kích hoạt trong quá trình huấn luyện.

Link to this sectionNhững lợi ích chính trong huấn luyện AI#

Tích hợp Batch Normalization vào các kiến trúc như ResNet hoặc các bộ phát hiện đối tượng hiện đại mang lại nhiều ưu điểm khác biệt:

• Hội tụ nhanh hơn: Các mô hình huấn luyện nhanh hơn đáng kể vì việc chuẩn hóa ngăn chặn các gradient trở nên quá nhỏ hoặc quá lớn, giúp chống lại vấn đề vanishing gradient một cách hiệu quả.
• Độ ổn định: Nó giúp mạng ít phụ thuộc hơn vào việc lựa chọn trọng số ban đầu và hyperparameter tuning cụ thể, giúp quá trình model training trở nên mạnh mẽ hơn.
• Cải thiện khả năng tổng quát hóa: Bằng cách làm mượt cảnh quan tối ưu hóa, BatchNorm giúp mô hình tổng quát hóa tốt hơn với các test data chưa từng thấy.

Link to this sectionCác ứng dụng trong thực tế#

Batch Normalization là thành phần thiết yếu trong hầu hết mọi hệ thống computer vision (CV) hiện đại.

1. Lái xe tự động: Trong các hệ thống xe tự lái, các mô hình như Ultralytics YOLO26 xử lý các khung hình video để phát hiện người đi bộ, phương tiện và biển báo. BatchNorm đảm bảo rằng các lớp object detection duy trì tính ổn định bất kể sự thay đổi về cường độ ánh sáng hay điều kiện thời tiết, giúp duy trì chỉ số mean average precision (mAP) cao.

2. Chẩn đoán hình ảnh y tế: Khi thực hiện tumor detection in medical imaging, dữ liệu quét có thể khác biệt đáng kể giữa các máy MRI hoặc CT khác nhau. BatchNorm giúp chuẩn hóa các đặc trưng này ở bên trong, cho phép AI tập trung vào các bất thường về cấu trúc thay vì sự khác biệt về cường độ pixel, từ đó cải thiện độ chính xác chẩn đoán trong các healthcare AI solutions.

Link to this sectionSo sánh Batch Normalization và Data Normalization#

Việc phân biệt Batch Normalization với data normalization tiêu chuẩn là rất hữu ích.

• Data Normalization is a preprocessing step applied to the raw input dataset (e.g., resizing images and scaling pixel values to 0-1) before training begins. Tools like Albumentations are often used for this stage.
• Batch Normalization xảy ra bên trong các lớp mạng thần kinh trong chính quá trình huấn luyện. Nó điều chỉnh linh hoạt các giá trị nội tại của mạng khi dữ liệu chảy qua đó.

Link to this sectionVí dụ về triển khai#

Các framework deep learning như PyTorch đã bao gồm các triển khai tối ưu cho Batch Normalization. Trong các kiến trúc Ultralytics YOLO, các lớp này được tích hợp tự động vào các khối convolution.

Đoạn mã Python sau đây minh họa cách kiểm tra một mô hình để xem các lớp BatchNorm2d nằm ở đâu trong kiến trúc.

from ultralytics import YOLO

# Load the YOLO26n model (nano version)
model = YOLO("yolo26n.pt")

# Print the model structure to view layers
# You will see 'BatchNorm2d' listed after 'Conv2d' layers
print(model.model)

Việc hiểu cách các lớp này tương tác giúp các nhà phát triển sử dụng Ultralytics Platform để tinh chỉnh mô hình trên các tập dữ liệu tùy chỉnh, đảm bảo quá trình huấn luyện duy trì sự ổn định ngay cả với dữ liệu hạn chế.