Learning Rate

Tỷ lệ học tập (learning rate) là một cấu hình hyperparameter tuning quan trọng, xác định kích thước bước mà model thực hiện trong quá trình tối ưu hóa. Trong bối cảnh huấn luyện mạng neural, nó kiểm soát mức độ cập nhật trọng số nội bộ của model để phản hồi lại lỗi ước tính mỗi khi model xử lý một batch dữ liệu. Hãy tưởng tượng nó giống như một người đang đi bộ xuống núi về phía thung lũng (điểm có lỗi thấp nhất); learning rate quyết định độ dài bước đi của họ. Nếu bước đi quá lớn, họ có thể bước hoàn toàn qua thung lũng và bỏ lỡ phần đáy. Nếu bước đi quá nhỏ, việc đến đích có thể tốn một khoảng thời gian dài không thực tế.

Tiến thoái lưỡng nan "Goldilocks" trong tối ưu hóa#

Việc tìm kiếm learning rate tối ưu thường được mô tả là một hành động cân bằng trong các quy trình machine learning. Mục tiêu là thiểu hóa loss function, thứ đo lường sự khác biệt giữa các dự đoán của model và ground truth thực tế. Quá trình này phụ thuộc rất nhiều vào optimization algorithm chẳng hạn như stochastic gradient descent (SGD) hoặc Adam optimizer để điều hướng không gian tổn thất.

• Learning Rate Quá Cao: Nếu giá trị được đặt quá cao, việc cập nhật trọng số của model sẽ rất mạnh mẽ. Điều này có thể dẫn đến hiện tượng "vượt quá" (overshooting), nơi model không thể hội tụ về một giải pháp mà thay vào đó dao động mạnh hoặc phân kỳ. Sự bất ổn này đôi khi có thể kích hoạt vấn đề exploding gradient, khiến quá trình huấn luyện trở nên vô tác dụng.
• Learning Rate Quá Thấp: Ngược lại, kích thước bước cực kỳ nhỏ đảm bảo rằng model di chuyển cẩn thận về phía giá trị tối thiểu, nhưng nó có thể dẫn đến underfitting vì quá trình huấn luyện trở nên chậm chạp một cách đau đớn. Model có thể thực sự bị kẹt trong một điểm cực tiểu cục bộ hoặc mất hàng ngàn epochs bổ sung để học các mẫu đơn giản, lãng phí tài nguyên tính toán. Các nhà nghiên cứu thường tham khảo PyTorch documentation on optimization để hiểu cách các thuật toán khác nhau tương tác với các giá trị này.

Các ứng dụng trong thực tế#

Tác động của việc điều chỉnh learning rate thể hiện rõ ràng ở nhiều ngành công nghiệp có rủi ro cao, nơi các computer vision tasks được triển khai.

1. Hệ thống Lái xe Tự động: Trong việc phát triển autonomous vehicles, các kỹ sư sử dụng tập dữ liệu lớn để huấn luyện các model nhằm object detection để nhận diện người đi bộ và biển báo giao thông. Khi áp dụng transfer learning cho một model đã được huấn luyện trước như YOLO26, các nhà phát triển thường sử dụng learning rate nhỏ hơn nhiều so với khi huấn luyện ban đầu. Việc "fine-tuning" này đảm bảo rằng model học được các sắc thái của môi trường lái xe cụ thể (ví dụ: đường có tuyết so với đường cao tốc sa mạc) mà không xóa bỏ khả năng trích xuất đặc trưng chung mà nó đã sở hữu.

2. Hình ảnh Chẩn đoán Y tế: Trong medical image analysis, chẳng hạn như phát hiện khối u trong quét MRI, độ chính xác là tối quan trọng. Learning rate cao ở đây tạo ra nguy cơ model bỏ qua sự khác biệt kết cấu tinh tế phân biệt mô ác tính với mô lành tính. Các học viên thường áp dụng một kỹ thuật gọi là "learning rate warmup", tăng dần tỷ lệ từ 0 đến giá trị mục tiêu để ổn định các giai đoạn đầu của huấn luyện, đảm bảo trọng số neural network ổn định thành một cấu hình vững chắc trước khi bắt đầu học tập tích cực. Bạn có thể đọc thêm về các chiến lược này trong Google Machine Learning Crash Course.

Phân biệt các thuật ngữ liên quan#

Điều quan trọng là phải phân biệt learning rate với các tham số training khác, vì chúng thường được cấu hình trong cùng các tệp cấu hình nhưng phục vụ các mục đích khác nhau:

• Learning Rate so với Batch Size: Trong khi learning rate kiểm soát độ lớn của bản cập nhật, batch size xác định số lượng mẫu huấn luyện được xử lý trước khi một bản cập nhật diễn ra. Có mối quan hệ mạnh mẽ giữa hai yếu tố này; thường thì khi tăng batch size, người ta cũng phải mở rộng learning rate để duy trì hiệu quả huấn luyện, một khái niệm được khám phá trong các bài báo về large-batch training.
• Learning Rate so với Decay: Decay đề cập đến chiến lược trong đó learning rate được giảm có hệ thống theo thời gian. Trình lập lịch có thể hạ tỷ lệ theo hệ số 10 cứ sau 30 epochs. Điều này giúp model thực hiện các bước nhảy vọt lớn về mặt khái niệm từ sớm và sau đó tinh chỉnh độ chính xác với các bước nhỏ hơn vào cuối quá trình huấn luyện. Đây là một tính năng tiêu chuẩn trong Ultralytics Python package.

Thiết lập Learning Rate trong Ultralytics YOLO#

Khi sử dụng các framework hiện đại, bạn có thể dễ dàng điều chỉnh learning rate ban đầu (lr0) và phân số learning rate cuối cùng (lrf). Dưới đây là ví dụ về cách cấu hình điều này bằng cách sử dụng client tương thích với Ultralytics Platform cho một lượt huấn luyện tùy chỉnh.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

Đối với người dùng nâng cao, các kỹ thuật như LR Finder (được phổ biến bởi fast.ai) có thể tự động hóa việc khám phá giá trị bắt đầu tốt nhất bằng cách chạy một epoch thử nghiệm ngắn trong đó tỷ lệ được tăng theo cấp số nhân cho đến khi loss phân kỳ. Việc làm chủ hyperparameter này thường là chìa khóa mở khóa hiệu suất SOTA (State-of-the-Art) trong các dự án AI của bạn.