Tốc độ học (Learning Rate)

Tốc độ học là một siêu tham số có thể cấu hình được sử dụng trong quá trình huấn luyện mạng nơ-ron , kiểm soát mức độ thay đổi mô hình để đáp ứng với lỗi ước tính mỗi khi trọng số mô hình được cập nhật. Về cơ bản, nó xác định kích thước bước tại mỗi lần lặp trong khi tiến về giá trị cực tiểu của hàm mất mát . Nếu bạn hình dung quá trình huấn luyện giống như việc đi bộ xuống một ngọn núi sương mù để đến một thung lũng (trạng thái tối ưu), tốc độ học sẽ quyết định độ dài của mỗi bước chân bạn thực hiện. Đây là một trong những thiết lập quan trọng nhất cần điều chỉnh, vì nó ảnh hưởng trực tiếp đến tốc độ hội tụ và liệu mô hình có thể tìm ra giải pháp tối ưu hay không.

Tác động của tốc độ học tập lên đào tạo

Việc lựa chọn tốc độ học tập chính xác thường đòi hỏi sự cân bằng. Giá trị được chọn ảnh hưởng đáng kể đến động lực đào tạo:

• Quá cao: Nếu tốc độ học được đặt quá cao, mô hình có thể thực hiện các bước quá lớn, liên tục vượt quá trọng số tối ưu. Điều này có thể dẫn đến quá trình huấn luyện không ổn định, trong đó độ lệch dao động hoặc thậm chí phân kỳ (tăng), ngăn mô hình hội tụ.
• Quá thấp: Ngược lại, tốc độ học quá thấp sẽ dẫn đến các bản cập nhật cực kỳ nhỏ. Mặc dù điều này đảm bảo mô hình không bỏ lỡ giá trị tối thiểu, nhưng nó lại khiến quá trình huấn luyện diễn ra chậm chạp một cách khó chịu. Hơn nữa, nó làm tăng nguy cơ bị kẹt ở các giá trị cực tiểu cục bộ - các vùng trũng không tối ưu trong bối cảnh mất mát - dẫn đến tình trạng thiếu khớp .

Hầu hết các quy trình đào tạo hiện đại đều sử dụng bộ lập lịch tốc độ học , điều chỉnh tốc độ một cách linh hoạt trong quá trình đào tạo. Một chiến lược phổ biến bao gồm các giai đoạn "khởi động", trong đó tốc độ bắt đầu ở mức thấp và tăng dần, tiếp theo là các giai đoạn "suy giảm", khi tốc độ giảm dần để cho phép điều chỉnh trọng số chi tiết khi mô hình tiến gần đến điểm hội tụ.

Thiết lập Tỷ lệ học tập trong Ultralytics

Trong Ultralytics khung, bạn có thể dễ dàng cấu hình tốc độ học ban đầu (lr0) và tốc độ học tập cuối cùng (lrf) làm đối số khi huấn luyện mô hình. Tính linh hoạt này cho phép bạn thử nghiệm các giá trị khác nhau để phù hợp với tập dữ liệu cụ thể của mình.

from ultralytics import YOLO

# Load the recommended YOLO11 model
model = YOLO("yolo11n.pt")

# Train on COCO8 with a custom initial learning rate
# 'lr0' sets the initial learning rate (default is usually 0.01)
results = model.train(data="coco8.yaml", epochs=100, lr0=0.01)

Các Ứng dụng Thực tế

Việc lựa chọn tốc độ học tập đóng vai trò quan trọng trong việc triển khai các giải pháp AI mạnh mẽ trên nhiều ngành:

1. Phân tích hình ảnh y tế : Trong các lĩnh vực có rủi ro cao như AI trong chăm sóc sức khỏe , các mô hình được đào tạo để detect Các bất thường như khối u trong ảnh chụp MRI. Ở đây, tốc độ học được điều chỉnh cẩn thận là rất cần thiết để đảm bảo mô hình học được các mẫu phức tạp mà không bị quá khớp với nhiễu. Ví dụ, khi huấn luyện mô hình YOLO11 để phát hiện khối u , các nhà nghiên cứu thường sử dụng tốc độ học thấp hơn với bộ lập lịch để tối đa hóa độ chính xác và độ tin cậy, như đã được ghi nhận trong nhiều nghiên cứu về X quang .
2. Xe tự hành : Để phát hiện vật thể trong xe tự lái, các mô hình phải nhận diện người đi bộ, biển báo và các phương tiện khác trong nhiều môi trường khác nhau. Việc đào tạo trên các tập dữ liệu lớn như Waymo Open Dataset đòi hỏi tốc độ học được tối ưu hóa để xử lý sự biến thiên lớn của dữ liệu. Tốc độ học thích ứng giúp mô hình hội tụ nhanh hơn trong các giai đoạn ban đầu và tinh chỉnh các dự đoán hộp giới hạn của nó trong các giai đoạn sau, góp phần tạo nên AI an toàn hơn trong các hệ thống ô tô .

Tốc độ học so với các khái niệm liên quan

Để điều chỉnh mô hình hiệu quả, cần phân biệt tốc độ học tập với các thuật ngữ liên quan:

• Kích thước lô : Trong khi tốc độ học kiểm soát kích thước của bước, kích thước lô xác định số lượng mẫu dữ liệu được sử dụng để tính toán độ dốc cho bước đó. Thường có mối quan hệ giữa hai yếu tố này; kích thước lô lớn hơn cung cấp độ dốc ổn định hơn, cho phép tốc độ học cao hơn. Mối quan hệ này được trình bày trong Quy tắc Tỷ lệ Tuyến tính .
• Thuật toán tối ưu hóa : Bộ tối ưu hóa (ví dụ: SGD hoặc Adam ) là phương pháp cụ thể được sử dụng để cập nhật trọng số. Tốc độ học là một tham số được bộ tối ưu hóa sử dụng . Ví dụ: Adam điều chỉnh tốc độ học tập cho từng tham số riêng lẻ, trong khi tiêu chuẩn SGD áp dụng mức thuế suất cố định cho tất cả.
• Kỷ nguyên : Một kỷ nguyên xác định một lần duyệt hoàn chỉnh toàn bộ tập dữ liệu huấn luyện . Tốc độ học xác định mức độ mô hình học được trong mỗi bước trong một kỷ nguyên, nhưng số kỷ nguyên xác định thời gian của quá trình huấn luyện.

Để hiểu sâu hơn về động lực tối ưu hóa, các tài nguyên như ghi chú Stanford CS231n cung cấp những giải thích trực quan tuyệt vời về cách tốc độ học ảnh hưởng đến bối cảnh mất mát.