Curriculum Learning

Curriculum Learning là một chiến lược huấn luyện machine learning lấy cảm hứng từ cách con người học tập, bắt đầu với các khái niệm đơn giản trước khi dần dần giới thiệu những khái niệm phức tạp hơn. Thay vì trình bày dữ liệu huấn luyện cho một model theo thứ tự ngẫu nhiên, các mẫu huấn luyện được cấu trúc rõ ràng thành một chuỗi có độ khó tăng dần. Cách tiếp cận có tổ chức này trong việc tiếp xúc dữ liệu cho neural network có thể dẫn đến sự hội tụ nhanh hơn, cải thiện khả năng tổng quát hóa và tăng cường sự ổn định tổng thể trong các tác vụ phức tạp.

Tiến trình có cấu trúc này khác biệt so với Continual Learning, vốn tập trung vào việc thêm các tác vụ mới vào model mà không làm quên đi các tác vụ trước đó. Trong Curriculum Learning, mục tiêu vẫn giữ nguyên nhưng trình tự của training data được biên soạn một cách có chiến lược.

Link to this sectionCách thức hoạt động của Curriculum Learning#

Ý tưởng cốt lõi của Curriculum Learning là việc khởi tạo các tham số của model bằng cách sử dụng các ví dụ dễ hơn sẽ hướng dẫn nó đến một điểm tối thiểu cục bộ tốt hơn trong không gian loss. Khi model nắm vững các đặc trưng cơ bản, chế độ huấn luyện sẽ giới thiệu các ví dụ khó hơn, cho phép model tinh chỉnh sự hiểu biết và học hỏi các chi tiết phức tạp hơn.

Việc triển khai Curriculum Learning bao gồm hai thành phần chính:

1. Difficulty Metric: Một phương pháp để đánh giá độ phức tạp của từng ví dụ huấn luyện. Trong computer vision, điều này có thể dựa trên kích thước đối tượng, sự che khuất hoặc độ rõ nét của hình ảnh.

2. Training Scheduler: Một hàm tạo nhịp độ quy định thời điểm và cách thức đưa các ví dụ khó hơn vào quy trình huấn luyện.

Ví dụ, khi huấn luyện Ultralytics YOLO26 cho object detection, bạn có thể bắt đầu bằng cách huấn luyện trên các hình ảnh với đối tượng đơn lẻ, rõ ràng và nằm ở trung tâm. Khi quá trình huấn luyện tiến triển, scheduler sẽ đưa vào các hình ảnh có nhiều đối tượng, bị che khuất đáng kể hoặc điều kiện ánh sáng thay đổi. Điều này cho phép model nắm bắt các đặc trưng cơ bản của đối tượng trước khi giải quyết các tình huống thực tế đầy thách thức.

Link to this sectionCác ứng dụng trong thực tế#

Curriculum Learning đã được chứng minh là mang lại lợi ích trên nhiều lĩnh vực AI khác nhau, đặc biệt là khi xử lý các tập dữ liệu nhiễu hoặc các tác vụ có độ phức tạp cao.

• Autonomous Vehicles: Trong training autonomous driving systems, các model trước tiên được huấn luyện để nhận diện các vạch kẻ đường cơ bản và biển báo giao thông rõ ràng. Chỉ sau khi nắm vững những điều cơ bản này, chúng mới được tiếp xúc với các tình huống phức tạp như mưa lớn, chuyển động bất thường của người đi bộ hoặc các nút giao thông phức tạp, giúp cải thiện AI safety và độ tin cậy.
• Medical Image Analysis: Khi phát triển các model cho medical image analysis, phương pháp curriculum có thể bao gồm việc bắt đầu với các bản quét rõ ràng, có độ tương phản cao của các khối u dễ nhận biết trước khi tiến tới các bản quét có các điểm bất thường tinh vi hoặc nhiễu hình ảnh.

Link to this sectionƯu điểm và các lưu ý#

Nghiên cứu từ các tổ chức như Google AI và OpenAI liên tục làm nổi bật những lợi ích của các chế độ huấn luyện có cấu trúc. Bằng cách thiết kế cẩn thận trình tự huấn luyện, các nhà phát triển thường có thể đạt được accuracy cao hơn và reduce the risk of overfitting.

Tuy nhiên, việc xác định "độ khó" của một ví dụ không phải lúc nào cũng đơn giản. Một curriculum được thiết kế kém đôi khi có thể làm chậm quá trình huấn luyện hoặc làm chệch hướng model. Các phương pháp hiện đại, chẳng hạn như những phương pháp được thảo luận trong các arXiv publications on self-paced learning gần đây, cho phép chính model tự động xác định độ khó của các ví dụ dựa trên mức loss hiện tại, từ đó tự động hóa việc thiết kế curriculum.

Để quản lý hiệu quả các tập dữ liệu tùy chỉnh và thử nghiệm với các chiến lược huấn luyện, các công cụ như Ultralytics Platform cung cấp một môi trường hợp lý hóa cho data annotation, cấu trúc data splits và giám sát tiến độ huấn luyện.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

Trong ví dụ đơn giản hóa này, model trước tiên học các đặc trưng nền tảng từ một tập dữ liệu dễ hơn trước khi thích nghi với dữ liệu thách thức hơn, mô phỏng một curriculum hai giai đoạn cơ bản.