Curriculum Learning

커리큘럼 학습은 인간이 학습하는 방식을 본뜬 머신 러닝 학습 전략으로, 더 복잡한 개념을 점진적으로 도입하기 전에 더 간단한 개념부터 시작합니다. 모델에 학습 데이터를 무작위 순서로 제시하는 대신, 학습 샘플을 난이도가 점차 증가하는 순서로 명시적으로 구성합니다. 데이터를 신경망에 노출하는 이 체계적인 접근 방식은 복잡한 작업에서 더 빠른 수렴, 향상된 일반화 성능, 전반적인 견고성 향상으로 이어질 수 있습니다.

이러한 체계적인 진행 방식은 이전 작업을 잊지 않으면서 모델에 새로운 작업을 추가하는 데 중점을 두는 Continual Learning과는 다릅니다. 커리큘럼 학습에서는 목표가 동일하게 유지되지만, 학습 데이터의 순서는 전략적으로 선별됩니다.

커리큘럼 학습의 작동 방식#

커리큘럼 학습의 핵심 아이디어는 더 쉬운 예제를 사용해 모델의 파라미터를 초기화하면 손실 지형에서 더 나은 국소 최솟값으로 모델을 유도할 수 있다는 것입니다. 모델이 기본 특징을 숙달하면 학습 과정에서 더 어려운 예제를 도입하여 모델이 이해를 정교화하고 더 복잡한 세부 사항을 학습할 수 있도록 합니다.

커리큘럼 학습을 구현하려면 두 가지 주요 구성 요소가 필요합니다:

1. 난이도 지표: 각 학습 예제의 복잡성을 평가하는 방법입니다. 컴퓨터 비전에서는 객체 크기, 가림 또는 이미지 선명도를 기준으로 삼을 수 있습니다.

2. 학습 스케줄러: 더 어려운 예제를 학습 과정에 언제, 어떻게 도입할지 결정하는 진행 함수입니다.

예를 들어 Ultralytics YOLO26을 객체 탐지에 사용해 학습할 때는 명확하고 중앙에 위치한 단일 객체가 있는 이미지로 시작할 수 있습니다. 학습이 진행되면 스케줄러가 여러 객체, 심한 가림 또는 다양한 조명 조건이 포함된 이미지를 도입합니다. 이를 통해 모델은 까다로운 실제 환경을 다루기 전에 객체의 기본 특징을 파악할 수 있습니다.

실제 적용 사례#

커리큘럼 학습은 다양한 AI 분야에서 유용한 것으로 입증되었으며, 특히 노이즈가 많은 데이터셋이나 매우 복잡한 작업을 다룰 때 효과적입니다.

• 자율주행 차량: 자율주행 시스템 학습에서는 먼저 기본 차선 표시와 선명한 도로 표지판을 인식하도록 모델을 학습합니다. 이러한 기초를 숙달한 후에야 폭우, 예측하기 어려운 보행자 움직임 또는 복잡한 교차로와 같은 복잡한 상황에 노출하여 AI 안전성과 신뢰성을 향상합니다.
• 의료 영상 분석: 의료 영상 분석 모델을 개발할 때는 뚜렷한 종양이 보이는 고대비의 선명한 스캔부터 시작한 다음, 미묘한 이상이나 영상 아티팩트가 포함된 스캔으로 진행하는 커리큘럼 접근 방식을 사용할 수 있습니다.

장점 및 고려 사항#

Google AI 및 OpenAI와 같은 기관의 연구에서는 체계적인 학습 과정의 이점을 지속적으로 강조합니다. 학습 순서를 신중하게 설계하면 개발자는 더 높은 정확도를 달성하고 과적합 위험을 줄일 수 있는 경우가 많습니다.

그러나 예제의 "난이도"를 정의하는 일이 항상 간단한 것은 아닙니다. 잘못 설계된 커리큘럼은 때때로 학습을 늦추거나 모델에 편향을 일으킬 수 있습니다. 최근 자기 주도 학습에 관한 arXiv 간행물에서 논의된 방식과 같은 최신 접근법은 모델 자체가 현재 손실을 기준으로 예제의 난이도를 동적으로 결정하도록 하여 커리큘럼 설계를 자동화합니다.

사용자 지정 데이터셋을 효과적으로 관리하고 학습 전략을 실험하려면 Ultralytics Platform과 같은 도구가 데이터 어노테이션, 데이터 분할 구성 및 학습 진행 상황 모니터링을 위한 간소화된 환경을 제공합니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

이 단순화된 예제에서는 모델이 더 쉬운 데이터셋에서 기초 특징을 먼저 학습한 후 더 까다로운 데이터에 적응하여 기본적인 2단계 커리큘럼을 모방합니다.