Curriculum Learning

커리큘럼 학습(Curriculum Learning)은 인간의 학습 방식에서 영감을 받은 machine learning 학습 전략으로, 더 단순한 개념부터 시작하여 점진적으로 더 복잡한 개념을 도입합니다. 모델에 무작위 순서로 학습 데이터를 제공하는 대신, 학습 샘플을 난이도가 높아지는 시퀀스로 명시적으로 구조화합니다. neural network에 데이터를 노출하는 이 조직적인 접근 방식은 복잡한 작업에서 더 빠른 수렴, 향상된 일반화, 그리고 더 큰 전반적인 강건성으로 이어질 수 있습니다.

이 구조화된 진행은 이전 작업을 잊지 않으면서 모델에 새로운 작업을 추가하는 데 초점을 맞춘 Continual Learning과는 다릅니다. 커리큘럼 학습에서는 목적이 동일하게 유지되지만, training data의 시퀀스가 전략적으로 선별됩니다.

Curriculum Learning의 작동 원리#

Curriculum Learning의 핵심 아이디어는 더 쉬운 예제를 사용하여 모델의 파라미터를 초기화함으로써 손실 함수 환경 내에서 더 나은 지역 최솟값으로 모델을 유도한다는 것입니다. 모델이 기본 기능을 마스터함에 따라 학습 체계는 더 어려운 예제를 도입하여 모델이 이해도를 높이고 더 복잡한 세부 사항을 학습하도록 합니다.

Curriculum Learning을 구현하려면 다음 두 가지 주요 구성 요소가 필요합니다.

1. 난이도 지표: 각 학습 예제의 복잡성을 평가하는 방법입니다. computer vision에서는 객체 크기, 가림(occlusion), 또는 이미지 선명도를 기반으로 할 수 있습니다.

2. 학습 스케줄러: 학습 과정 중에 더 어려운 예제가 언제, 어떻게 도입될지를 결정하는 페이싱 함수입니다.

object detection을 위해 Ultralytics YOLO26을 학습할 때, 예를 들어 단일하고 선명하며 중앙에 위치한 객체가 포함된 이미지로 학습을 시작할 수 있습니다. 학습이 진행됨에 따라 스케줄러는 여러 객체, 심각한 가림, 또는 다양한 조명 조건이 포함된 이미지를 도입합니다. 이를 통해 모델은 도전적인 실제 시나리오를 다루기 전에 객체의 근본적인 특징을 파악할 수 있습니다.

실제 애플리케이션 사례#

Curriculum Learning은 다양한 AI 영역에서, 특히 노이즈가 많은 데이터셋이나 매우 복잡한 작업을 다룰 때 유익한 것으로 입증되었습니다.

• 자율주행차: training autonomous driving systems에서 모델은 먼저 기본 차선 표시와 명확한 도로 표지판을 인식하도록 학습됩니다. 이러한 기본 사항을 마스터한 후에야 폭우, 불규칙한 보행자 움직임, 복잡한 교차로와 같은 복잡한 시나리오에 노출되어 AI safety와 신뢰성을 향상시킵니다.
• 의료 영상 분석: medical image analysis용 모델을 개발할 때, 커리큘럼 접근 방식에는 명백한 종양의 고대비, 선명한 스캔으로 시작하여 미묘한 이상이나 이미징 아티팩트가 있는 스캔으로 진행하는 과정이 포함될 수 있습니다.

장점 및 고려 사항#

Google AI 및 OpenAI와 같은 기관의 연구는 구조화된 학습 체계의 이점을 지속적으로 강조합니다. 학습 시퀀스를 신중하게 설계함으로써 개발자는 종종 더 높은 accuracy를 달성하고 reduce the risk of overfitting할 수 있습니다.

그러나 예제의 "난이도"를 정의하는 것이 항상 간단한 것은 아닙니다. 잘못 설계된 커리큘럼은 때때로 학습 속도를 저하시키거나 모델에 편향을 줄 수 있습니다. 최근 arXiv publications on self-paced learning에서 논의된 것과 같은 현대적인 접근 방식은 모델 자체가 현재 손실을 기반으로 예제의 난이도를 동적으로 결정하여 커리큘럼 설정을 자동화할 수 있도록 합니다.

사용자 정의 데이터셋을 효과적으로 관리하고 학습 전략을 실험하기 위해, Ultralytics Platform과 같은 도구는 data annotation, data splits 구조화, 그리고 학습 진행 상황 모니터링을 위한 간소화된 환경을 제공합니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

이 단순화된 예제에서 모델은 먼저 더 쉬운 데이터셋에서 기초적인 특징을 학습한 후 더 까다로운 데이터에 적응하며, 이는 기본적인 2단계 커리큘럼을 시뮬레이션한 것입니다.