Curriculum Learning

Curriculum Learning은 인간의 학습 방식에서 영감을 얻은 머신러닝 학습 전략으로, 더 단순한 개념부터 시작하여 점진적으로 더 복잡한 개념을 도입하는 방식입니다. 모델에 학습 데이터를 무작위 순서로 제시하는 대신, 학습 샘플을 난이도가 높아지는 순서로 명시적으로 구조화합니다. 신경망에 데이터를 노출하는 이와 같은 체계적인 접근 방식은 복잡한 작업에서 더 빠른 수렴, 향상된 일반화, 그리고 전반적인 견고성 향상으로 이어질 수 있습니다.

이러한 구조적 진보는 이전 작업을 잊지 않으면서 새로운 작업을 모델에 추가하는 데 초점을 맞추는 지속적 학습과는 다릅니다. Curriculum Learning에서는 목표는 동일하게 유지되지만, 학습 데이터의 순서가 전략적으로 큐레이팅됩니다.

Link to this sectionCurriculum Learning의 작동 원리#

Curriculum Learning의 핵심 아이디어는 더 쉬운 예제를 사용하여 모델의 파라미터를 초기화함으로써 손실 함수 환경 내에서 더 나은 지역 최솟값으로 모델을 유도한다는 것입니다. 모델이 기본 기능을 마스터함에 따라 학습 체계는 더 어려운 예제를 도입하여 모델이 이해도를 높이고 더 복잡한 세부 사항을 학습하도록 합니다.

Curriculum Learning을 구현하려면 다음 두 가지 주요 구성 요소가 필요합니다.

1. 난이도 측정항목: 각 학습 예제의 복잡성을 평가하는 방법입니다. 컴퓨터 비전 분야에서는 객체 크기, 가림(occlusion) 또는 이미지 선명도를 기준으로 할 수 있습니다.

2. 학습 스케줄러: 학습 과정 중에 더 어려운 예제가 언제, 어떻게 도입될지를 결정하는 페이싱 함수입니다.

For example, when training Ultralytics YOLO26 for object detection, you might begin by training on images with single, clear, centered objects. As training progresses, the scheduler introduces images with multiple objects, heavy occlusion, or varying lighting conditions. This allows the model to grasp the fundamental features of the objects before tackling challenging real-world scenarios.

Link to this section실제 애플리케이션 사례#

Curriculum Learning은 다양한 AI 영역에서, 특히 노이즈가 많은 데이터셋이나 매우 복잡한 작업을 다룰 때 유익한 것으로 입증되었습니다.

• 자율 주행 차량: 자율 주행 시스템 학습 시, 모델은 먼저 기본적인 차선 표시와 명확한 도로 표지판을 인식하도록 학습됩니다. 이러한 기초를 마스터한 후에야 폭우, 불규칙한 보행자 움직임 또는 복잡한 교차로와 같은 복잡한 시나리오를 접하게 하여 AI 안전성과 신뢰성을 향상시킵니다.
• 의료 영상 분석: 의료 영상 분석을 위한 모델을 개발할 때, 커리큘럼 접근 방식은 뚜렷한 종양의 고대비 명확한 스캔으로 시작하여 미세한 이상이나 이미징 아티팩트가 있는 스캔으로 진행하는 방식을 포함할 수 있습니다.

Link to this section장점 및 고려 사항#

Google AI 및 OpenAI와 같은 기관의 연구는 체계적인 학습 체계의 이점을 지속적으로 강조합니다. 학습 순서를 신중하게 설계함으로써 개발자는 종종 더 높은 정확도를 달성하고 과적합 위험을 줄일 수 있습니다.

그러나 예제의 "난이도"를 정의하는 것이 항상 간단한 것은 아닙니다. 잘못 설계된 커리큘럼은 때때로 학습 속도를 늦추거나 모델에 편향을 줄 수 있습니다. 자기 주도 학습에 관한 최근 arXiv 논문에서 논의된 것과 같은 현대적인 접근 방식은 모델 자체가 현재 손실을 기반으로 예제의 난이도를 동적으로 결정하도록 하여 커리큘럼 설계를 자동화합니다.

사용자 지정 데이터셋을 효과적으로 관리하고 학습 전략을 실험하기 위해, Ultralytics Platform과 같은 도구는 데이터 주석, 데이터 분할 구조화 및 학습 진행 상황 모니터링을 위한 간소화된 환경을 제공합니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

이 단순화된 예제에서 모델은 먼저 더 쉬운 데이터셋에서 기초적인 특징을 학습한 후 더 까다로운 데이터에 적응하며, 이는 기본적인 2단계 커리큘럼을 시뮬레이션한 것입니다.