Curriculum Learning

Curriculum Learning — это стратегия обучения машинного обучения, вдохновленная тем, как учатся люди: ты начинаешь с более простых концепций, постепенно переходя к более сложным. Вместо того чтобы подавать модели обучающие данные в случайном порядке, ты структурируешь их в последовательность возрастающей сложности. Такой организованный подход к подаче данных в нейронную сеть может привести к более быстрой сходимости, улучшенной обобщающей способности и более высокой общей надежности при решении сложных задач.

Это структурированное обучение отличается от непрерывного обучения, которое фокусируется на добавлении новых задач к модели без забывания предыдущих. В Curriculum Learning цель остается неизменной, но последовательность обучающих данных тщательно планируется.

Link to this sectionКак работает Curriculum Learning#

Основная идея Curriculum Learning заключается в том, что инициализация параметров модели с использованием более простых примеров помогает ей найти лучший локальный минимум в ландшафте функции потерь. По мере того как модель осваивает базовые признаки, режим обучения включает в себя более сложные примеры, позволяя модели уточнить свое понимание и изучить более сложные детали.

Реализация Curriculum Learning включает два основных компонента:

1. Метрика сложности: способ оценки сложности каждого примера для обучения. В компьютерном зрении это может зависеть от размера объекта, окклюзии или четкости изображения.

2. Планировщик обучения: функция темпа, которая определяет, когда и как более сложные примеры вводятся в процесс обучения.

Например, при обучении Ultralytics YOLO26 для обнаружения объектов ты можешь начать с обучения на изображениях с одиночными, четкими и центрированными объектами. По мере продвижения планировщик будет добавлять изображения с несколькими объектами, сильной окклюзией или сложными условиями освещения. Это позволит модели усвоить фундаментальные признаки объектов, прежде чем приступать к решению сложных сценариев из реального мира.

Link to this sectionРеальные приложения#

Curriculum Learning доказал свою эффективность в различных областях ИИ, особенно при работе с шумными наборами данных или крайне сложными задачами.

• Автономные транспортные средства: при обучении систем автономного вождения модели сначала учатся распознавать базовую разметку полос и понятные дорожные знаки. Только после освоения этих основ они сталкиваются со сложными сценариями, такими как сильный дождь, хаотичное движение пешеходов или сложные перекрестки, что повышает безопасность ИИ и надежность.
• Анализ медицинских изображений: при разработке моделей для анализа медицинских изображений подход с использованием учебного плана может включать начало с высококонтрастных и четких снимков очевидных опухолей, прежде чем переходить к снимкам с едва заметными аномалиями или артефактами изображения.

Link to this sectionПреимущества и важные соображения#

Исследования таких организаций, как Google AI и OpenAI, постоянно подчеркивают преимущества структурированных режимов обучения. Тщательно продумывая последовательность обучения, ты часто можешь достичь более высокой точности и снизить риск переобучения.

Однако определение «сложности» примера не всегда бывает простым. Плохо продуманный учебный план иногда может замедлить обучение или сделать модель предвзятой. Современные подходы, такие как те, что обсуждаются в недавних публикациях arXiv по обучению в собственном темпе, позволяют самой модели динамически определять сложность примеров на основе текущих потерь, автоматизируя процесс создания учебного плана.

Чтобы эффективно управлять пользовательскими наборами данных и экспериментировать со стратегиями обучения, такие инструменты, как Ultralytics Platform, предоставляют оптимизированную среду для аннотирования данных, структурирования разделений данных и мониторинга прогресса обучения.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

В этом упрощенном примере модель сначала изучает фундаментальные признаки на основе более простого набора данных, а затем адаптируется к более сложным данным, имитируя базовый двухэтапный учебный план.