Учебная программа

Обучение по учебной программе — это стратегия обучения машинного обучения, основанная на принципах человеческого обучения, при которой сначала изучаются простые концепции, а затем постепенно вводятся более сложные. Вместо того чтобы предоставлять модели обучающие данные в случайном порядке, обучающие образцы явно структурируются в последовательность с постепенным увеличением сложности. Такой организованный подход к предоставлению данных нейронной сети может привести к более быстрой конвергенции, улучшению обобщаемости и повышению общей устойчивости при решении сложных задач.

Эта структурированная последовательность отличается от непрерывного обучения, в котором основное внимание уделяется добавлению новых задач в модель без утраты знаний о предыдущих. В обучении по учебной программе цель остается прежней, но последовательность обучающих данных подбирается стратегически .

Как устроено обучение по учебной программе

Основная идея метода «Curriculum Learning» заключается в том, что инициализация параметров модели с помощью более простых примеров направляет её к лучшему локальному минимуму на ландшафте потерь. По мере того как модель осваивает базовые характеристики, в процесс обучения вводятся более сложные примеры, что позволяет модели уточнить своё понимание и освоить более сложные детали.

Реализация учебной программы включает в себя два основных компонента:

1. Показатель сложности: метод оценки сложности каждого обучающего примера. В области компьютерного зрения он может основываться на размере объекта, закрытии объекта или четкости изображения.
2. Планировщик обучения: функция регулирования темпа, определяющая, когда и как в процесс обучения вводятся более сложные примеры.

Например, при обучении Ultralytics для распознавания объектов можно начать с обучения на изображениях, на которых присутствует один четкий объект, расположенный по центру. По мере продвижения обучения планировщик вводит изображения с несколькими объектами, сильным затенением или изменяющимися условиями освещения. Это позволяет модели освоить основные характеристики объектов, прежде чем переходить к сложным реальным сценариям.

Применение в реальном мире

Обучение по учебной программе доказало свою эффективность в различных областях искусственного интеллекта, особенно при работе с наборами данных, содержащими шумы, или при решении весьма сложных задач.

• Автономные транспортные средства: при обучении систем автономного вождения модели сначала обучаются распознаванию базовой дорожной разметки и понятных дорожных знаков. Только после освоения этих основ их подвергают воздействию сложных сценариев, таких как сильный дождь, непредсказуемые движения пешеходов или сложные перекрестки, что позволяет повысить безопасность и надежность ИИ.
• Анализ медицинских изображений: при разработке моделей для анализа медицинских изображений учебный подход может заключаться в том, чтобы сначала использовать контрастные и четкие снимки с явно выраженными опухолями, а затем переходить к снимкам с незаметными аномалиями или артефактами.

Преимущества и соображения

Исследования таких организаций, как Google и OpenAI, постоянно подтверждают преимущества структурированных схем обучения. Благодаря тщательному планированию последовательности обучения разработчики часто могут добиться более высокой точности и снизить риск переобучения.

Однако определить «сложность» примера не всегда просто. Неудачно составленный учебный план иногда может замедлить обучение или привести к смещению модели. Современные подходы, такие как те, что обсуждаются в недавних публикациях на arXiv, посвященных обучению в индивидуальном темпе, позволяют самой модели динамически определять сложность примеров на основе текущего значения потери, тем самым автоматизируя составление учебного плана.

Для эффективного управления пользовательскими наборами данных и экспериментов со стратегиями обучения такие инструменты, как Ultralytics , предоставляют оптимизированную среду для аннотирования данных, структурирования разбиений данных и отслеживания хода обучения.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# A conceptual example of manually implementing a simple curriculum
# Phase 1: Train on 'easy' dataset (e.g., clear, large objects)
model.train(data="easy_dataset.yaml", epochs=50, imgsz=640)

# Phase 2: Fine-tune on 'hard' dataset (e.g., occluded, small objects)
model.train(data="hard_dataset.yaml", epochs=50, imgsz=640)

В этом упрощённом примере модель сначала обучается базовым признакам на более простом наборе данных, а затем адаптируется к более сложным данным, что имитирует базовую двухэтапную программу обучения.