Лицензия YOLO
Назад к глоссарию Ultralytics

Continual Learning

Непрерывное, или пожизненное, обучение позволяет обучать модель на потоке новых задач или данных, не забывая предыдущие. Разбираем воспроизведение данных, EWC и код.

Непрерывное обучение, также называемое пожизненным или инкрементальным, — это обучение модели на последовательности задач или меняющемся потоке данных с сохранением ранее усвоенного. Стандартная тонкая настройка на новых данных перезаписывает веса модели, необходимые для предыдущих задач, поэтому качество на этих задачах резко падает. Этот сбой называется катастрофическим забыванием. Методы непрерывного обучения балансируют между пластичностью — способностью усваивать новое — и стабильностью — способностью сохранять старые знания. Этот компромисс, называемый дилеммой стабильности и пластичности, характерен и для нейронных сетей, и для биологических мозгов.

Почему важно непрерывное обучение#

Развернутые модели сталкиваются с постоянно меняющимися данными: новыми классами объектов, новым оборудованием камер, сезонными изменениями освещения или постепенным дрейфом данных. Самое простое решение — заново обучать модель на полном накопленном наборе данных, но затраты растут с каждым обновлением, а старые данные могут оказаться недоступны из-за ограничений хранилища, лицензий или требований к конфиденциальности данных. Непрерывное обучение позволяет постепенно обновлять модель, что подходит для устройств периферийного ИИ и конвейеров эксплуатации машинного обучения, которые переобучают развернутые модели по расписанию.

Типы непрерывного обучения#

Ван де Вен, Тёйтеларс и Толиас выделяют три сценария. При обучении с приращением задач модели сообщают, к какой задаче относится каждый вход, и для каждой задачи можно использовать отдельную выходную голову. При обучении с приращением домена классы остаются прежними, но распределение входных данных меняется, например когда детектор переходит от дневных записей к ночным. При обучении с приращением классов постоянно появляются новые классы, и модель должна различать все встречавшиеся до сих пор классы, не зная, к какой задаче относится вход. Из этих трех сценариев этот — самый сложный.

Стратегии предотвращения забывания#

  • Повторное воспроизведение: Модель хранит небольшой буфер прошлых примеров или генерирует синтетические примеры с помощью генеративной модели, а затем добавляет их в каждый новый цикл обучения.
  • Консолидация эластичных весов: Методы регуляризации, такие как EWC, добавляют к функции потерь штраф за изменение весов, важных для предыдущих задач. Важность весов оценивается по информации Фишера.
  • Изоляция параметров: Для каждой задачи выделяются собственные параметры — например, замороженные базовые сети, специализированные выходные головы или адаптеры вроде LoRA. Поэтому обновления для новой задачи не могут перезаписать параметры старых задач.
  • Дистилляция знаний: Выходные данные предыдущей модели на новых данных используются как мягкие целевые значения, пока модель изучает новую задачу. Этот подход называется обучением без забывания.

Приведенный ниже фрагмент кода выполняет эксперимент с приращением классов в PyTorch: небольшая сеть учится распознавать рукописные цифры от 0 до 4, а затем от 5 до 9 — с буфером повторного воспроизведения, содержащим 100 сохраненных изображений из первой задачи, и без него.

import torch
from sklearn.datasets import load_digits
from torch import nn

X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0]  # digits 0-4, then digits 5-9

for replay in [0, 100]:
    torch.manual_seed(0)
    model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    # Train on task A, then on task B plus a replay buffer of stored task A images
    for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
        for _ in range(200):
            optimizer.zero_grad()
            nn.functional.cross_entropy(model(X[task]), y[task]).backward()
            optimizer.step()
    accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
    print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")

Без повторного воспроизведения сеть полностью забывает цифры от 0 до 4 и после изучения цифр от 5 до 9 показывает точность 0% на старых цифрах. Повторное воспроизведение 100 сохраненных изображений — около 11% от 901 изображения первой задачи — позволяет сохранить точность на уровне 70%. Ultralytics YOLO26 поддерживает стратегию изоляции параметров с помощью аргумента обучения freeze для обучения. Этот аргумент блокирует первые N слоев или именованные модули, пока модель проходит тонкую настройку на новых данных.

Открытые проблемы#

Для оценки модели непрерывного обучения недостаточно одной метрики: после каждого обновления нужно отслеживать метрики качества на всех предыдущих задачах и измерять как обратный перенос (как новое обучение изменило результаты на старых задачах), так и прямой перенос (как старые знания ускорили освоение новых задач). Длительное непрерывное обучение сталкивается и с менее очевидной проблемой, чем забывание. Dohare и соавторы показали, что стандартные методы глубокого обучения постепенно теряют пластичность — способность усваивать что-либо новое — при длительном обучении на последовательностях задач на основе ImageNet и задачах обучения с подкреплением. Непрерывное обратное распространение ошибки, которое случайным образом переинициализирует небольшую долю редко используемых нейронов, позволяет сохранять пластичность неограниченно долго.

Примеры применения в реальных условиях#

  • Робототехника: Робот на производственной линии может научиться работать с новым вариантом изделия без полного переобучения, сохраняя навыки работы с уже известными деталями.
  • Анализ медицинских изображений: Больницы меняют сканеры и протоколы визуализации, а со временем появляются новые медицинские данные. Обновления с приращением домена позволяют диагностической модели адаптироваться к новым изображениям, сохраняя точность для уже изученных заболеваний.
  • Большие языковые модели: Непрерывное предварительное обучение на более новых текстах обновляет знания модели, а параметрически эффективные адаптеры добавляют новые навыки без переобучения всей модели.
  • Трансферное обучение: При трансферном обучении предварительно обученную модель используют как отправную точку для новой задачи и оценивают только результаты на этой задаче. При непрерывном обучении оценивают результаты и на новой, и на всех предыдущих задачах.
  • Онлайн-обучение: При онлайн-обучении модель обновляется по одному примеру или мини-батчу по мере поступления данных, обычно для одной задачи, и проблема забывания может не рассматриваться.
  • Обучение с постепенным усложнением: При таком подходе примеры в рамках одной неизменной задачи располагаются от простых к сложным, тогда как непрерывное обучение работает с последовательностью разных задач или распределений.
  • Разучивание машиной: Разучивание действует в противоположном направлении: намеренно удаляет влияние конкретных обучающих данных на модель, например чтобы выполнить запрос на удаление данных в рамках права на забвение, предусмотренного GDPR.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения