Continual Learning
Непрерывное, или пожизненное, обучение позволяет обучать модель на потоке новых задач или данных, не забывая предыдущие. Разбираем воспроизведение данных, EWC и код.
Непрерывное обучение, также называемое пожизненным или инкрементальным, — это обучение модели на последовательности задач или меняющемся потоке данных с сохранением ранее усвоенного. Стандартная тонкая настройка на новых данных перезаписывает веса модели, необходимые для предыдущих задач, поэтому качество на этих задачах резко падает. Этот сбой называется катастрофическим забыванием. Методы непрерывного обучения балансируют между пластичностью — способностью усваивать новое — и стабильностью — способностью сохранять старые знания. Этот компромисс, называемый дилеммой стабильности и пластичности, характерен и для нейронных сетей, и для биологических мозгов.
Почему важно непрерывное обучение#
Развернутые модели сталкиваются с постоянно меняющимися данными: новыми классами объектов, новым оборудованием камер, сезонными изменениями освещения или постепенным дрейфом данных. Самое простое решение — заново обучать модель на полном накопленном наборе данных, но затраты растут с каждым обновлением, а старые данные могут оказаться недоступны из-за ограничений хранилища, лицензий или требований к конфиденциальности данных. Непрерывное обучение позволяет постепенно обновлять модель, что подходит для устройств периферийного ИИ и конвейеров эксплуатации машинного обучения, которые переобучают развернутые модели по расписанию.
Типы непрерывного обучения#
Ван де Вен, Тёйтеларс и Толиас выделяют три сценария. При обучении с приращением задач модели сообщают, к какой задаче относится каждый вход, и для каждой задачи можно использовать отдельную выходную голову. При обучении с приращением домена классы остаются прежними, но распределение входных данных меняется, например когда детектор переходит от дневных записей к ночным. При обучении с приращением классов постоянно появляются новые классы, и модель должна различать все встречавшиеся до сих пор классы, не зная, к какой задаче относится вход. Из этих трех сценариев этот — самый сложный.
Стратегии предотвращения забывания#
- Повторное воспроизведение: Модель хранит небольшой буфер прошлых примеров или генерирует синтетические примеры с помощью генеративной модели, а затем добавляет их в каждый новый цикл обучения.
- Консолидация эластичных весов: Методы регуляризации, такие как EWC, добавляют к функции потерь штраф за изменение весов, важных для предыдущих задач. Важность весов оценивается по информации Фишера.
- Изоляция параметров: Для каждой задачи выделяются собственные параметры — например, замороженные базовые сети, специализированные выходные головы или адаптеры вроде LoRA. Поэтому обновления для новой задачи не могут перезаписать параметры старых задач.
- Дистилляция знаний: Выходные данные предыдущей модели на новых данных используются как мягкие целевые значения, пока модель изучает новую задачу. Этот подход называется обучением без забывания.
Приведенный ниже фрагмент кода выполняет эксперимент с приращением классов в PyTorch: небольшая сеть учится распознавать рукописные цифры от 0 до 4, а затем от 5 до 9 — с буфером повторного воспроизведения, содержащим 100 сохраненных изображений из первой задачи, и без него.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")Без повторного воспроизведения сеть полностью забывает цифры от 0 до 4 и после изучения цифр от 5 до 9 показывает точность 0% на старых цифрах. Повторное воспроизведение 100 сохраненных изображений — около 11% от 901 изображения первой задачи — позволяет сохранить точность на уровне 70%. Ultralytics YOLO26 поддерживает стратегию изоляции параметров с помощью аргумента обучения freeze для обучения. Этот аргумент блокирует первые N слоев или именованные модули, пока модель проходит тонкую настройку на новых данных.
Открытые проблемы#
Для оценки модели непрерывного обучения недостаточно одной метрики: после каждого обновления нужно отслеживать метрики качества на всех предыдущих задачах и измерять как обратный перенос (как новое обучение изменило результаты на старых задачах), так и прямой перенос (как старые знания ускорили освоение новых задач). Длительное непрерывное обучение сталкивается и с менее очевидной проблемой, чем забывание. Dohare и соавторы показали, что стандартные методы глубокого обучения постепенно теряют пластичность — способность усваивать что-либо новое — при длительном обучении на последовательностях задач на основе ImageNet и задачах обучения с подкреплением. Непрерывное обратное распространение ошибки, которое случайным образом переинициализирует небольшую долю редко используемых нейронов, позволяет сохранять пластичность неограниченно долго.
Примеры применения в реальных условиях#
- Робототехника: Робот на производственной линии может научиться работать с новым вариантом изделия без полного переобучения, сохраняя навыки работы с уже известными деталями.
- Анализ медицинских изображений: Больницы меняют сканеры и протоколы визуализации, а со временем появляются новые медицинские данные. Обновления с приращением домена позволяют диагностической модели адаптироваться к новым изображениям, сохраняя точность для уже изученных заболеваний.
- Большие языковые модели: Непрерывное предварительное обучение на более новых текстах обновляет знания модели, а параметрически эффективные адаптеры добавляют новые навыки без переобучения всей модели.
Непрерывное обучение и смежные понятия#
- Трансферное обучение: При трансферном обучении предварительно обученную модель используют как отправную точку для новой задачи и оценивают только результаты на этой задаче. При непрерывном обучении оценивают результаты и на новой, и на всех предыдущих задачах.
- Онлайн-обучение: При онлайн-обучении модель обновляется по одному примеру или мини-батчу по мере поступления данных, обычно для одной задачи, и проблема забывания может не рассматриваться.
- Обучение с постепенным усложнением: При таком подходе примеры в рамках одной неизменной задачи располагаются от простых к сложным, тогда как непрерывное обучение работает с последовательностью разных задач или распределений.
- Разучивание машиной: Разучивание действует в противоположном направлении: намеренно удаляет влияние конкретных обучающих данных на модель, например чтобы выполнить запрос на удаление данных в рамках права на забвение, предусмотренного GDPR.










