Catastrophic Forgetting

Катастрофическое забывание, которое часто называют катастрофической интерференцией, — широко изучаемое явление в области машинного обучения, при котором искусственная нейронная сеть внезапно теряет ранее усвоенную информацию после обучения новым задачам. Когда модель проходит последовательное обучение для адаптации к новому набору данных, алгоритмы оптимизации, использующие обратное распространение ошибки, обновляют веса модели. Этот процесс часто непреднамеренно перезаписывает математические представления, необходимые для выполнения предыдущих задач. В результате система AI, тщательно оптимизированная для своей исходной цели, может существенно потерять производительность на этих исходных задачах, если её обучать исключительно на новых данных без специальных мер противодействия.

Почему происходит катастрофическое забывание#

В глубоком обучении знания модели распределены по сети взаимосвязанных нейронов. Во время дообучения функции оптимизации, такие как стохастический градиентный спуск, корректируют эти связи, чтобы минимизировать ошибку на новых данных. Если новый обучающий набор данных не содержит примеров исходных классов, процесс оптимизации смещает веса в сторону нового распределения данных, фактически стирая «память» о старом распределении. Недавние исследования структурного сдвига показывают, что этот внутренний коллапс принципиально ограничивает способность современных нейронных сетей к человекоподобному непрерывному обучению без дополнительной настройки.

Различия между связанными понятиями#

Важно отличать катастрофическое забывание от других концепций AI:

• Катастрофическое забывание и коллапс модели: Забывание происходит из-за последовательного обучения новым задачам, тогда как коллапс модели представляет собой постепенное ухудшение производительности на той же задаче, когда модель рекурсивно обучается на синтетических данных, сгенерированных другими моделями AI.
• Катастрофическое забывание и непрерывное обучение: Непрерывное обучение — это общая исследовательская методология, направленная на решение проблемы катастрофического забывания. Алгоритмы непрерывного обучения стремятся обеспечить последовательное получение моделями новых знаний без забывания уже усвоенной информации.

Примеры из реального мира#

Катастрофическое забывание представляет собой серьёзную проблему для различных областей AI, работающих в динамичных реальных условиях:

• Автономные системы: В контурах восприятия автономных транспортных средств система компьютерного зрения, изначально обученная распознавать пешеходов и стандартные дорожные знаки, может быть дообучена для распознавания новых региональных знаков, связанных со строительными работами. Без защитных мер система может внезапно начать ненадёжно обнаруживать пешеходов, создавая серьёзный риск для безопасности.
• Языковые и когнитивные системы AI: При адаптации больших языковых моделей для специализированных задач, таких как медицинская диагностика, модель может забыть свои навыки ведения диалога или общего рассуждения. Недавний сравнительный анализ LLMs показывает, что стандартное дообучение на узкоспециализированных текстах часто ослабляет прежнее согласование по требованиям безопасности, из-за чего модели утрачивают свои основные способности следовать инструкциям.

Как преодолеть катастрофическое забывание#

Инженеры AI используют несколько стратегий для смягчения этой проблемы и поддержания оптимального баланса между пластичностью и стабильностью:

• Повторное воспроизведение и объединение наборов данных: Наиболее надёжный метод — смешать часть исходных обучающих данных с новыми данными. Такие инструменты, как Ultralytics Platform, упрощают управление объединёнными наборами данных и их версионирование, обеспечивая эффективное повторное представление исходных классов во время обучения.
• Эластичная консолидация весов (EWC): Этот метод регуляризации ограничивает обновление параметров, которые были критически важны для старых задач. Выявляя и сохраняя эти ключевые веса, модели уменьшают степень забывания, как показано в недавних экспериментах по преодолению забывания сетью.
• Дообучение с эффективным использованием параметров (PEFT): Такие методы, как низкоранговая адаптация (LoRA), замораживают основные предварительно обученные веса и добавляют в сеть небольшие обучаемые матрицы, предотвращая перезапись базовых знаний.
• Заморозка слоёв: При коротких циклах обучения заморозка слоёв backbone и neck гарантирует сохранность основных экстракторов признаков.
• Безградиентная оптимизация: Недавно новые фреймворки продемонстрировали, что методы на основе прямого прохода также могут эффективно снижать забывание в средах, где обновления градиентов ограничены.

Пример реализации в Vision AI#

При адаптации Ultralytics YOLO для новой задачи обнаружения объектов заморозка слоёв — эффективный и доступный подход. В следующем примере показано, как обучить модель Ultralytics YOLO26 на новом наборе данных, предотвращая катастрофическое забывание за счёт заморозки первых 10 слоёв.

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Train on a combined dataset while freezing core backbone layers
# The 'freeze=10' argument prevents catastrophic forgetting of foundational visual features
results = model.train(data="combined_dataset.yaml", epochs=20, freeze=10, lr0=0.001)

# Evaluate the model to ensure it retains performance on old and new tasks
metrics = model.val()