Catastrophic Forgetting

재앙적 망각은 흔히 재앙적 간섭이라고도 하며, 머신 러닝에서 널리 연구된 현상으로, 인공 신경망이 새로운 작업을 학습할 때 이전에 학습한 정보를 갑자기 잃는 현상입니다. 모델이 새로운 데이터셋에 적응하기 위해 순차적으로 학습되면, 역전파를 사용하는 최적화 알고리즘이 모델 가중치를 업데이트합니다. 이 과정에서 이전 작업에 필요한 수학적 표현이 의도치 않게 덮어써지는 경우가 많습니다. 결과적으로 원래 목적에 맞게 고도로 최적화된 AI 시스템이 별도의 대응책 없이 새로운 데이터만으로 학습되면 초기 작업에서 성능이 심각하게 저하될 수 있습니다.

재앙적 망각이 발생하는 이유#

딥 러닝에서 모델의 지식은 상호 연결된 뉴런의 분산 네트워크 전반에 저장됩니다. 파인 튜닝 중에는 확률적 경사 하강법과 같은 최적화 함수가 새로운 데이터의 오류를 최소화하도록 이러한 연결을 조정합니다. 새로운 학습 데이터셋에 원래 클래스의 예제가 포함되어 있지 않으면, 최적화 과정에서 가중치가 새로운 데이터 분포를 향하도록 이동하며 기존 분포에 대한 "기억"을 사실상 지워 버립니다. 구조적 변화에 대한 최근 연구는 이러한 내부 붕괴가 현대 신경망이 별도의 설정 없이 인간과 유사한 평생 학습을 달성하는 능력을 근본적으로 제한한다고 설명합니다.

관련 개념 구분#

재앙적 망각을 다른 AI 개념과 구분하는 것이 중요합니다:

• 재앙적 망각과 모델 붕괴 비교: 망각은 새로운 작업을 점진적으로 학습하기 때문에 발생하는 반면, 모델 붕괴는 다른 AI 모델이 생성한 합성 데이터로 모델을 반복 학습할 때 동일한 작업에서 성능이 점진적으로 저하되는 현상입니다.
• 재앙적 망각과 지속 학습 비교: 지속 학습은 재앙적 망각을 해결하기 위한 포괄적인 연구 방법론입니다. 지속 학습 알고리즘은 모델이 망각 없이 새로운 지식을 순차적으로 습득할 수 있도록 하는 것을 목표로 합니다.

실제 사례#

재앙적 망각은 동적인 실제 환경에서 작동하는 다양한 AI 분야에서 중대한 과제를 제기합니다:

• 자율 시스템: 자율주행 차량의 인식 파이프라인에서 보행자와 일반적인 교통 표지판을 인식하도록 처음 학습된 컴퓨터 비전 시스템을 새로운 지역별 건설 표지판을 인식하도록 파인 튜닝할 수 있습니다. 안전장치가 없으면 시스템이 갑자기 보행자를 안정적으로 감지하지 못할 수 있으며, 이는 심각한 안전 위험을 초래합니다.
• 언어 및 인지 AI: 대규모 언어 모델을 의료 진단과 같은 도메인별 작업에 맞게 커스터마이즈하면, 모델이 대화 정렬이나 일반적인 추론 능력을 잊을 수 있습니다. 최근 LLM 비교 분석에 따르면 고도로 전문화된 텍스트를 사용한 표준 파인 튜닝은 기존 안전 정렬을 약화시키는 경우가 많으며, 이로 인해 모델이 핵심적인 지시 따르기 능력을 잃게 됩니다.

재앙적 망각 극복하기#

AI 엔지니어는 최적의 가소성-안정성 딜레마 균형을 유지하고 이 문제를 완화하기 위해 여러 전략을 활용합니다:

• 데이터셋 재생 및 병합: 가장 신뢰할 수 있는 방법은 기존 학습 데이터의 일부를 새로운 데이터와 섞는 것입니다. Ultralytics Platform과 같은 도구는 결합된 데이터셋의 관리와 버전 관리를 간소화하여 학습 중 기존 클래스가 효과적으로 재생되도록 합니다.
• 탄력적 가중치 통합 (EWC): 이 정규화 기법은 이전 작업에 중요했던 파라미터에 대한 업데이트를 제한합니다. 이러한 핵심 가중치를 식별하고 보존하면 모델의 망각을 줄일 수 있으며, 네트워크 망각 극복에 관한 최근 실험에서도 이를 확인할 수 있습니다.
• 파라미터 효율적 파인 튜닝 (PEFT): 저순위 적응 (LoRA)과 같은 방법은 사전 학습된 핵심 가중치를 고정하고 작고 학습 가능한 행렬을 네트워크에 주입하여 기본 지식이 덮어써지는 것을 방지합니다.
• 레이어 고정: 짧은 학습 실행에서는 백본과 넥 레이어를 고정하여 핵심 특징 추출기가 손상되지 않도록 합니다.
• 그래디언트 없는 최적화: 최근 새로운 프레임워크는 그래디언트 업데이트가 제한된 환경에서 순전파 기반 방법도 망각을 효율적으로 완화할 수 있음을 입증했습니다.

Vision AI 구현 예제#

새로운 객체 감지 작업에 Ultralytics YOLO를 적용할 때 레이어 고정은 효과적이고 접근하기 쉬운 방법입니다. 다음 예제에서는 처음 10개 레이어를 고정하여 재앙적 망각을 방지하면서 새로운 데이터셋으로 Ultralytics YOLO26 모델을 학습하는 방법을 보여 줍니다.

from ultralytics import YOLO

# Load a pretrained Ultralytics YOLO26 model
model = YOLO("yolo26n.pt")

# Train on a combined dataset while freezing core backbone layers
# The 'freeze=10' argument prevents catastrophic forgetting of foundational visual features
results = model.train(data="combined_dataset.yaml", epochs=20, freeze=10, lr0=0.001)

# Evaluate the model to ensure it retains performance on old and new tasks
metrics = model.val()