Continual Learning
지속 학습, 즉 평생 학습은 이전 작업을 잊지 않고 새로운 작업이나 데이터의 흐름으로 모델을 학습합니다. 리플레이, EWC, 코드 예제를 다룹니다.
지속 학습은 평생 학습 또는 증분 학습이라고도 하며, 이전에 학습한 내용을 유지하면서 일련의 작업 또는 계속 변하는 데이터 스트림으로 모델을 학습합니다. 새 데이터로 표준 파인튜닝을 수행하면 이전 작업에 사용되던 모델 가중치가 덮어써져 해당 작업의 성능이 급격히 저하됩니다. 이러한 실패를 치명적 망각이라고 합니다. 지속 학습 방법은 새로운 것을 학습하는 능력인 가소성과 기존 지식을 유지하는 능력인 안정성 사이의 균형을 조정합니다. 이 균형 문제는 신경망과 생물학적 뇌 모두에서 안정성-가소성 딜레마라고 불립니다.
지속 학습이 중요한 이유#
배포된 모델은 새로운 객체 클래스, 새로운 카메라 하드웨어, 계절에 따른 조명 변화, 점진적인 데이터 드리프트처럼 계속 변하는 데이터에 직면합니다. 가장 단순한 해결책은 누적된 전체 데이터셋으로 처음부터 다시 학습하는 것이지만, 업데이트가 반복될수록 비용이 증가하며 저장 공간 제한, 라이선스 또는 데이터 프라이버시 규정 때문에 이전 데이터를 사용하지 못할 수도 있습니다. 지속 학습은 대신 모델을 점진적으로 업데이트하므로, 엣지 AI 기기와 일정에 따라 배포된 모델을 재학습하는 머신러닝 운영 파이프라인에 적합합니다.
지속 학습의 유형#
Van de Ven, Tuytelaars, Tolias는 세 가지 시나리오를 구분합니다. 작업 증분 학습에서는 각 입력이 어느 작업에 속하는지 모델에 알려주며, 모델은 작업별로 별도의 출력 헤드를 사용할 수 있습니다. 도메인 증분 학습에서는 클래스는 그대로 유지되지만 입력 분포가 바뀝니다. 예를 들어 탐지기가 주간 영상에서 야간 영상으로 전환되는 경우입니다. 클래스 증분 학습에서는 새로운 클래스가 계속 추가되며, 모델은 입력이 어느 작업에서 왔는지 알지 못하는 상태에서 지금까지 등장한 모든 클래스를 구분해야 하므로 세 가지 유형 중 가장 어렵습니다.
망각 방지 전략#
- 리플레이: 모델은 과거 예시로 구성된 작은 버퍼를 저장하거나 생성 모델로 합성 예시를 생성한 뒤, 새로운 학습 과정마다 이를 혼합합니다.
- Elastic Weight Consolidation: EWC와 같은 정규화 방법은 이전 작업에 중요했던 가중치를 변경하는 경우 손실에 페널티를 추가하고, Fisher 정보량으로 해당 중요도를 추정합니다.
- 파라미터 분리: 고정된 백본, 작업별 헤드 또는 LoRA와 같은 어댑터를 통해 각 작업에 자체 파라미터를 할당하므로, 새 작업의 업데이트가 이전 작업의 파라미터를 덮어쓰지 못합니다.
- 지식 증류: 모델이 새 작업을 학습하는 동안 이전 모델이 새 데이터에 대해 출력한 결과를 소프트 타깃으로 사용합니다. 이 접근 방식은 Learning without Forgetting이라고도 합니다.
아래 스니펫은 PyTorch에서 클래스 증분 실험을 실행합니다. 작은 네트워크가 손글씨 숫자 0~4를 학습한 다음 숫자 5~9를 학습하며, 첫 번째 작업의 이미지 100개를 저장하는 리플레이 버퍼를 사용하는 경우와 사용하지 않는 경우를 비교합니다.
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")리플레이를 사용하지 않으면 네트워크는 숫자 0~4를 완전히 잊어버리고 5~9를 학습한 뒤 해당 숫자들에 대해 0%의 점수를 기록합니다. 첫 번째 작업의 이미지 901개 중 약 11%에 해당하는 저장 이미지 100개를 리플레이하면 정확도가 70%로 유지됩니다. Ultralytics YOLO26은 freeze 학습 인수를 통해 이 도구 모음의 파라미터 분리 기능을 지원합니다. 이 인수는 모델이 새 데이터로 파인튜닝되는 동안 처음 N개 레이어 또는 지정된 모듈을 고정합니다.
해결해야 할 과제#
지속 학습을 평가하려면 단일 점수 이상이 필요합니다. 성능 지표를 통해 각 업데이트 후 이전의 모든 작업을 평가하고, 역방향 전이(새 학습이 이전 작업에 미친 영향)와 순방향 전이(기존 지식이 새 작업의 학습을 얼마나 촉진했는지)를 모두 측정해야 합니다. 장기간 지속 학습에서는 망각보다 덜 두드러지는 문제도 발생합니다. Dohare 외는 표준 딥러닝 방법이 ImageNet 기반 작업과 강화 학습 문제의 긴 시퀀스를 거치는 동안 새로운 것을 학습하는 능력인 가소성을 점진적으로 잃는다는 점을 보였습니다. 또한 거의 사용되지 않는 유닛의 일부를 무작위로 재초기화하는 지속적 역전파는 가소성을 무기한 유지합니다.
실제 적용 사례#
- 로보틱스: 제조 라인의 로봇은 전체 재학습을 실행하지 않고도 새로운 제품 변형을 처리하는 법을 학습하면서, 이미 다루던 부품에 대한 기술을 유지할 수 있습니다.
- 의료 영상 분석: 병원은 스캐너와 영상 프로토콜을 변경하고 새로운 발견도 시간이 지나면서 추가됩니다. 도메인 증분 업데이트를 사용하면 진단 모델이 새 영상에 맞게 적응하면서 기존 질환에 대한 정확도도 유지할 수 있습니다.
- 대규모 언어 모델: 최신 텍스트로 지속적으로 사전 학습하면 모델의 지식을 갱신할 수 있으며, 파라미터 효율적인 어댑터를 사용하면 전체 모델을 재학습하지 않고도 새로운 기능을 추가할 수 있습니다.
지속 학습과 관련 개념의 비교#
- 전이 학습: 전이 학습은 사전 학습된 모델을 새 작업의 시작점으로 재사용하고 해당 작업의 성과만 평가합니다. 지속 학습은 새 작업과 모든 이전 작업의 성과를 함께 평가합니다.
- 온라인 학습: 온라인 학습은 데이터가 스트리밍되면 예시 또는 미니 배치 단위로 모델을 업데이트합니다. 보통 단일 작업을 대상으로 하며, 망각 문제를 다룰 필요는 없습니다.
- 커리큘럼 학습: 커리큘럼 학습은 하나의 고정된 작업에서 예시를 쉬운 것부터 어려운 것 순으로 구성하는 반면, 지속 학습은 서로 다른 작업 또는 분포의 시퀀스를 처리합니다.
- 머신 언러닝: 언러닝은 반대 방향으로 작동하며, 예를 들어 GDPR의 잊힐 권리에 따른 삭제 요청을 이행하기 위해 모델에서 특정 학습 데이터의 영향을 의도적으로 제거합니다.










