Online Learning

온라인 학습은 데이터가 순차적으로 도착할 때 모델이 데이터를 학습하는 머신러닝 방식입니다. 고정 데이터셋으로 한 번 학습하는 대신 각 예제나 소규모 배치가 도착할 때마다 업데이트합니다. 매 단계에서 모델은 예측을 내고 실제 결과를 받은 뒤 손실을 측정하고, 다음 예제가 도착하기 전에 파라미터를 조정합니다. 클릭, 트랜잭션, 센서 판독값과 같이 스트림으로 들어오는 데이터, 저장하기에 너무 큰 데이터, 시간이 지나며 관계가 바뀌는 상황에 적합합니다. 반대 개념인 배치 또는 오프라인 학습에서는 모델이 전체 학습 데이터를 한 번에 사용해 학습하고 재학습할 때까지 고정된 상태를 유지합니다.

온라인 학습의 작동 방식#

Frank Rosenblatt가 1958년에 개발한 퍼셉트론은 오분류된 각 예제마다 가중치를 조금씩 조정하는 온라인 학습기였습니다. 확률적 경사 하강법(SGD)은 거의 모든 미분 가능한 모델에 예제별 또는 배치별 업데이트를 적용합니다. 스트림에 맞게 설계된 알고리즘도 있습니다. Pedro Domingos와 Geoff Hulten이 2000년에 소개한 Hoeffding 트리는 각 예제를 한 번씩만 보면서 스트림에서 결정 트리를 구축하며, River와 같은 라이브러리는 일반 모델의 스트리밍 버전을 구현합니다. scikit-learn에서는 partial_fit 메서드가 있는 추정기가 점진적으로 학습합니다.

온라인 학습기는 통계학자 Philip Dawid가 제안한 용어인 프리퀀셜 방식으로 평가하는 경우가 많습니다. 새로운 예제는 먼저 모델을 테스트한 다음 학습에 사용되므로, 누적 점수는 모델이 아직 보지 못한 데이터로 계산됩니다. 이론적으로는 온라인 학습기의 누적 손실과 사후에 선택한 최적의 고정 모델의 누적 손실 간 차이인 후회(regret)를 기준으로 평가합니다. Martin Zinkevich는 2003년에 온라인 경사 하강법의 후회가 단계 수의 제곱근에 비례해서만 증가하므로 단계당 평균 차이가 0에 가까워진다는 점을 보였습니다.

이 예제는 SGD로 학습하는 로지스틱 회귀에 400개의 미니 배치를 스트리밍합니다. 중간 지점에서 레이블을 할당하는 규칙이 바뀌며, 학습을 중단한 모델의 예로 그 시점에 복사해 고정한 모델을 사용합니다.

import copy

import numpy as np
from sklearn.linear_model import SGDClassifier

rng = np.random.default_rng(0)
online = SGDClassifier(loss="log_loss", random_state=0)
scores = {"frozen": [], "online": []}

for step in range(400):  # 400 mini-batches of 20 examples arrive one at a time
    X = rng.normal(size=(20, 2))
    w = [1.0, 1.0] if step < 200 else [1.0, -1.0]  # the labeling rule changes at step 200
    y = (X @ np.array(w) > 0).astype(int)
    if step == 200:
        frozen = copy.deepcopy(online)  # a copy that stops learning when the rule changes
    if step >= 200:  # test on each new batch before learning from it
        scores["frozen"].append(frozen.score(X, y))
        scores["online"].append(online.score(X, y))
    online.partial_fit(X, y, classes=[0, 1])

for name, acc in scores.items():
    print(f"{name}: {np.mean(acc):.2f} accuracy after the change")

규칙 변경 후 고정 모델의 점수는 0.47로, 무작위 추측보다 나을 것이 없습니다. 반면 온라인 모델의 평균 점수는 0.98입니다. 온라인 모델은 새 규칙이 적용된 첫 배치에서 0.35, 두 번째 배치에서 0.80을 기록한 뒤 몇 개의 배치 안에 성능을 회복합니다.

개념 드리프트와 망각#

온라인 학습의 주된 이유는 입력과 레이블 간 관계가 바뀌는 개념 드리프트이며, 흔히 입력 자체의 데이터 드리프트를 동반합니다. 예제처럼 갑작스럽게 발생할 수도 있고, 점진적으로 진행되거나 계절 및 시간대에 따라 반복될 수도 있습니다. Albert Bifet과 Ricard Gavaldà가 개발한 ADWIN과 같은 감지기는 오류 스트림을 관찰하고 평균이 바뀌면 알립니다. 이를 통해 업데이트를 앞당기거나 초기화를 트리거할 수 있습니다.

빠른 적응에는 대가가 따릅니다. 높은 학습률은 드리프트를 빠르게 따라가지만 노이즈에도 민감하며, 최근 데이터만 보는 네트워크는 이전에 학습한 내용을 덮어쓰는데 이를 치명적 망각이라고 합니다. 각 업데이트에 저장된 과거 예제를 섞는 리플레이 버퍼가 일반적인 해결책입니다.

실무에서의 온라인 학습#

레이블이 수초 안에 도착하는 환경에서는 온라인 학습이 흔히 사용됩니다. 광고 클릭 예측이 대표적인 사례입니다. Google은 2013년에 FTRL-Proximal 알고리즘을 사용해 스트리밍 데이터로 클릭률 모델을 지속적으로 학습한다고 밝혔으며, 추천 시스템과 사기 점수화도 같은 방식으로 자주 업데이트됩니다. 배포된 비전 모델은 레이블이 늦게 도착하고 잘못된 업데이트 하나가 이후 모든 예측을 저하시킬 수 있어 보통 배치로 업데이트합니다. 따라서 팀은 모델 모니터링과 함께 최근 데이터 및 리플레이 데이터를 활용한 주기적 파인튜닝을 수행하는 모델 유지보수 워크플로를 사용합니다.

비전 시스템 내부에서도 더 작은 온라인 업데이트가 실행됩니다. Ultralytics YOLO26의 트랙 모드에서 with_reid: True을 사용해 재식별을 활성화하면 기본 TrackTrack 트래커가 모든 트랙의 외형 임베딩을 유지하고 매칭된 탐지 결과가 있을 때마다 이동 평균으로 업데이트합니다. 새 임베딩에는 탐지 신뢰도에 5%를 곱한 가중치를 부여하므로 각 트랙의 외형은 포즈와 조명의 점진적인 변화에 맞춰 조정되고 ReID 네트워크는 고정된 상태를 유지합니다.

지속 학습은 새로운 태스크가 들어올 때 이전 태스크를 유지하는 데 중점을 두는 반면, 온라인 학습은 업데이트 빈도를 설명한다는 점에서 두 개념은 서로 겹칩니다. 능동 학습은 레이블을 지정할 예제를 선택하며, 강화 학습도 상호작용 스트림에서 학습하지만 레이블이 지정된 예제가 아니라 자체 행동에 대한 보상을 사용합니다.