Continual Learning
継続学習、または生涯学習では、以前の知識を忘れずに、新しいタスクやデータのストリームでモデルを学習させます。リプレイ、EWC、コードを解説します。
継続学習は、生涯学習または増分学習とも呼ばれ、以前に学習した内容を保持しながら、一連のタスクや変化し続けるデータストリームでモデルを学習させる方法です。新しいデータで標準的なファインチューニングを行うと、以前のタスクに対応していたモデルの重みが上書きされ、該当タスクの性能が大きく低下します。この問題は破滅的忘却と呼ばれます。継続学習手法は、新しいことを学ぶ能力である可塑性と、古い知識を保持する能力である安定性のバランスを取ります。このトレードオフは、ニューラルネットワークと生物の脳の両方において、安定性・可塑性ジレンマと呼ばれます。
継続学習が重要な理由#
デプロイ済みモデルが扱うデータは絶えず変化します。新しい物体クラス、新しいカメラハードウェア、季節による照明の変化、緩やかなデータドリフトなどがその例です。最も単純な対処法は、累積した全データで最初から再学習することですが、更新を重ねるごとにコストが増加します。また、ストレージの制約、ライセンス、データプライバシー規則により、古いデータを利用できない場合もあります。継続学習では代わりにモデルを段階的に更新するため、エッジAIデバイスや、スケジュールに従ってデプロイ済みモデルを再学習する機械学習運用パイプラインに適しています。
継続学習の種類#
Van de Ven、Tuytelaars、Toliasは、3つのシナリオを区別しています。タスク増分学習では、モデルに各入力が属するタスクが通知され、タスクごとに別の出力ヘッドを使用できます。ドメイン増分学習では、クラスは同じまま入力分布が変化します。たとえば、検出器が昼間の映像から夜間の映像に対応する場合です。クラス増分学習では新しいクラスが次々に追加され、モデルは入力がどのタスクに属するかを知らされずに、これまでに見たすべてのクラスを区別する必要があります。そのため、この3種類の中で最も難しい学習方法です。
忘却を防ぐための戦略#
- リプレイ: モデルは過去のサンプルを少量保存するか、生成モデルで合成サンプルを作成し、新たな学習のたびにそれらを混ぜます。
- Elastic Weight Consolidation: EWCなどの正則化手法は、以前のタスクで重要だった重みを変更すると損失にペナルティを加えます。その重要度はフィッシャー情報量から推定します。
- パラメーター分離: 凍結したバックボーン、タスク固有のヘッド、LoRAなどのアダプターを使ってタスクごとに独自のパラメーターを割り当て、新しいタスクの更新によって古いパラメーターが上書きされないようにします。
- 知識蒸留: 新しいタスクの学習中に、新しいデータに対する以前のモデルの出力をソフトターゲットとして使用する手法で、Learning without Forgettingとも呼ばれます。
次のスニペットは、PyTorchでクラス増分学習の実験を実行します。小規模なネットワークが手書き数字の0~4を学習してから、最初のタスクの画像901枚のうち100枚を保存したリプレイバッファーを使う場合と使わない場合で、数字の5~9を学習します。
import torch
from sklearn.datasets import load_digits
from torch import nn
X, y = load_digits(return_X_y=True)
X, y = torch.tensor(X / 16, dtype=torch.float32), torch.tensor(y)
task_a, task_b = torch.where(y < 5)[0], torch.where(y >= 5)[0] # digits 0-4, then digits 5-9
for replay in [0, 100]:
torch.manual_seed(0)
model = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 10))
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# Train on task A, then on task B plus a replay buffer of stored task A images
for task in [task_a, torch.cat([task_b, task_a[:replay]])]:
for _ in range(200):
optimizer.zero_grad()
nn.functional.cross_entropy(model(X[task]), y[task]).backward()
optimizer.step()
accuracy = (model(X[task_a]).argmax(1) == y[task_a]).float().mean()
print(f"Replay buffer of {replay} images: digits 0-4 accuracy after learning 5-9 = {accuracy:.0%}")リプレイなしでは、ネットワークは数字の0~4を完全に忘れ、5~9の学習後に0%のスコアになります。保存した画像100枚をリプレイすると、最初のタスクの画像901枚の約11%にすぎませんが、精度を70%に維持できます。Ultralytics YOLO26は、freeze学習引数によって、この一連の手法のうちパラメーター分離に対応しています。この引数は、モデルが新しいデータでファインチューニングされる間、最初のN層または指定したモジュールを固定します。
未解決の課題#
継続学習モデルの評価には、単一のスコアだけでは不十分です。性能指標を使い、更新のたびに過去のすべてのタスクでの性能を追跡し、新しい学習が過去のタスクに与えた影響を示す後方転移と、古い知識が新しいタスクの学習をどれだけ促進したかを示す前方転移の両方を測定する必要があります。継続学習を長期間行うと、忘却とは別の目立ちにくい問題も生じます。Dohareらは、標準的なディープラーニング手法では、ImageNetをベースとする一連のタスクや強化学習の問題を長期間学習するうちに、新しいことを学ぶ能力である可塑性が徐々に失われることを示しました。また、使用頻度の低いユニットの一部をランダムに再初期化する継続的な誤差逆伝播法は、その能力を無期限に維持します。
実際のアプリケーション#
- ロボティクス: 製造ラインのロボットは、完全な再学習を行わずに新製品のバリエーションの扱い方を学び、これまで扱ってきた部品のスキルも維持できます。
- 医用画像解析: 病院ではスキャナーや画像診断プロトコルが変更され、新たな知見も時間とともに得られます。ドメイン増分学習による更新を行うと、診断モデルは確立された疾患に対する精度を維持しながら、新しい画像に適応できます。
- 大規模言語モデル: 新しいテキストで継続的に事前学習するとモデルの知識を更新でき、パラメーター効率の高いアダプターを使うと、モデル全体を再学習せずに新しいスキルを追加できます。
継続学習と関連概念の比較#
- 転移学習: 転移学習では、事前学習済みモデルを新しいタスクの出発点として再利用し、そのタスクのみで成功を評価します。継続学習では、新しいタスクとそれ以前のすべてのタスクで評価します。
- オンライン学習: オンライン学習では、データストリームに応じて、通常は単一のタスクについて、サンプルまたはミニバッチ単位でモデルを更新します。忘却への対処は必須ではありません。
- カリキュラム学習: カリキュラム学習では、1つの固定されたタスクのサンプルを簡単なものから難しいものへと順序付けます。一方、継続学習では異なるタスクまたは分布が次々に現れます。
- 機械アンラーニング: アンラーニングは逆方向の処理であり、たとえばGDPRの忘れられる権利に基づく消去要求に対応するため、特定の学習データがモデルに与えた影響を意図的に取り除きます。










