Continual Learning

継続的学習（CL：Continual Learning）は、生涯学習とも呼ばれ、AIモデルが以前に学習した情報を忘れることなく、時間の経過とともに新しいタスクを順次学習したり、新しい知識を獲得したりする能力を指します。静的なデータセットで一度だけモデルをトレーニングしてデプロイする従来の機械学習パイプラインとは異なり、継続的学習は、人間が新しい環境に適応し、新しい経験から継続的に学習する能力を模倣します。この分野における最大の課題は、「破滅的忘却」の克服です。これは、ニューラルネットワークを新しいデータでトレーニングすると、古いタスクのために最適化された重みが上書きされ、古いタスクのパフォーマンスが劇的に低下してしまう現象です。

継続的学習が重要な理由#

動的な現実世界環境において、データ分布が静的なまま維持されることは稀です。例えば、自動運転車に搭載された視覚認識システムは、初期トレーニング中に学習した基本的な道路標識を認識する能力を失うことなく、変化する季節、新しい交通規則、または異なる都市のレイアウトに適応できなければなりません。累積データセットに対する従来のゼロからの再学習は、ストレージの制約やプライバシーの懸念から、計算コストが高く実用的でないことがよくあります。継続学習は、モデルをインクリメンタルに更新できるようにすることでこれらの課題に対処し、リソースが制限されたエッジAIアプリケーションにおいてモデルの効率性とスケーラビリティを高めます。

実社会での応用#

• ロボティクスおよび自律システム： 非構造化環境に展開されるロボットは、未知のオブジェクトを操作したり、新しい地形をナビゲートしたりする必要があります。継続学習を通じて、ロボットは特定の製造タスクを習得し、システム全体の初期化を必要とせずに、後から別の製品ラインの処理を学習できるようになり、柔軟なインダストリー4.0のイノベーションパイプラインを効果的にサポートします。
• 医療画像診断： ヘルスケアデータは、新しい疾病の発生や画像診断プロトコルの変更に伴い進化します。放射線科医を支援するAIシステムは、継続学習を利用して、X線で見つかった新しいウイルスの変異株などの新しい病変を取り入れる一方、肺炎や骨折のような一般的な状態を検出する高い精度を維持することができます。この機能は、確立されたプロトコルにおける患者の安全性を損なうことなく、最新のヘルスケア診断を維持するために不可欠です。

継続的学習における主要な戦略#

破局的忘却を軽減するために、研究者はいくつかの戦略を採用しています。正則化手法は損失関数に制約を追加し、以前のタスクで特定された重要な重みに大きな変更が加えられないようにします。リプレイ手法は、以前のデータの小さなサブセットを保存するか（または生成AIを使用して合成サンプルを生成する）、トレーニング中にそれらを新しいデータと混合します。最後に、パラメータ分離は、モデルのパラメータの特定のサブセットを異なるタスク専用に割り当て、新しいタスクの更新が以前のタスク用に最適化されたパラメータに干渉しないようにします。2024年と2025年の最近の進歩は、ビジョン言語モデルを使用して、どの特徴が汎用的でどれがタスク固有であるかをより適切に特定することに焦点を当てています。

継続的学習と転移学習の比較#

継続学習を転移学習と区別することが重要です。転移学習では、事前学習済みモデルが新しい特定のタスクを解決するための出発点として機能し、元のタスクにおけるパフォーマンスは通常関係ありません。目標は、ターゲットドメインでのパフォーマンスを最大化することです。対照的に、継続学習の目的は、新しいタスクと以前のすべてのタスクの両方で優れたパフォーマンスを発揮することです。同様に、アクティブラーニングがトレーニングのために最も情報量の多いデータポイントを選択することに焦点を当てているのに対し、継続学習は時間とともにモデル自体を更新するプロセスに焦点を当てています。

YOLOモデルの更新#

真の継続学習には特殊なアーキテクチャの調整が必要ですが、ユーザーは、古いデータのバッファと混合された新しいデータでモデルをファインチューニングすることにより、このワークフローをシミュレートできます。Ultralytics Platformは、これらのデータセットの管理とモデルのバージョニングを簡素化します。以下は、Python APIを使用してモデルの更新にアプローチする方法の例です。

from ultralytics import YOLO

# Load a model previously trained on 'dataset_v1.yaml'
model = YOLO("yolo26n-v1.pt")

# Train the model on a new dataset containing new and old samples
# This helps mitigate catastrophic forgetting by "replaying" old data
results = model.train(
    data="dataset_v2_combined.yaml",
    epochs=50,
    imgsz=640,
    lr0=0.001,  # Lower learning rate for fine-tuning
)

課題と今後の方向性#

進展にもかかわらず、継続学習は依然として活発な研究分野です。最適な可塑性・安定性ジレンマ（新しいことを学ぶ能力〔可塑性〕と古いことを保持する能力〔安定性〕のバランスを取ること）を決定することは困難です。さらに、これらのシステムを評価するには、順方向転移（新しいタスクでの学習速度）と逆方向転移（古いタスクへの影響）の両方を考慮に入れた堅牢なパフォーマンス指標が必要です。基盤モデルが大きくなるにつれて、フル再学習なしで大規模システムをカスタマイズするために、LoRA（Low-Rank Adaptation）のような効率的な継続適応手法が極めて重要になっています。