Continual Learning

継続的学習（CL：Continual Learning）は、生涯学習とも呼ばれ、AIモデルが以前に学習した情報を忘れることなく、時間の経過とともに新しいタスクを順次学習したり、新しい知識を獲得したりする能力を指します。静的なデータセットで一度だけモデルをトレーニングしてデプロイする従来の機械学習パイプラインとは異なり、継続的学習は、人間が新しい環境に適応し、新しい経験から継続的に学習する能力を模倣します。この分野における最大の課題は、「破滅的忘却」の克服です。これは、ニューラルネットワークを新しいデータでトレーニングすると、古いタスクのために最適化された重みが上書きされ、古いタスクのパフォーマンスが劇的に低下してしまう現象です。

Link to this section継続的学習が重要な理由#

動的な実世界環境において、データ分布が静的であることはほとんどありません。例えば、自動運転車の視覚認識システムは、季節の変化、新しい交通規制、あるいは異なる都市のレイアウトに適応しなければなりませんが、その過程で初期トレーニング時に学習した基本的な道路標識を認識する能力を失ってはいけません。累積的なデータセットに基づいてゼロから再トレーニングする従来の手法は、ストレージの制約やプライバシー上の懸念から、計算コストが高く、現実的でないことがよくあります。継続的学習は、モデルの増分更新を可能にすることでこれらの問題に対処し、リソースが限られているエッジAIアプリケーションにおいて、モデルの効率性とスケーラビリティを向上させます。

Link to this section実社会での応用#

• ロボティクスおよび自律システム： 非構造化環境に展開されるロボットは、未知の物体を操作したり、新しい地形をナビゲートしたりする必要があります。継続的学習を通じて、ロボットは特定の製造タスクを習得し、その後システム全体をリセットすることなく別の製品ラインの取り扱いを学習できるため、柔軟なインダストリー4.0イノベーションパイプラインを効果的にサポートします。
• 医用画像診断： 新しい疾患の出現や画像診断プロトコルの変更に伴い、医療データは進化しています。放射線科医を支援するAIシステムは、継続的学習を用いることで、X線画像で見られるウイルスの新型株などの新しい病変を取り込みつつ、肺炎や骨折といった一般的な疾患の検出精度を高く維持できます。この能力は、確立されたプロトコルにおいて患者の安全を損なうことなく、最新の医療診断を維持するために不可欠です。

Link to this section継続的学習における主要な戦略#

破滅的忘却を軽減するために、研究者はいくつかの戦略を採用しています。正則化手法は、損失関数に制約を追加し、以前のタスクで特定された重要な重みに大きな変更が加わるのを防ぎます。リプレイ手法は、過去のデータの一部を保存（または生成AIを使用して合成サンプルを生成）し、トレーニング中に新しいデータと混ぜ合わせます。最後に、パラメータ分離は、モデルのパラメータの特定のサブセットを異なるタスクに割り当て、新しいタスクの更新が以前のタスク用に最適化されたパラメータを妨げないようにします。2024年から2025年にかけての最近の進歩では、ビジョン言語モデルを使用して、どの特徴が一般的で、どれがタスク固有であるかをより適切に特定することに焦点が当てられています。

Link to this section継続的学習と転移学習の比較#

継続的学習と転移学習を区別することが重要です。転移学習では、事前トレーニング済みモデルが新しい特定のタスクを解決するための出発点として機能し、元のタスクのパフォーマンスは通常重要ではありません。目標は、ターゲットドメインでのパフォーマンスを最大化することです。対照的に、継続的学習の目的は、新しいタスクと以前のすべてのタスクの両方で良好なパフォーマンスを発揮することです。同様に、アクティブラーニングがトレーニングのためにラベル付けする最も有益なデータポイントを選択することに焦点を当てているのに対し、継続的学習は時間をかけてモデル自体を更新するプロセスに焦点を当てています。

Link to this sectionYOLOモデルの更新#

真の継続的学習には専門的なアーキテクチャの調整が必要ですが、ユーザーは古いデータのバッファと新しいデータを混ぜ合わせてモデルをファインチューニングすることで、このワークフローをシミュレートできます。Ultralytics Platformは、これらのデータセットの管理とモデルのバージョン管理を簡素化します。以下は、Python APIを使用してモデルの更新にどのように取り組むかの例です。

from ultralytics import YOLO

# Load a model previously trained on 'dataset_v1.yaml'
model = YOLO("yolo26n-v1.pt")

# Train the model on a new dataset containing new and old samples
# This helps mitigate catastrophic forgetting by "replaying" old data
results = model.train(
    data="dataset_v2_combined.yaml",
    epochs=50,
    imgsz=640,
    lr0=0.001,  # Lower learning rate for fine-tuning
)

Link to this section課題と今後の方向性#

進歩にもかかわらず、継続的学習は依然として活発な研究分野です。最適な可塑性と安定性のジレンマ（新しいことを学ぶ能力＝可塑性と、古いことを保持する能力＝安定性のバランス）を決定することは困難です。さらに、これらのシステムを評価するには、順方向転移（新しいタスクでの学習速度）と逆方向転移（古いタスクへの影響）の両方を考慮した、堅牢なパフォーマンスメトリクスが必要です。ファウンデーションモデルが巨大化するにつれ、LoRA（Low-Rank Adaptation）のような効率的な継続的適応手法は、完全な再トレーニングなしで大規模システムをカスタマイズするために重要になっています。