転移学習

転移学習とは、あるタスクのために開発されたモデルを、2番目の関連タスクのモデルの開始点として再利用する機械学習（ML）手法です。膨大な量のデータと計算リソースを必要とするモデルをゼロから構築する代わりに、転移学習は、ソースタスクから学習した知識（特徴、重み、パターンなど）を活用します。このアプローチは非常に効率的であり、特にコンピュータビジョン（CV）において、現代の深層学習の基礎となっています。事前学習済みのモデルを使用することで、開発者は大幅に少ないデータと短い学習時間で、より高いパフォーマンスを達成できます。

転移学習の仕組み

転移学習の基本的な考え方は、画像分類用のImageNetなど、大規模で一般的なデータセットでトレーニングされたモデルが、エッジ、テクスチャ、形状などの普遍的な特徴をすでに認識することを学習しているということです。この基礎的な知識は、モデルの初期レイヤーに保存されており、多くの場合、バックボーンと呼ばれます。

このプロセスは通常、主に2つのステップで構成されます。

1. 事前学習済みモデルから始める: 大規模なベンチマークデータセットで事前に学習されたモデルを選択します。たとえば、ほとんどのUltralytics YOLOモデルには、COCOデータセットで事前学習された重みが付属しています。これらのモデルは、一般的なオブジェクトの特徴に関する堅牢な理解をすでに備えています。
2. ファインチューニング: 事前トレーニングされたモデルは、新しい特定のタスクに適応されます。この適応は、ファインチューニングと呼ばれ、より小さいタスク固有のデータセットでモデルをさらにトレーニングすることが含まれます。このフェーズでは、学習済みの貴重な特徴を失うことなく、モデルの重みをわずかに調整するために、通常、学習率は低く保たれます。詳細なガイドについては、転移学習に関するPyTorchチュートリアルを参照してください。

実際のアプリケーション

転移学習は単なる理論的な概念ではなく、多くの業界で実用的な応用があります。

• 医用画像解析: モデルは、一般的な ImageNet データセットで事前トレーニングし、MRI スキャンから脳腫瘍などの特定の異常を検出するように微調整できます。ラベル付きの医療データは入手が困難で高価なことが多いため、転移学習により、数百万枚の医療画像を必要とせずに、正確な診断ツールを作成できます。詳細については、AI が放射線医学に新たな精密さの時代をどのように生み出しているかをご覧ください。
• 自動運転車: 物体検出モデルは、道路画像の膨大なデータセットで事前トレーニングを行い、特定の自動車メーカーが独自の車種を認識したり、特定の気象条件で動作するように微調整することができます。これにより、車、歩行者、標識に関する既存の知識を活用し、開発を加速し、安全性を向上させることができます。

転移学習と関連概念

転移学習を他の機械学習技術と区別することが重要です。

• Foundation Models: これらは、大量のデータで事前トレーニングされた大規模モデルであり、さまざまな下流タスクに適応するように特別に設計されています。転移学習は、これらのFoundation Modelsを適応させるプロセスです。
• Zero-Shot Learning: この手法により、モデルはトレーニング中に見たことのないクラスを認識できます。転移学習は、いくつかの新しいデータを使用してモデルを新しいタスクに適応させますが、zero-shot learningは、新しいクラスの例なしに一般化を目指します。Few-Shot, Zero-Shot, and Transfer Learningに関するガイドでは、これらの違いについて詳しく説明しています。
• Knowledge Distillation（知識蒸留）: これは、効率を実現するために、より大規模な「教師」モデルの挙動を模倣するように、より小規模な「生徒」モデルを訓練する手法です。転移学習はあるタスクから別のタスクへの知識の適応に焦点を当てるのに対し、蒸留は同じタスク内での知識の圧縮に焦点を当てています。

ツールとフレームワーク

転移学習の適用は、さまざまなツールやプラットフォームを通じてアクセスしやすくなっています。PyTorchやTensorFlowのようなフレームワークは、広範なドキュメントと事前学習済みモデルを提供します。Ultralytics HUBのようなプラットフォームは、ワークフロー全体を効率化し、ユーザーがYOLOv8やYOLO11のような事前学習済みモデルを簡単にロードし、新しいデータセットでカスタムトレーニングを実行し、モデルのデプロイを管理できるようにします。より深い理論的理解のためには、スタンフォードCS231nの転移学習に関する概要のようなリソースが非常に貴重です。