知識蒸留

知識蒸留は、モデル最適化および圧縮技術であり、機械学習（ML）において、コンパクトな「生徒」モデルが、より大きく複雑な「教師」モデルの性能を再現するように学習されます。その中心的なアイデアは、強力だが扱いにくい教師モデルから、より小さく効率的な生徒モデルに「知識」を伝達することです。これにより、性能を大幅に低下させることなく、エッジデバイスや携帯電話などのリソース制約のある環境で、高精度なモデルを展開できます。このプロセスは、大規模で最先端の研究モデルと、実用的で現実的なモデルのデプロイメントとの間のギャップを埋めます。

知識蒸留の仕組み

通常、大規模なニューラルネットワークやモデルのアンサンブルである教師モデルは、まず大規模なデータセットで高い精度を達成するように学習されます。蒸留プロセス中、生徒モデルは教師の出力を模倣することで学習します。生徒はトレーニングデータ内の正解ラベルから学習するだけでなく、教師の各予測に対する完全な確率分布（しばしば「ソフトラベル」と呼ばれる）に基づいて学習します。これらのソフトラベルは、教師モデルがどのように「考え」、汎化するかを明らかにするため、「ハードラベル」（正解）よりも豊富な情報を提供します。たとえば、教師モデルは猫の画像を90%の確信度で「猫」と予測するかもしれませんが、「犬」（5%）や「狐」（2%）にも低い確率を割り当てるかもしれません。この微妙な情報は、生徒モデルがより効果的に学習するのに役立ち、多くの場合、ハードラベルのみで学習した場合よりも優れた汎化につながります。この手法は、効率的なモデルを作成するための深層学習ツールキットの重要な部分です。

実際のアプリケーション

知識蒸留は、強力なAIをアクセス可能にするために、さまざまな分野で広く使用されています。

1. 自然言語処理（NLP）: BERTのような大規模言語モデル（LLM）は非常に強力ですが、多くのアプリケーションには大きすぎます。DistilBERTは、BERTの蒸留版の有名な例です。BERTのパフォーマンスの97％以上を維持しながら、40％小さく、60％高速であるため、消費者向けデバイスでの感情分析や質問応答のようなタスクに適しています。
2. エッジデバイス上のコンピュータビジョン: コンピュータビジョンでは、画像分類または物体検出のための大規模で高精度のモデルを、より小さなモデルに蒸留できます。これにより、スマートセキュリティカメラのリアルタイム人物検出のような複雑なビジョンタスクを、Raspberry Piのような計算能力が限られたハードウェア上で直接実行できるようになり、速度とデータプライバシーが向上します。YOLO11のようなUltralytics YOLOモデルは、より大きなモデルからの知識が、より小さく、デプロイ可能なバージョンのトレーニングに役立つようなワークフローの一部となり得ます。

知識蒸留 vs. その他の最適化手法

知識蒸留は、他のモデル最適化技術と関連していますが、区別されます。Ultralytics HUBのようなプラットフォームを通じて管理およびデプロイできる、プロジェクトに適したアプローチを選択するには、これらの違いを理解することが重要です。

• モデルの枝刈り: この手法は、サイズを縮小するために、すでに学習済みのネットワークから冗長な、または重要度の低い接続（重み）を削除します。対照的に、蒸留は、教師モデルを模倣するために、完全に新しい、より小さなネットワークをゼロから学習させます。
• モデルの量子化: 量子化は、モデルの重みの数値精度を低下させます（例：32ビット浮動小数点から8ビット整数へ）。これにより、モデルが縮小され、互換性のあるハードウェアでの計算が高速化されます。量子化は既存のモデルの表現を変更しますが、蒸留は新しいモデルを作成します。量子化は、蒸留または枝刈りと組み合わせて使用​​されることが多く、モデルはONNXなどの形式にエクスポートしたり、TensorRTなどのエンジンで最適化したりできます。
• 転移学習: これは、事前トレーニングされたモデルの一部（通常はその特徴抽出バックボーン）を再利用し、新しい、より小さいデータセットでファインチューニングすることを含みます。目標は、既存のモデルを新しいタスクに適応させることです。一方、蒸留は、教師モデルの予測行動を生徒モデルに転送することを目的としており、生徒モデルは完全に異なるアーキテクチャを持つことができます。