Self-Supervised Learning

自己教師あり学習（SSL）は、文の次の単語を予測する、隠された画像パッチを埋める、同じ写真の2つの切り抜きを一致すると認識するなど、データ自体からラベルを得るタスクでモデルを訓練します。これにより、大量のラベルなしデータから学習できます。教師あり学習は時間とコストのかかるデータラベリングに制約されますが、生の画像、動画、音声、テキストは豊富にあります。SSLでは、それらを使って汎用エンコーダーを事前学習し、ファインチューニングや小規模な学習済みヘッドによって、少ないラベルで画像分類や物体検出などの下流タスクに適応させます。最新の大規模言語モデル（LLM）はすべて、GPTモデルのように、テキストの次のトークンを予測してこの方法で事前学習されています。MetaのDINOv3は、17億枚の画像で訓練した70億パラメーターのモデルへと、自己教師あり画像事前学習を拡大しました。

自己教師あり学習の仕組み#

SSL手法では、プレテキストタスクを定義します。入力の一部を隠したり変換したりし、取り除いた部分を復元するか、変化しなかった部分を認識するようネットワークを訓練します。プレテキストタスク自体が役立つことはほとんどありません。重要なのは、タスクを解くことで、物体の形状やテクスチャ、各部分の関係など、データの構造をネットワークに学習させ、その特徴をラベル付きタスクへ転移できることです。事前学習後は、凍結した特徴に対する線形プロービングでエンコーダーを評価または利用するか、重み全体をファインチューニングします。

主な手法の種類#

• マスク予測： 入力の一部を隠し、モデルがその部分を再構成するよう訓練します。BERTはランダムにマスクした単語を予測します。マスク付きオートエンコーダーは画像パッチの75%を隠し、ピクセルを再構成します。シーケンスの次のトークンを予測する方法も、テキストに同じ考え方を適用したものです。
• 対照学習： 各画像から拡張した2つのビューを作成し、同じ画像のビュー同士の埋め込みは一致させ、異なる画像のビュー同士は一致させないように訓練します。代表例としてSimCLRとMoCoがあります。
• 自己蒸留： 生徒ネットワークは、同じ画像の異なる切り抜きに対する教師ネットワークの出力に一致するよう学習します。教師ネットワークは生徒の重みをゆっくり更新した平均であり、負例ペアは使いません。BYOLとDINOがこの手法を採用しており、DINOv2とDINOv3では、1億枚を超える厳選データセットへと拡大されています。
• 共同埋め込み予測： 見えている領域から隠された領域の埋め込みを予測することで、ピクセルの細部に処理能力を費やさずに、モデルが抽象的な内容を学習できるようにします。MetaのI-JEPAとV-JEPAは、この手法を画像と動画に適用しています。

手法の選択によって特徴表現が変わります。マスク再構成は細かな空間情報を保持し、ファインチューニングにも適しています。一方、対照学習と自己蒸留では、凍結した状態でもよく機能する特徴が得られます。そのため、DINO系のエンコーダーは深度推定やセマンティックセグメンテーションのバックボーンとして広く使われています。

コンピュータービジョンにおける自己教師あり学習#

ビジョントランスフォーマーとSSLは互いに適しています。パッチ全体をマスクする方法はViTのトークン入力に直接対応し、ViTはラベル付きデータセットだけでは得られない大量の訓練データから恩恵を受けるためです。多くの基盤モデルは、自己教師ありエンコーダーから始まります。画像と動画のプロンプト可能なセグメンテーションに対応し、Ultralyticsパッケージで実行できるMetaのSAM 2は、セグメンテーションの訓練を始める前に、マスク付きオートエンコーダーとして事前学習されたHiera画像エンコーダーを基盤にしています。

用途#

• 医用画像： 病院には、放射線科医が注釈を付けられる量をはるかに上回る数のスキャンがあります。ラベルのないX線、CT、MRIスキャンで事前学習すると、少数の専門家ラベルから腫瘍検出などのタスクを後から学習できるエンコーダーが得られます。
• 衛星画像： MetaはDINOv3の変種を4億9,300万枚の衛星画像で訓練し、World Resources Instituteはこれを使って樹冠高をマッピングしています。ケニアのある地域では、従来のDINOv2ベースの地図で4.1メートルだった平均高さ誤差が1.2メートルに減少しました。
• 音声認識： wav2vec 2.0はラベルのない音声53,000時間で事前学習され、文字起こしされた音声わずか10分でファインチューニングした結果、LibriSpeechのcleanおよびotherテストセットで単語誤り率4.8%と8.2%を達成しました。

自己教師あり学習と関連用語#

• 教師なし学習： クラスタリングや密度推定など、人間のラベルを使わない学習全般を指します。SSLは通常、データから生成したターゲットを使い、教師あり学習と同様の方法で訓練する教師なし学習の一種と見なされます。
• 半教師あり学習： 少量のラベル付きデータと大量のラベルなしデータを同時に使って訓練します。SSLはラベルなしデータのみで事前学習します。この2つは相性がよく、SimCLRv2では大規模な自己教師ありモデルをImageNetのラベルの1%でファインチューニングし、その後、ラベルなし画像を使って蒸留しました。
• 転移学習： 事前学習済みモデルを新しいタスクに再利用します。SSLは、ラベルなしで事前学習済みモデルを作る方法の1つです。
• データ拡張： ランダムな切り抜き、色の変更、反転などによってラベル付きデータセットを拡張します。対照学習によるSSLでは、同じ変換を使って、どのビューを同じ画像と見なすかを定義します。そのため、エンコーダーが無視するよう学習する情報が決まります。