Self-Supervised Learning

Self-Supervised Learning (SSL) は、外部からの人間によるラベル付けに依存するのではなく、データ自体から独自の教師信号を生成することで、システムがデータを理解することを学習する機械学習のパラダイムです。従来の Supervised Learning では、「猫」や「犬」とラベル付けされた画像など、膨大な数の手動でアノテーションされたデータが必要となり、これらは作成に費用と時間がかかる場合があります。SSLは、モデルが入力データの隠された部分や欠損した部分を予測しなければならない「プレテキストタスク（事前課題）」を作成することでこのボトルネックを回避し、object detection や分類のような複雑なタスクに必要な基礎的な構造や特徴を効果的に自己学習させます。

自己教師あり学習の主要な仕組み#

SSLの背後にある基本的なアイデアは、データの一部をマスクまたは隠し、neural network (NN) にそれを再構築させるか、同じデータの異なるビュー間の関係を予測させることです。このプロセスにより、特定のダウンストリームアプリケーションに向けて後からファインチューニングできる、リッチで汎用的な表現が生成されます。

SSLには主に2つのアプローチがあります。

• Generative Methods: モデルは、空欄を埋めるためにピクセルや単語を生成することを学習します。Natural Language Processing (NLP) における古典的な例は、文中の次の単語を予測することです。コンピュータービジョンでは、Masked Autoencoders (MAE) のような技術が画像のランダムなパッチを隠し、モデルに欠損ピクセルを再構築するタスクを与え、視覚的なコンテキストを「理解」することを強制します。
• Contrastive Learning: この手法は、類似したデータポイントと類似していないデータポイントを区別することをモデルに教えます。クロッピング、カラージッタリング、回転などの data augmentation 技術を画像に適用することで、モデルはこれらの修正されたバージョンが同じオブジェクトを表していることを学習し（ポジティブペア）、他の画像を異なるオブジェクトとして扱います（ネガティブペア）。SimCLR のような人気のフレームワークはこの原則に大きく依存しています。

実社会での応用#

自己教師あり学習は、さまざまなドメインにわたって強力な foundation models を構築するための基礎石となっています。膨大な量のラベルなしデータを活用できるその能力により、非常にスケーラブルなものとなっています。

• Medical Imaging: 専門家によってラベル付けされた医療スキャンを入手することは困難であり、費用がかかります。SSLを使用すると、モデルは数千枚のラベルなしX線やMRIスキャンで事前学習を行い、一般的な解剖学的特徴を学習することができます。この事前学習済みモデルは、少量のラベル付きサンプルでファインチューニングすることで、tumor detection や疾患の診断において高い精度を達成できます。
• Autonomous Driving: 自動運転車は毎日テラバイト単位のビデオデータを生成します。SSLにより、これらのシステムは、フレームごとのアノテーションなしで、生ビデオ映像から時間的ダイナミクスと空間的理解を学習することができます。これは、将来のフレームやオブジェクトの動きを予測することにより、lane detection と障害物回避の向上に役立ちます。

関連用語とSSLの違い#

SSLを Unsupervised Learning と区別することは重要です。どちらの手法もラベルなしデータを利用しますが、教師なし学習は通常、特定の予測タスクなしで隠れたパターンやグループ化（クラスタリング）を見つけることに焦点を当てています。対照的に、SSLは学習プロセスを、データ構造自体から自動的にラベルが生成される教師ありタスクとして組み立てます。さらに、Semi-少量のラベル付きデータと大量のラベルなしデータを組み合わせる学習 (Semi-Supervised Learning) とは異なり、純粋なSSLはファインチューニングが発生する前に、ラベルなしデータセットから完全に独自のラベルを作成します。

Ultralyticsにおける事前学習済みウェイトの活用#

Ultralyticsのエコシステムでは、YOLO26 のようなモデルは、ImageNet や COCO のような大規模データセットでの事前学習フェーズ中にSSLと同様の原則を組み込むことが多い高度な学習戦略から大きな恩恵を受けています。これにより、ユーザーが特定のタスクのためにモデルを展開する際、特徴抽出器がすでに頑健であることが保証されます。

ユーザーは、Ultralytics Platform を使用して、これらの強力な事前学習済み表現を活用し、独自のカスタムデータセットでモデルをファインチューニングできます。

事前トレーニング済みのUltralytics YOLO26モデルをロードし、初期の大規模トレーニングで学習した機能を活用しながら新しいデータセットでファインチューニングを開始する方法の簡潔な例を次に示します。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

SSLの未来#

Meta AI や Google DeepMind のような主要なラボの研究者がこれらの技術を改良し続けるにつれて、SSLは Generative AI やコンピュータービジョンで可能なことの境界線を押し広げています。ラベル付きデータへの依存を減らすことで、SSLは高性能AIへのアクセスを民主化し、小規模なチームが wildlife conservation や industrial inspection などのニッチなアプリケーション向けの洗練されたモデルを構築できるようにしています。