Self-Supervised Learning

自己教師あり学習（SSL）とは、外部から人間が提供するラベルに依存するのではなく、データ自体から独自の教師信号を生成することで、システムがデータを理解することを学習する機械学習のパラダイムです。従来の 教師あり学習 では、「猫」や「犬」などのラベルが付けられた画像のように、人手でアノテーションした膨大なデータがモデルに必要となり、その作成には多大なコストと時間がかかります。SSLでは、入力データの隠れた部分や欠損部分をモデルに予測させる「プレテキストタスク」を作成することで、このボトルネックを解消し、物体検出 や分類などの複雑なタスクに必要な基礎構造と特徴をモデル自身に学習させます。

自己教師あり学習の主要な仕組み#

SSLの基本的な考え方は、データの一部をマスクまたは隠し、ニューラルネットワーク（NN） にその部分を再構成させるか、同じデータの異なるビュー間の関係を予測させることです。このプロセスによって、豊かで汎用的な表現が生成され、後から特定の下流アプリケーション向けにファインチューニングできます。

SSLには、主に2つのアプローチがあります。

• 生成手法: モデルは、空白を埋めるためにピクセルや単語を生成することを学習します。自然言語処理（NLP） における典型的な例は、文中の次の単語を予測することです。コンピュータビジョンでは、マスクドオートエンコーダ（MAE） などの手法が画像のランダムなパッチを隠し、欠損したピクセルを再構成するようモデルに課します。これにより、モデルは視覚的な文脈を「理解」することを学習します。
• コントラスト学習: この手法では、類似したデータポイントと類似していないデータポイントを識別するようモデルに学習させます。画像に対して、クロップ、色のジッター、回転などの データ拡張 手法を適用することで、モデルはこれらの変更された画像が同じ物体を表すこと（正例ペア）を学習し、他の画像は異なる物体として扱います（負例ペア）。SimCLR などの代表的なフレームワークは、この原理に大きく依存しています。

実世界での利用例#

自己教師あり学習は、さまざまな分野で高性能な 基盤モデル を構築するための中核技術となっています。ラベルのない膨大なデータを活用できるため、高いスケーラビリティを実現できます。

• 医用画像: 専門家がラベル付けした医療スキャンの取得は、困難でコストもかかります。SSLを使用すると、モデルは何千ものラベルなしのX線画像やMRIスキャンで事前学習し、解剖学的特徴を全般的に学習できます。この事前学習済みモデルを少数のラベル付きサンプルでファインチューニングすることで、腫瘍検出 や疾患診断で高い精度を実現できます。
• 自動運転: 自動運転車は毎日、テラバイト単位の動画データを生成します。SSLにより、これらのシステムはフレーム単位のアノテーションなしで、生の動画映像から時間的ダイナミクスと空間認識を学習できます。将来のフレームや物体の動きを予測することで、車線検出 や障害物回避の改善に役立ちます。

SSLと関連用語の違い#

SSLと 教師なし学習 を区別することは重要です。どちらの手法もラベルなしデータを利用しますが、教師なし学習は通常、特定の予測タスクを設けずに、隠れたパターンやグループ（クラスタリング）を見つけることに重点を置きます。一方、SSLでは、データ構造自体からラベルを自動生成し、学習プロセスを教師ありタスクとして定式化します。さらに、半教師あり学習 は少量のラベル付きデータと大量のラベルなしデータを組み合わせますが、純粋なSSLでは、ファインチューニングを行う前に、ラベルなしデータセットからラベルを完全に独自生成します。

Ultralyticsでの事前学習済み重みの活用#

Ultralyticsエコシステムでは、YOLO26 などのモデルが、ImageNet や COCO などの大規模データセットでの事前学習フェーズに、SSLと類似した原理を取り入れる高度な学習戦略の恩恵を大きく受けています。これにより、ユーザーが特定のタスク向けにモデルをデプロイする際、特徴抽出器がすでに堅牢な状態になっています。

ユーザーは、Ultralytics Platform を使用して、こうした強力な事前学習済み表現を活用し、自身のカスタムデータセットでモデルをファインチューニングできます。

ここでは、事前学習済みのUltralytics YOLO26モデルを読み込み、初期の大規模学習で獲得した特徴を活用して、新しいデータセットでファインチューニングを開始する方法を簡潔に示します。

from ultralytics import YOLO

# Load a pre-trained YOLO26 model (weights learned from large-scale data)
model = YOLO("yolo26n.pt")

# Fine-tune the model on a specific dataset (e.g., COCO8)
# This leverages the robust feature representations learned during pre-training
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

SSLの未来#

Meta AI や Google DeepMind などの主要な研究機関の研究者がこれらの手法を継続的に改良する中、SSLは 生成AI とコンピュータビジョンで可能なことの限界を押し広げています。ラベル付きデータへの依存を減らすことで、SSLは高性能AIへのアクセスを民主化し、小規模なチームでも 野生生物保全 や 産業検査 など、特定分野のアプリケーション向けに高度なモデルを構築できるようにしています。