Contrastive Learning

コントラスト学習（Contrastive learning）は、類似したサンプルと非類似したサンプルを比較することで、データ理解をモデルに学習させる機械学習パラダイムです。手動でラベル付けされたデータセットに大きく依存する従来の教師あり学習とは異なり、コントラスト学習は自己教師あり学習の文脈でよく使用されます。核心的なアイデアはシンプルでありながら強力です。モデルは、関連するアイテム（正のペア）の表現をベクトル空間内で近づける一方、関連しないアイテム（負のペア）を遠ざけるように学習します。このプロセスにより、アルゴリズムは膨大な量のラベルなしデータからロバストで汎化可能な特徴量を構築できるようになり、これは人工知能（AI）システムのスケーリングに不可欠です。

対照学習のメカニズム#

コントラスト学習の中核にあるのは、比較による学習という概念です。特定の画像が「猫」であると暗記する代わりに、モデルは、猫の写真が2枚ある場合、それぞれが犬の写真よりもお互いに似ていることを学習します。これは通常、データ拡張を通じて実現されます。「アンカー」と呼ばれることが多い入力画像は、クロッピング、反転、カラージッタリングなどの手法を使用して2つの異なるバージョンに変換されます。これら2つのバージョンが正のペアを形成します。その後、モデルは、バッチ内の他のランダムな画像（負のサンプル）との距離を最大化しながら、それらの埋め込み間の距離を最小化するようにトレーニングされます。

このアプローチは、ニューラルネットワークが低レベルのピクセル詳細ではなく、高レベルの意味的特徴に焦点を当てるのに役立ちます。例えば、車が赤か青か、左向きか右向きかにかかわらず、「車」という根底にある概念は変わりません。こうした表面的なバリエーションを無視することで、モデルは視覚世界に対するより深い理解を深め、物体検出や分類などの下流タスクに大きく貢献します。

実社会での応用#

対照学習は、特にラベル付きデータが不足している、あるいは取得コストが高い状況において、多くの最先端AIアプリケーションの基盤となっています。

1. ゼロショット画像分類： CLIP (Contrastive Language-Image Pre-training)などのモデルは、コントラスト学習を使用して、共有特徴空間内で画像とテキストをアライメントします。数百万の画像とテキストのペアでトレーニングすることにより、モデルは視覚的概念と自然言語の説明を結びつけることを学習します。これにより、モデルは、画像をテキストプロンプトに一致させるだけで、トレーニング中に一度も見たことのないカテゴリに画像を分類できるゼロショット学習が可能になります。

2. 医療画像のためのロバストな事前学習： 医療分野において、専門家がラベル付けした医療スキャンを入手することは、コストがかかり時間がかかります。研究者は、ラベルなしのX線やMRIスキャンの大規模データベースでモデルを事前学習させるためにコントラスト学習を使用しています。この教師なし事前学習により、肺炎や腫瘍などの疾患を高精度で検出するために、少数のラベル付き例でファインチューニングできる強力なバックボーンが作成されます。この技術は、医療AIにおける診断ツールを改善するために転移学習を活用しています。

関連概念の区別#

機械学習（ML）の分野におけるコントラスト学習の独自の役割を理解するために、類似の技術と区別すると役立ちます。

• vs. オートエンコーダー： どちらも教師なし手法ですが、オートエンコーダーは入力データをピクセル単位で再構築し、ボトルネック層に圧縮することを目的としています。一方、コントラスト学習は画像を再現しようとするのではなく、異なる概念を分離する識別的表現の学習に専念します。
• vs. 敵対的生成ネットワーク（GANs）： GANsには、偽のデータを作成するジェネレーターと、それを検出しようとするディスクリミネーターが含まれます。コントラスト学習はデータ生成ではなく表現学習に焦点を当てているため、検索、取得、分類などのタスクにより適しています。
• vs. トリプレット損失： 従来のトリプレット損失では、アンカー、ポジティブ、ネガティブのサンプルが明示的に必要です。SimCLRやMoCoなどの現代的なコントラスト手法は、バッチ内でアンカーを多数のネガティブサンプルと同時に比較し、InfoNCEなどの特定の損失関数を使用することでこれを一般化します。

埋め込みに関する実践的な例#

最初からコントラストモデルをトレーニングすることはリソース集約的ですが、事前学習済みモデルを使用して簡単に特徴を抽出できます。次の例は、ultralyticsパッケージを使用してモデルをロードし、画像の特徴ベクトル（埋め込み）を抽出する方法を示しています。この埋め込みは、コントラスト事前学習に似た手法を介して学習されたセマンティックコンテンツを表します。

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on an image to get the results
# The 'embed' argument can be used in advanced workflows to extract feature layers
results = model("https://ultralytics.com/images/bus.jpg")

# Access the top predicted class probability
# This prediction is based on the learned feature representations
print(f"Top class: {results[0].names[results[0].probs.top1]}")
print(f"Confidence: {results[0].probs.top1conf:.4f}")

このように豊富で意味のある特徴を抽出する能力により、コントラスト学習は現代のコンピュータビジョン（CV）システムの構築に不可欠なものとなり、効率的な画像検索や高度な分析が可能になります。こうした高度なアーキテクチャの恩恵を受けるデータセットの管理やカスタムモデルのトレーニングのために、Ultralytics Platformはデプロイとモニタリングのための効率的な環境を提供します。