自己教師あり学習
教師なし学習が、ラベルなしデータを活用して効率的な学習を実現し、コンピュータビジョン、自然言語処理（NLP）などのAIをどのように変革するかをご覧ください。
自己教師あり学習（SSL）は、モデルが大量のラベルなしデータから学習できる機械学習技術です。人間が提供するラベルに頼る代わりに、SSLは「pretext task（プレテキストタスク）」を作成および解決することにより、データ自体から自動的にラベルを生成します。このプロセスにより、モデルは、画像内のテクスチャや形状、またはテキスト内の文法構造など、データの意味のある基礎となるパターンと特徴を学習します。これらの学習された特徴は強力な基盤を構築し、ファインチューニングフェーズ中に、はるかに少ないラベル付きデータで、モデルがダウンストリームタスクで非常に優れたパフォーマンスを発揮できるようにします。SSLは、データに飢えた完全な教師あり学習と、方向性の低い教師なし学習の間のギャップを埋めます。
自己教師あり学習はどのように機能するか
SSLの基本的な考え方は、プリテキストタスク、つまりモデルが解決しなければならない自己作成の問題です。このタスクのラベルは、入力データから直接導出されます。プリテキストタスクを解決することにより、ニューラルネットワークは、データの重要な特性を捉える貴重な表現、つまり埋め込みを学習します。
コンピュータビジョンにおける一般的なpretextタスクには、以下が含まれます。
- 画像回転の予測： ランダムに回転された画像（例えば、0度、90度、180度、または270度）がモデルに与えられ、回転角度を予測する必要があります。これを正しく行うには、オブジェクトの元の向きを認識する必要があります。
- 画像のインペインティング: 画像の一部がマスクされるか削除され、モデルは欠落しているパッチを予測する必要があります。これにより、モデルは画像のコンテキストとテクスチャについて学習することが促進されます。
- Contrastive Learning（対照学習）: 類似した（拡張された）画像の表現を互いに引き寄せ、異なる画像の表現を互いに遠ざけるようにモデルを学習させます。SimCLRのようなフレームワークが、このアプローチの一般的な例です。
ラベルなしデータでのこの事前学習により、より具体的なタスクの開始点として使用できる、堅牢なモデルの重みが得られます。
SSLと他の学習パラダイムの比較
SSLを関連する機械学習パラダイムと区別することが重要です。
- 教師あり学習: ラベル付けされたデータに完全に依存し、各入力は正しい出力とペアになっています。逆に、SSLはデータ自体から独自のラベルを生成するため、手動でのデータラベリングの必要性が大幅に軽減されます。
- 教師なし学習: 事前定義されたプレテキストタスクなしに、ラベルなしデータ内のパターン（クラスタリングなど）を見つけたり、次元削減したりすることを目的としています。SSLは教師なし学習のようにラベルなしデータを使用しますが、表現学習をガイドするためにプレテキストタスクを通じて明示的な教師信号を作成するという点で異なります。
- 半教師あり学習: 少量のラベル付きデータと大量のラベルなしデータの組み合わせを使用します。SSL事前トレーニングは、半教師ありファインチューニングの前の予備的なステップになることがよくあります。
- アクティブラーニング: ラベル付けされていないデータプールから、人間がラベル付けするのに最も有益なデータポイントをインテリジェントに選択することに重点を置いています。SSLは、ループ内で人間の介入なしに、ラベル付けされていないすべてのデータから学習します。これら2つの方法は、データセントリックAIワークフローにおいて補完的です。
実際のアプリケーション
SSLは、さまざまな分野で人工知能（AI）の能力を大幅に向上させました。
- コンピュータビジョンモデルの推進: SSL事前トレーニングにより、Ultralytics YOLOなどのモデルは、自動運転車の物体検出や医療画像分析などのタスク用に微調整される前に、大規模なラベルなし画像データセットから堅牢な視覚的特徴を学習できます。SSLから派生した事前トレーニング済みの重みを使用すると、モデルトレーニング中のパフォーマンスが向上し、収束が速くなることがよくあります。
- Powering Large Language Models (LLMs)（大規模言語モデル（LLM）の強化）: GPT-4やBERTなどの基盤モデルは、大規模なテキストコーパスでの事前トレーニング段階で、マスクされた言語モデリングなどのSSLプリテキストタスクに大きく依存しています。これにより、言語構造、文法、コンテキストを理解できるようになり、高度なチャットボットや機械翻訳からテキスト要約まで、幅広いアプリケーションを強化できます。
SSLは、高価なラベル付きデータセットへの依存を大幅に軽減し、強力なAIモデルの開発を民主化します。PyTorchやTensorFlowなどのツール、およびUltralytics HUBなどのプラットフォームは、SSL技術を活用して最先端のAIソリューションを構築および展開するための環境を提供します。SSLに関する最新の研究は、NeurIPSやICMLなどのトップAI会議で見つけることができます。
