自己教師あり学習

自己教師あり学習（SSL）は、ラベルのない膨大なデータからモデルを学習させる機械学習手法である。SSLは、人間が提供するラベルに依存する代わりに、"プレテキスト・タスク "を作成して解くことで、データそのものからラベルを自動的に生成する。このプロセスによってモデルは、画像のテクスチャや形状、テキストの文法構造など、データの根底にある意味のあるパターンや特徴を学習する。これらの学習された特徴によって強力な基盤が構築され、微調整の段階で、ラベル付けされたデータがはるかに少ない下流のタスクでも、モデルが非常に優れたパフォーマンスを発揮できるようになる。SSLは、データを大量に消費する完全な教師あり学習と、より指向性の低い純粋な教師なし学習のギャップを埋める。

自己教師あり学習の仕組み

SSLの核となる考え方は、モデルが解決しなければならない自作の問題であるプレテキストタスクである。このタスクのラベルは入力データから直接導かれる。プレテキストタスクを解くことで、ニューラルネットワークはデータの本質的な特徴を捉えた価値ある表現（エンベッディング）を学習する。

コンピュータ・ビジョンにおける一般的なプレテキスト・タスクには次のようなものがある：

• 画像の回転を予測する：モデルにはランダムに回転（例えば0度、90度、180度、270度）された画像が表示され、回転角度を予測しなければならない。これを正しく行うには、物体の元の向きを認識する必要がある。
• 画像のインペインティング：画像の一部がマスクまたは除去され、モデルは欠落したパッチを予測しなければならない。これにより、モデルは画像の文脈や質感について学習する。
• 対照学習：モデルは、類似した（拡張された）画像の表現を近づけ、異なる画像の表現を遠ざけるように教えられる。SimCLRのようなフレームワークは、このアプローチの一般的な例です。

ラベル付けされていないデータでのこの事前学習は、より具体的なタスクの出発点として使用できるロバストなモデル重みをもたらす。

SSLと他の学習パラダイムの比較

SSLを関連する機械学習パラダイムと区別することは極めて重要だ：

• 教師あり学習：ラベル付けされたデータに完全に依存し、各入力は正しい出力と対になっている。SSLは逆に、データそのものから独自のラベルを生成するため、手作業によるデータ・ラベリングの必要性を大幅に減らすことができる。
• 教師なし学習：ラベル付けされていないデータから、（クラスタリングのような）パターンを発見したり、次元を削減したりすることを目的とする。SSLは教師なし学習と同様にラベル付けされていないデータを使用するが、表現学習を導くための事前タスクを通して明示的な監督シグナルを作成する点が異なる。
• 半教師あり学習：少量のラベル付きデータと大量のラベルなしデータの組み合わせを使用する。SSL事前学習は、多くの場合、半教師付き微調整の前の予備ステップとなる。
• 能動学習：ラベル付けされていないデータプールから、最も有益なデータポイントをインテリジェントに選択し、人間がラベル付けすることに重点を置く。SSLは、ループ内で人間が介入することなく、すべてのラベルなしデータから学習する。これら2つの手法は、データ中心のAIワークフローにおいて補完的な役割を果たす。

実世界での応用

SSLはさまざまな領域で人工知能（AI）機能を大幅に進化させている：

1. コンピュータビジョンモデルの進化SSL事前学習により、Ultralytics YOLOのようなモデルは、自律走行車や 医療画像解析における 物体検出のようなタスクのために微調整される前に、ラベルなしの膨大な画像データセットからロバストな視覚的特徴を学習することができます。SSLから得られた事前学習済みの重みを使用することで、モデル学習中のパフォーマンスが向上し、収束が速くなることがよくあります。
2. 大規模言語モデル（LLM）を強化： GPT-4や BERTのような基盤モデルは、膨大なテキストコーパスの事前学習段階において、SSLプリテキストタスク（マスク言語モデリングのような）に大きく依存しています。これにより、言語構造、文法、およびコンテキストを理解し、高度なチャットボットや 機械翻訳から テキスト要約に至るまで、さまざまなアプリケーションを強化することができます。

SSLは、高価なラベル付きデータセットへの依存を大幅に減らし、強力なAIモデルの開発を民主化します。PyTorchや TensorFlowのようなツールや、Ultralytics HUBのようなプラットフォームは、最先端のAIソリューションを構築・展開するためにSSL技術を活用する環境を提供しています。SSLに関する最新の研究は、NeurIPSや ICMLなどのトップAIカンファレンスでご覧いただけます。