Foundation Model

基盤モデルとは、幅広いデータを大規模に使って学習し、多様な下流タスクに適応できる大規模な機械学習モデルです。スタンフォード大学の研究者は、2021年の報告書基盤モデルの機会とリスクについてでこの用語を導入しました。「基盤」は、多くのアプリケーションの中核となりながら、単独では不完全なモデルを表すために選ばれました。従来のモデルは、通常、1つのラベル付きデータセットで1つのタスク向けに学習していました。基盤モデルは、コストのかかる事前学習で一般的なパターンを一度学習し、その後、モデル自体を学習しないチームが構築するチャットボット、検索、翻訳、画像分類、セグメンテーションなど、さまざまなアプリケーションの出発点になります。GPT、Claude、Gemini、Llamaなどの大規模言語モデル（LLM）も、CLIP、DINOv3、MetaのSegment Anything Model（SAM）などのビジョンモデルも基盤モデルです。

基盤モデルの仕組み#

事前学習では人手によるラベルを必要としない目的関数を使うため、学習セットを数兆語のテキストや数十億枚の画像に拡大できます。言語モデルは次のトークンを予測して学習し、ビジョンエンコーダーはマスク画像モデリングや自己蒸留などの自己教師あり学習手法で学習します。ビジョン・言語モデルは、画像とキャプションのペアを使ったコントラスト学習で学習します。ほぼすべての基盤モデルがTransformerアーキテクチャを採用しており、スケーリング則で説明されるように、パラメーター数、データ量、計算量に応じて性能が予測可能な形で向上します。

事前学習の後、同じモデルを複数の方法のいずれかで各タスクに適応させます。プロンプトは指示や例でモデルを誘導する方法で、学習は行いません。ファインチューニングやパラメーター効率の高いファインチューニング（PEFT）ではタスクデータを使って重みを更新し、固定した埋め込み上で小規模なヘッドを学習させると、分類器や検索器として機能します。

報告書では、この傾向から生じる2つの影響が強調されました。創発とは、GPT-3がプロンプト内の少数の例から新しいタスクの実行方法を学んだように、直接学習していない能力が大規模化によって現れることです。均質化とは、多くのアプリケーションが少数のモデルを基盤として構築されるため、モデルの誤りやバイアスが、そのモデルを適応させたあらゆるものに引き継がれることです。規制当局は現在、これらのモデルを直接規制しています。EU AI法では汎用AIモデルと呼ばれ、提供者に対する義務は2025年8月2日から適用されています。

コンピュータビジョンにおける基盤モデル#

ビジョン基盤モデルは、タスク固有の検出器よりもはるかに大規模で幅広いデータを使って学習します。CLIPは4億組の画像とキャプションから学習し、テキストで名前を指定したカテゴリに画像を分類します。これはビジョンにおけるゼロショット学習の基礎です。MetaのDINOv3は、ラベルなし画像17億枚で学習した70億パラメーターのモデルから、深度推定、セグメンテーション、衛星地図作成に使える固定特徴量を生成します。開発者が画像セグメンテーションの基盤モデルと説明したSAMは、画像1,100万枚とマスク11億個からなるSA-1Bデータセットで学習し、点またはボックスで指定した任意の物体をセグメント化します。SAM 3はテキストプロンプトを追加し、名前で指定された概念のすべてのインスタンスを検出します。ビジョン・言語・アクションモデルは、この手法をロボティクスに拡張し、カメラ画像と指示をロボットの動作に変換します。

Ultralytics Platformは、これらのモデルを使ってデータアノテーションを効率化します。Smart annotationでは、クリックによってSAM 2.1、SAM 3、またはSAM 3.1にオブジェクトのマスクを生成させます。検出データセットでは、SAM 3.1 TextやGrounding DINOなどのクラスプロンプト対応モデルが、クラス名からそのクラスのすべてのオブジェクトを検出します。VLM Leaderboardでは、こうしたクラスプロンプト対応モデルと生成VLMが、実世界の検出データセットをどれだけ正確に自動アノテーションできるかを比較します。MetaのSAM 2.1はUltralytics Pythonパッケージでも実行でき、ボックスプロンプトを使うことでタスク固有の学習が不要になります。

from ultralytics import SAM

# セグメンテーション基盤モデルであるMetaのSAM 2.1を、学習せずにそのまま使用
model = SAM("sam2.1_b.pt")

# バスを囲むボックスプロンプトでタスクを指定すると、モデルはその物体のマスクを返します
results = model("https://ultralytics.com/images/bus.jpg", bboxes=[22, 231, 805, 757])
result = results[0]
result.save(filename="sam_bus_mask.jpg")

基盤モデルと関連用語#

• 大規模言語モデル（LLM）：テキスト向けの基盤モデルです。基盤モデルは、画像、動画、音声、表形式データ、ロボット制御も対象とします。
• 生成AI：テキスト、画像、音声、動画を生成するシステムです。多くは基盤モデル上に構築されますが、DINOv3やSAMなど、一部の基盤モデルは新しいコンテンツではなく特徴量やマスクを生成します。
• 転移学習：事前学習済みモデルを別のタスクに再利用する手法です。基盤モデルは、多様なタスクでこのように再利用できるように構築された事前学習済みモデルです。一方、COCOの80クラス物体検出器のように、固定されたラベルセットを使って1つのタスク向けに学習したモデルが転移できるのは、主に関連性の高いタスクです。
• フロンティアAIモデル: ある時点で最も高い能力を持つ基盤モデルです。EU AI法では、10²⁵を超える浮動小数点演算を使用してトレーニングされた汎用AIモデルは、システミックリスクをもたらすと推定され、追加の義務が課されます。