Large Vision Models (LVM)
大規模ビジョンモデルは、数億から数十億のパラメーターを持つビジョンネットワークです。膨大な画像コレクションで事前学習され、幅広いタスクに対応します。
大規模ビジョンモデル(LVM)は、数億から数十億のパラメーターを持ち、多様な視覚タスクに1つのモデルで対応できるよう、数百万から数十億枚の画像で事前学習された画像・動画向けニューラルネットワークです。大規模言語モデルに相当する視覚モデルであり、基盤モデルの一種です。事前学習の大部分は自己教師あり学習または弱教師あり学習で行われ、得られたモデルは少量またはラベルなしのデータで、分類、検出、セグメンテーション、深度推定、検索に適応されます。多くのLVMはビジョントランスフォーマーであり、モデルサイズとデータ量に応じて精度が向上する点は、言語モデルで見られるスケーリング則と同様です。代表例には、220億パラメーターのGoogle ViT-22B、MetaのDINOv2とDINOv3、MetaのSegment Anything Modelがあります。
大規模ビジョンモデルの学習方法#
ラベル付けは数十億枚の画像には拡張できないため、LVMは主に画像そのもの、または緩く対応付けられたテキストから学習します。Metaが2023年に公開したDINOv2は自己蒸留を使い、同じ画像から切り出した異なる領域に対する教師モデルの出力に、学生ネットワークを一致させます。最大モデルは11億パラメーターを持ち、厳選された1億4,200万枚の画像で学習されました。DINOv3は2025年にこの手法を拡張し、70億パラメーターと17億枚の画像を使用しました。マスク付きオートエンコーダーは、別の自己教師あり学習手法です。画像パッチの大部分を隠し、モデルにそれらを再構成させます。CLIPやSigLIPに代表される画像・テキストの対照学習では、画像エンコーダーがキャプションと一致するよう学習し、多くのマルチモーダルモデルで再利用されるビジョンバックボーンを生成します。MetaのSegment Anything Modelは、1,100万枚の画像に付与された11億個のマスクを含むSA-1Bデータセットを使い、プロンプト可能なセグメンテーションを学習しました。
名称を最も文字どおりに体現するモデルである、2023年にUC BerkeleyとJohns HopkinsのBaiらが発表したLVMは、画像、動画フレーム、セグメンテーションマスクなどのアノテーションを、離散的なトークンからなる「視覚的な文」に変換します。テキストを一切使わず、次トークン予測で4,200億個のトークンを学習します。テスト時には視覚プロンプティングでタスクを解きます。入力画像と出力画像の組を少数与えると、新しい画像に対する出力を続く系列として生成します。
LVMのタスク適応#
事前学習済みLVMがそのまま使われることはまれです。ラベル付きデータがない場合、SAMのクリックのようなモデル独自のプロンプトを使ったゼロショットや、検索・重複排除用に比較する画像の埋め込みによって機能します。ラベルがある場合は、凍結した特徴に小さなヘッドを学習させる線形プロービングを使います。これは、DINOv2やDINOv3の特徴を深度推定やセグメンテーションで評価する際の一般的な方法です。またはファインチューニングによってバックボーン自体を更新します。対象がスマートフォン、カメラ、ロボットの場合、LVMはデータにラベルを付与するか、知識蒸留を通じて小型モデルを学習させます。
Ultralyticsのauto_annotate関数は、後者の方法を採用しています。YOLO26検出器とMetaのSAMを組み合わせ、検出されたボックスをセグメンテーションラベルに変換して、より小型のセグメンテーションモデルを学習します。SAM-bのパラメーター数は9,370万で、YOLO26n-segは270万です。約35分の1の規模です。Ultralytics Platformは同じ考え方を検出データセットに適用します。クラスプロンプト型ビジョンモデルが画像にラベルを付け、その画像でYOLO26モデルを学習します。
LVM、VLM、タスク特化型モデルの比較#
ビジョン言語モデルは、通常LVMであるビジョンエンコーダーを言語モデルに接続し、画像についてテキストで回答できるようにします。一方、LVM単体は特徴、マスク、画像を出力します。物体検出ネットワークなどのタスク特化型モデルは、1つのタスクと固定されたクラス群向けに学習されるため、エッジAIデバイス上でのリアルタイム推論に十分な小ささと速度を保てます。大規模ビジョンモデルは、その効率と引き換えに幅広いタスクに対応します。凍結したDINOv3バックボーン1つが、分類、検出、セグメンテーション、深度推定、3D対応付けで評価されました。またMetaは、樹冠高マッピングなどの衛星画像解析タスク向けに、衛星画像で学習したバージョンも開発しました。










