SAM 3を探る：Meta AIの新しいSegment Anything Model

2025年11月19日、Meta AIはSegment Anything Model 3（SAM 3）をリリースしました。この新しいSegment Anything Modelは、テキストプロンプト、視覚プロンプト、画像例を使用して、実世界の画像や動画に含まれる物体を検出、セグメント化、追跡する新しい方法を導入しています。

SAM 3モデルは、SAMとSAM 2を基盤とし、概念セグメンテーション、オープンボキャブラリー検出、リアルタイム動画追跡などの新たな進歩と機能を備えています。短い名詞句を理解し、フレーム間で物体を追跡できるほか、以前のモデルでは一貫して扱うことが難しかった、細分化された概念や珍しい概念を識別できます。

SAM 3のリリースにあわせて、MetaはSAM 3Dも発表しました。この次世代モデル群は、1枚の画像からオブジェクト、シーン、人体全体を再構築し、Segment Anythingのエコシステムを3D理解へと拡張します。これらの新機能により、コンピュータービジョン、ロボティクス、メディア編集、クリエイティブワークフローなどで新たな用途が可能になります。

この記事では、SAM 3とは何か、SAM 2との違い、モデルの仕組み、実世界での用途について解説します。

SAM 3とは？MetaのSegment Anything Model 3を解説#

SAM 3は、簡単な指示に基づいて画像や動画内の物体を識別、分離、追跡できる最先端のコンピュータービジョンモデルです。固定されたラベル一覧に頼るのではなく、自然言語と視覚的な手がかりを理解するため、見つけたいものを簡単にモデルへ伝えられます。

たとえば、SAM 3では、「黄色いスクールバス」や「縞模様の猫」のような短いフレーズを入力する、物体をクリックする、または画像内の例をハイライトすることができます。するとモデルは一致する物体をすべて検出し、きれいなセグメンテーションマスク（物体に属するピクセルを正確に示す視覚的な輪郭）を生成します。SAM 3は動画フレームをまたいで物体を追跡することもでき、移動中も一貫して認識します。

SAM 3Dによる単一画像からの3D再構築#

Meta AIの発表でもう一つ注目されるのが、Segment Anythingプロジェクトを3D理解へ拡張するSAM 3Dです。SAM 3Dは、1枚の2D画像からオブジェクトや人体の形状、姿勢、構造を3次元で再構築できます。つまり、視点が1つしかない場合でも、対象が空間をどのように占めているかをモデルが推定できます。

SAM 3Dは、2つの異なるモデルとしてリリースされました。SAM 3D Objectsは形状とテクスチャを含めて日用品を再構築し、SAM 3D Bodyは1枚の画像から人体の形状と姿勢を推定します。どちらのモデルもSAM 3のセグメンテーション出力を使い、元の写真におけるオブジェクトの外観と位置に合った3D表現を生成します。

図1. SAM 3Dの使用例。（出典：Meta AIのSegment Anything Playgroundを使用して作成）

SAM 3：検出、セグメンテーション、追跡を統合する新機能#

検出、セグメンテーション、追跡を1つの統合モデルにまとめるため、SAM 3で導入された主な更新点をいくつか紹介します。

• コンセプトセグメンテーションタスク： SAMとSAM 2では、オブジェクトのセグメンテーションはクリックやボックスなどの視覚プロンプトに依存していました。SAM 3では、短いテキストフレーズや画像から切り出した例に基づいてオブジェクトをセグメンテーションできるようになりました。これにより、該当するインスタンスをすべて識別する際に、個々のオブジェクトをクリックする必要がなくなります。
• オープンボキャブラリーのテキストプロンプト： 従来のバージョンとは異なり、SAM 3は短い自然言語のフレーズを解釈できます。固定ラベル一覧が不要になり、より具体的な概念や一般的でない概念もモデルで扱えるようになります。
• 検出、セグメンテーション、追跡を1つのモデルで実現： SAM 3は検出、セグメンテーション、追跡を1つのモデルに統合し、オブジェクトの検出、セグメンテーションマスクの生成、動画フレーム間の追跡に別々のシステムを使う必要をなくします。これにより、画像と動画の両方で、より一貫性のある効率的なワークフローを実現します。SAM 2にも追跡機能はありましたが、SAM 3は大幅に強化された、より信頼性の高い性能を発揮します。
• 複雑なシーンでより安定した結果： SAM 3はテキスト、画像例、視覚プロンプトを組み合わせられるため、視覚的なクリックだけに頼る従来バージョンよりも、雑然としたシーンや類似したオブジェクトが繰り返し現れるシーンを安定して処理できます。

図2. SAM 3では、テキストまたは画像例を使ったコンセプトセグメンテーションが導入されています。(出典)

SAM 3、SAM 2、SAM 1の比較#

さまざまな動物が登場するサファリ動画を見ていて、ゾウだけを検出してセグメンテーションしたいとします。このタスクは、SAMの各バージョンでどのように実行できるでしょうか。

SAMでは、セグメンテーションマスクを生成するために、各フレームでゾウを1頭ずつ手動でクリックする必要があります。追跡機能がないため、新しいフレームごとにクリックし直さなければなりません。

SAM 2では、ゾウを1回クリックしてマスクを取得すると、モデルが動画全体を通して同じゾウを追跡できます。ただし、SAM 2は「ゾウ」のようなカテゴリを単独では理解できないため、複数のゾウ（特定のオブジェクト）をセグメンテーションする場合は、それぞれ個別にクリックする必要があります。

SAM 3では、ワークフローが大幅に簡単になります。「ゾウ」と入力するか、例としてゾウを1頭囲むバウンディングボックスを描画すると、モデルが動画内のすべてのゾウを自動的に見つけてセグメンテーションし、フレーム間で一貫して追跡します。従来バージョンで使われていたクリックやボックスのプロンプトにも対応していますが、SAMやSAM 2ではできなかったテキストプロンプトや参照画像にも対応しています。

SAM 3モデルの仕組み#

次に、SAM 3モデルの仕組みと学習方法を詳しく見ていきましょう。

SAM 3のモデルアーキテクチャの概要#

SAM 3は、コンセプトプロンプトと視覚プロンプトを1つのシステムでサポートするため、複数のコンポーネントを組み合わせています。モデルの中核には、Metaの統合型オープンソース画像・テキストエンコーダーであるMeta Perception Encoderが使われています。

このエンコーダーは画像と短い名詞句の両方を処理できます。簡単に言えば、これによりSAM 3は、Segment Anything Modelの従来バージョンよりも言語特徴と視覚特徴を効果的に結び付けられます。

このエンコーダーの上に、SAM 3はDETR系のTransformerモデルをベースとする検出器を備えています。この検出器は画像内のオブジェクトを識別し、ユーザーのプロンプトにどのオブジェクトが対応するかをシステムが判断するのを支援します。

特に動画のセグメンテーションでは、SAM 3はSAM 2のメモリバンクとメモリーエンコーダーを基盤とする追跡コンポーネントを使います。これにより、モデルはフレーム間でオブジェクトの情報を保持し、時間の経過に沿って再識別し、追跡できます。

図3. コンセプトを使ったセグメンテーションの仕組み（出典：scontent）

Segment Anything Model 3を支えるスケーラブルなデータエンジン#

SAM 3を学習させるには、Metaはインターネット上に現在存在するものをはるかに上回る量のアノテーション付きデータを必要としていました。高品質なセグメンテーションマスクとテキストラベルを大規模に作成するのは難しく、画像や動画に含まれる概念のすべてのインスタンスを完全に囲む作業には時間と費用がかかります。

この課題を解決するため、MetaはSAM 3自体、追加のAIモデル、人間のアノテーターが連携する新しいデータエンジンを構築しました。ワークフローは、SAM 3やLlamaベースのキャプション生成モデルなど、AIシステムのパイプラインから始まります。

これらのシステムは大量の画像や動画をスキャンし、キャプションを生成してテキストラベルに変換し、セグメンテーションマスクの候補を初期生成します。その後、人間とAIのアノテーターが候補を確認します。

マスク品質の確認や概念の網羅性の検証などのタスクで、人間と同等、あるいはそれを上回る精度を目指して学習されたAIアノテーターが、容易な事例を選別します。モデルがまだ苦戦する可能性のある難しい事例に限り、人間が対応します。

図4. SAM 3のデータエンジン（出典）

この方法により、Metaはアノテーションの速度を大幅に高めています。AIアノテーターに容易な事例を任せることで、パイプラインはネガティブプロンプトで約5倍、細粒度ドメインのポジティブプロンプトで36%高速化します。

この効率化によって、データセットを400万を超える固有の概念へと拡大できました。AIによる提案、人間による修正、更新されたモデル予測を繰り返すことで、時間の経過とともにラベル品質も向上し、SAM 3はより幅広い視覚的・テキストベースの概念を学習できます。

SAM 3の性能向上#

性能面では、SAM 3は従来モデルを明確に上回っています。オープンボキャブラリーのコンセプト検出とセグメンテーションを評価するMetaの新しいSA-Coベンチマークでは、SAM 3は画像と動画の両方で従来のシステムのおよそ2倍の性能を達成しています。

また、ポイントからマスクへの変換やマスクからマスクレットへの変換など、インタラクティブな視覚タスクでSAM 2と同等以上の性能を発揮します。Metaによると、ゼロショットのLVIS（学習用の例なしで希少カテゴリを認識する必要があるタスク）や物体カウント（物体のすべてのインスタンスが検出されたかを測定するタスク）など、より難しい評価でも性能が向上しており、ドメインをまたぐ汎化性能の強化が示されています。

精度の向上に加え、SAM 3は効率性にも優れており、H200 GPU上で検出物体が100個を超える画像を約30ミリ秒で処理し、動画内の複数物体の追跡でもほぼリアルタイムの速度を維持します。テキストプロンプトを使った場合、SAM 3と新しいSAM 3.1は、Ultralytics VLM Leaderboardで実世界の物体検出に関する視覚言語モデルとも比較されています。

Segment Anything Model 3の活用例#

SAM 3について理解が深まったところで、高度なテキスト誘導型の推論から科学研究、Meta独自の製品まで、実際の用途を見ていきましょう。

SAM 3 Agentによる複雑なテキストクエリへの対応#

SAM 3は、MetaがSAM 3 Agentと呼ぶ、より大規模なマルチモーダル言語モデル内のツールとしても使用できます。「ゾウ」のような短いフレーズをSAM 3に渡す代わりに、エージェントが複雑な質問をSAM 3の理解できる小さなプロンプトに分解します。

たとえば、ユーザーが「写真の中で馬を操り、導くために使われているオブジェクトは何ですか？」と尋ねると、エージェントはさまざまな名詞句を試し、それらをSAM 3に送り、どのマスクが妥当かを確認します。正しいオブジェクトが見つかるまで、プロンプトを調整し続けます。

複雑なテキストクエリ向けに設計されたReasonSegやOmniLabelなどのベンチマークで、SAM 3 Agentは特別な推論データセットで学習していなくても優れた性能を発揮します。これは、SAM 3が言語理解と細粒度の視覚セグメンテーションの両方を必要とするシステムを支援できることを示しています。

SAM 3の科学・保全分野での活用#

興味深いことに、SAM 3は詳細な視覚ラベルが重要となる研究現場ですでに利用されています。MetaはConservation X LabsおよびOsa Conservationと協力し、カメラトラップ動画を1万本以上収録した一般公開の野生動物モニタリングデータセット、SA-FARIを構築しました。

すべてのフレームに登場する各動物にボックスとセグメンテーションマスクが付与されていますが、これを手作業でアノテーションするには非常に時間がかかります。同様に海洋研究では、SAM 3をFathomNetやMBARIと併用し、水中画像のインスタンスセグメンテーションマスクを作成するとともに、新たな評価ベンチマークを支援しています。

こうしたデータセットは、科学者が動画映像をより効率的に分析し、大規模な追跡が難しい動物や生息地を調査するのに役立ちます。研究者はこれらのリソースを活用して、種の識別、行動分析、自動生態系モニタリング向けの独自モデルを構築することもできます。

Meta製品全体におけるSAM 3の展開#

研究用途に加え、SAM 3はMetaの消費者向け製品全体で新機能や新たなユースケースを支えています。すでに統合されている例をいくつか紹介します。

• Instagramの編集機能： クリエイターは、フレームごとの手作業をせずに、動画内の特定の人物やオブジェクトにエフェクトを適用できます。
• Meta AIアプリとウェブ版meta.ai： SAM 3は画像や動画を編集、強化、リミックスする新しいツールを支援します。
• Facebook Marketplaceの「部屋で見る」： SAM 3はSAM 3Dと連携し、1枚の写真を使って家具やインテリアを自宅に置いた様子をプレビューできるようにします。
• Aria Gen 2 研究用メガネ： Segment Anything Model 3は、一人称視点から手やオブジェクトをセグメンテーションして追跡し、拡張現実（AR）、ロボティクス、コンテキスト認識型AIの研究を支援します。

重要なポイント#

SAM 3は、セグメンテーションを前進させる注目すべき一歩です。コンセプトセグメンテーション、オープンボキャブラリーのテキストプロンプト、強化された追跡機能を導入しています。画像と動画の両方で性能が大きく向上し、SAM 3Dも加わったことで、このモデル群はビジョンAI、クリエイティブツール、科学研究、実世界の製品に新たな可能性をもたらします。

コミュニティに参加し、GitHubリポジトリをご覧いただき、AIについて詳しく知りましょう。独自のビジョンAIプロジェクトを構築する場合は、ライセンスオプションをご確認ください。ソリューションページでは、ヘルスケアにおけるAIや小売業におけるVision AIなどの活用例も紹介しています。