Meta AIのあらゆるものをセグメント化するモデル 2（SAM 2）の応用

2024年7月29日、Meta AIは、あらゆるものをセグメント化するモデルの第2バージョンであるSAM 2をリリースしました。新しいモデルは、画像と動画の両方で、対象物を構成するピクセルを特定できます。また、リアルタイムで動画の全フレームにわたって対象物を一貫して追跡できます。SAM 2は、動画編集、複合現実の体験、そしてビジュアルデータのアノテーションの高速化を活用したコンピュータビジョンシステムのトレーニングに、新たな可能性をもたらします。

海洋科学、衛星画像、医療などで活用されてきた初代SAMの成功を基盤に、SAM 2は高速で移動する物体や外観の変化といった課題に取り組みます。精度と効率の向上により、幅広いアプリケーションに対応する汎用性の高いツールになっています。この記事では、SAM 2の活用分野と、AIコミュニティにとっての重要性に焦点を当てます。

SAM 2とは#

Segment Anything Model 2は、画像と動画の両方でプロンプト可能なビジュアルセグメンテーション、すなわちPVSに対応する高度な基盤モデルです。PVSは、ユーザーが指定したプロンプトや入力に基づいて、モデルが画像や動画のさまざまな部分をセグメント化または識別する手法です。プロンプトには、関心領域を示すクリック、ボックス、マスクなどを使用できます。モデルは、指定領域の輪郭を示すセグメンテーションマスクを生成します。

SAM 2のアーキテクチャは、画像セグメンテーションだけでなく動画セグメンテーションにも対応することで、初代SAMを拡張しています。画像データとプロンプトを使ってセグメンテーションマスクを作成する、軽量なマスクデコーダを備えています。動画では、SAM 2にメモリシステムが導入され、過去のフレームの情報を記憶して、時間の経過に伴う正確な追跡を実現します。このメモリシステムには、セグメント化する物体の詳細を保存して呼び出すコンポーネントが含まれます。SAM 2はオクルージョンにも対応し、複数のフレームにわたって物体を追跡できます。また、曖昧なプロンプトに対して複数のマスク候補を生成して対処できます。SAM 2の高度なアーキテクチャは、静的な環境と動的な環境の両方で高い能力を発揮します。

具体的には、動画セグメンテーションにおいて、SAM 2は従来の手法と比べてユーザー操作を3分の1に抑えながら、より高い精度を実現します。画像セグメンテーションでは、初代のSegment Anything Model（SAM）を上回り、6倍の速度と高い精度を達成しています。この改善は、SAMが以前に評価された23件を含む、37種類のデータセットを対象としたSAM 2の研究論文で示されました。

図1. SAMとSAM 2の比較。

興味深いことに、Meta AIのSAM 2は、これまでで最大規模の動画セグメンテーションデータセットであるSA-Vデータセットを作成して開発されました。この大規模なデータセットには、5万本を超える動画と3,550万個のセグメンテーションマスクが含まれ、ユーザーのインタラクティブな貢献を通じて収集されました。アノテーターは、モデルが多様なシナリオや物体の種類から学習できるよう、プロンプトや修正を提供しました。

Segment Anything Model 2の活用例#

画像と動画のセグメンテーションに関する高度な機能により、SAM 2はさまざまな業界で活用できます。活用例をいくつか見ていきましょう。

SAM 2による拡張現実（AR）と仮想現実（VR）の実現#

Meta AIの新しいセグメンテーションモデルは、拡張現実（AR）や仮想現実（VR）のアプリケーションに活用できます。たとえば、SAM 2は実世界の物体を正確に識別、セグメント化し、仮想物体とのインタラクションをよりリアルにできます。現実の要素と仮想の要素の自然なやり取りが重要となるゲーム、教育、トレーニングなど、さまざまな分野で役立ちます。

ARグラスなどのデバイスが進化するにつれて、SAM 2の機能が近いうちに組み込まれる可能性があります。グラスをかけてリビングルームを見回す場面を想像してください。グラスがセグメント化によって犬の水飲みボウルを認識すると、以下の画像のように、水を補充するよう通知してくれるかもしれません。また、新しいレシピを調理しているときには、カウンター上の食材を識別し、手順を追った説明やヒントを提示できます。これにより調理体験が向上し、必要なものをすぐ手元で確認できます。

図2. SAM 2は近いうちにARグラスで活用される可能性があります。

Segment Anything Model 2によるソナー画像処理#

SAMモデルを用いた研究では、ソナー画像処理などの専門分野にも適用できることが示されています。ソナー画像処理には、解像度の低さ、ノイズの多さ、画像内の物体の形状が複雑であることに起因する独自の課題があります。SAMをソナー画像向けにファインチューニングすることで、研究者は海洋ごみ、地質構造、その他の関心対象など、さまざまな水中物体を正確にセグメンテーションできることを実証しました。正確で信頼性の高い水中画像は、生息地のマッピング、人工物の発見、脅威の検出といった海洋研究、水中考古学、漁業管理、監視などの用途に活用できます。

図3。ファインチューニングしたSAMを使用したソナー画像のセグメンテーション例。

SAM 2は、SAMが直面する多くの課題を引き継いで改善しているため、ソナー画像の分析をさらに向上させる可能性があります。高精度なセグメンテーション機能は、科学研究や漁業など、さまざまな水中アプリケーションに役立ちます。たとえば、SAM 2は水中構造物の輪郭を効果的に示し、海洋ごみを検出し、前方監視ソナー画像内の物体を識別することで、より正確かつ効率的な水中探査とモニタリングに貢献できます。

ソナー画像の分析にSAM 2を使用することで期待できるメリットは次のとおりです。

• 効率性：手動セグメンテーションに必要な時間と労力を削減し、専門家が分析や意思決定により集中できるようにします。
• 一貫性：一貫性と再現性のあるセグメンテーション結果を提供します。これは、大規模な海洋研究やモニタリングに不可欠です。
• 汎用性：幅広いソナー画像に対応できるため、海洋科学や産業における多様な用途に役立ちます。

ソナー画像処理のプロセスにSAM 2を統合することで、海洋産業は水中探査と分析の効率性、精度、信頼性を高め、最終的には海洋研究の成果向上につなげることができます。

自律走行車両でのSAM 2の活用#

SAM 2のもう一つの活用分野は自動運転車です。SAM 2は、歩行者、他の車両、道路標識、障害物などをリアルタイムで正確に識別できます。SAM 2が提供する詳細な情報は、安全なナビゲーションや衝突回避の判断に不可欠です。視覚データを正確に処理することで、SAM 2は環境の詳細かつ信頼性の高いマップの作成を支援し、より良い意思決定につなげます。

図4。セグメンテーションを使用した交通状況の把握。

さまざまな照明条件、天候の変化、動的な環境でも適切に動作するSAM 2の能力は、自律走行車両における信頼性を高めます。交通量の多い市街地の道路でも、霧のかかった高速道路でも、SAM 2は物体を安定して正確に識別・セグメンテーションできるため、車両はさまざまな状況に適切に対応できます。

ただし、留意すべき制約もあります。複雑で高速に移動する物体の場合、SAM 2は細部を見落とすことがあり、フレーム間で予測が不安定になる可能性があります。また、混雑したシーンでは、外見が似た複数の物体を混同することがあります。こうした課題があるため、自動運転の用途では追加のセンサーや技術を統合することが極めて重要です。

SAM 2を活用した環境モニタリング#

コンピュータービジョンを使用した環境モニタリングは、アノテーション済みデータが不足している場合には特に難しいものですが、だからこそSAM 2の興味深い用途でもあります。SAM 2は、衛星画像やドローン画像から森林、水域、都市部、農地などのさまざまな環境要素を正確にセグメンテーションして識別し、自然景観の変化を追跡・分析するために活用できます。具体的には、正確なセグメンテーションによって、時間の経過に伴う森林破壊、都市化、土地利用の変化をモニタリングし、環境保全や計画立案に役立つデータを提供できます。

図5. 環境モニタリングにSAM 2を使用。

SAM 2のようなモデルを使用して、時間の経過に伴う環境の変化を分析するメリットをいくつか紹介します。

• 早期検出：環境劣化の初期兆候を特定し、さらなる被害を防ぐための迅速な対策を可能にします。
• 資源管理：さまざまな環境要素の状態に関する詳細な分析情報を提供し、天然資源の効率的な管理を支援します。
• 生物多様性の保全：野生生物の追跡と生物多様性のモニタリングを支援し、保全活動や絶滅危惧種の保護に貢献します。
• 災害対応：洪水、山火事、ハリケーンなどの自然災害による影響の評価を支援し、迅速かつ効果的な災害対応と復旧計画の立案を可能にします。

SAM 2で動画編集：ぜひお試しください#

Segment Anything 2 Demoは、動画でモデルを試すのに最適な方法です。SAM 2のPVS機能を利用して、以前のUltralyticsのYouTube動画から、動画内の3つの物体または人物をセグメンテーションし、ピクセル化できました。従来、このような動画から3人を編集で取り除くには時間と手間がかかり、フレームごとに手動でマスク処理する必要がありました。しかし、SAM 2を使えばこのプロセスを簡略化できます。デモで数回クリックするだけで、数秒のうちに対象となる3つの物体の識別情報を保護できます。

図6。SAM 2のデモを試す。

このデモでは、追跡対象の物体にスポットライトを当てたり、追跡中の物体を消去したりするなど、さまざまなビジュアルエフェクトも試せます。デモを気に入り、SAM 2を使った開発を始める準備ができたら、モデルを実際に試すための詳しい手順を記載したUltralytics SAM 2モデルのドキュメントページをご覧ください。機能、インストール手順、サンプルを確認し、プロジェクトでSAM 2の可能性を最大限に活用してください。その後、Metaはテキストプロンプトによる概念セグメンテーションを追加したSAM 3をリリースしました。

まとめ#

Meta AIのSegment Anything Model 2（SAM 2）は、動画と画像のセグメンテーションを変革しています。物体追跡などのタスクが進歩するにつれ、動画編集、複合現実、科学研究、医用画像などに新たな可能性が生まれています。複雑なタスクを簡素化し、アノテーションを高速化することで、SAM 2はAIコミュニティにとって重要なツールになるでしょう。SAM 2のようなモデルの探求と革新を続けることで、さまざまな分野でさらに多くのアプリケーションや進歩が期待できます。

GitHubリポジトリを探索し、コミュニティに参加して、AIについてさらに知りましょう。製造業や医療におけるAIについて、ソリューションページで詳しくご覧ください。