プロンプト可能なコンセプトセグメンテーションの理解

ビジョンAIは急速に進歩しており、実環境での画像や動画の分析に広く使用されています。例えば、交通管理システムからリテールアナリティクスに至るまで、さまざまなアプリケーションにコンピュータビジョンモデルが組み込まれています。

これらのアプリケーションの多くでは、物体検出モデルのようなVisionモデルが、車両、人物、設備など、あらかじめ定義された一連の物体を認識するようにトレーニングされています。トレーニング中、これらのモデルは多数のラベル付きサンプルを提示されることで、各物体がどのように見えるか、そしてシーン内で他の物体とどのように区別するかを学習します。

セグメンテーションタスクにおいて、モデルはさらに一歩踏み込み、これらの物体の周囲をピクセル単位で正確に輪郭抽出します。これにより、システムは画像内の各物体が正確にどこに位置しているかを把握できるようになります。

システムがトレーニングされた内容のみを認識すればよい場合には、これは非常にうまく機能します。しかし、現実世界の環境において、そのような状況は稀です。

視覚シーンは一般的に動的です。新しい物体や視覚的コンセプトが出現し、条件が変化するため、ユーザーは元のトレーニング構成に含まれていなかった物体をセグメント化したいと考えることがよくあります。

これらの制限は、セグメンテーションにおいて特に顕著です。Vision AIが進化し続ける中、繰り返しの再トレーニングなしで新しいコンセプトに適応できる、より柔軟なセグメンテーションモデルへのニーズが高まっています。そのため、プロンプト可能なコンセプトセグメンテーション（PCS）が注目を集めています。

固定された物体カテゴリリストに頼る代わりに、ユーザーはテキスト、視覚的プロンプト、またはサンプル画像を使って、セグメント化したい対象を記述できます。これにより、トレーニング中に明示的に含まれていなかったコンセプトであっても、モデルはそれと一致するすべての領域を特定してセグメント化することが可能になります。

本記事では、プロンプト可能なコンセプトセグメンテーションがどのように機能し、従来の手法とどう異なり、今日どこで活用されているのかを探ります。

プロンプト可能なコンセプトセグメンテーションとは？#

ほとんどの場合、セグメンテーションモデルは限られた種類の物体を認識するようにトレーニングされます。これは、Vision AIシステムが特定の物体セットのみを検出・セグメント化する必要がある場合にはうまく機能します。

しかし、現実世界のアプリケーションでは、視覚シーンは動的です。新しい物体が出現し、タスク要件が変化するため、ユーザーは元のラベルセットに含まれていなかったコンセプトをセグメント化する必要に迫られることがよくあります。このような状況に対応するには、通常、高品質な新しいデータとアノテーションを収集し、モデルを再トレーニングする必要があり、コストの増加とデプロイの遅延を招きます。

プロンプト可能なコンセプトセグメンテーションは、ユーザーが固定されたラベルリストから選択するのではなく、モデルに何を検索すべきかを指示できるようにすることで、この問題を解決します。ユーザーが探している物体や概念を記述すると、モデルが画像内で一致するすべての領域をハイライト表示します。これにより、ユーザーの意図を画像内の実際のピクセルに結びつけることがはるかに容易になります。

図1：セグメント化にコンセプトプロンプトを使用する例（ソース）

さまざまなタイプのプロンプトでセグメンテーションをガイドする#

プロンプト可能なコンセプトセグメンテーションをサポートするモデルは、さまざまな種類の入力に対応できるため柔軟です。つまり、テキスト記述、視覚的なヒント、またはサンプル画像を通じてなど、モデルに探すべき対象を指示する方法は一つではありません。

各アプローチを詳しく見ていきましょう。

• テキストプロンプト： 「スクールバス」や「腫瘍領域」といった短いフレーズを使用して、セグメント化するコンセプトを記述できます。モデルは言葉の意味を解釈し、一致する領域を特定します。
• 視覚プロンプト： これらのプロンプトは、画像内の点、ボックス、または大まかなスケッチをヒントとして使用します。これらの手がかりが探すべき場所をガイドし、最終的な境界線を形成するのに役立ちます。
• 画像エグゼンプラー： 参照画像や小さなクロップ画像が、関心のあるコンセプトを表します。モデルは視覚的に類似した領域を検索し、その外観に基づいてセグメント化します。

PCSと従来のセグメンテーションの違い#

プロンプト可能なコンセプトセグメンテーションの仕組みを掘り下げる前に、まずはそれを様々な従来の物体セグメンテーション手法と比較してみましょう。

PCSは、オープンボキャブラリーでプロンプト駆動型のモデルを実現します。プロンプトを通じて記述された新しいアイデアを扱えますが、従来のセグメンテーションではそれはできません。従来のセグメンテーションにはいくつかの種類があり、それぞれ独自の前提条件と制限があります。

ここでは、従来のセグメンテーションの主要なタイプをいくつか紹介します。

• セマンティックセグメンテーション：画像内のすべてのピクセルが、道路、建物、人物などのカテゴリの一部としてラベル付けされます。同じラベルを持つすべてのピクセルがグループ化されるため、モデルは個々のオブジェクトインスタンスを分離しません。
• インスタンスセグメンテーション：モデルが個々のオブジェクトを識別してセグメント化するため、2人の人物や2台の車は別々のアイテムとして扱われます。
• パノプティックセグメンテーション：この技術は、セマンティックセグメンテーションとインスタンスセグメンテーションを組み合わせることで、背景領域と個々のオブジェクトの両方を網羅したシーンの全体像を提供します。

これらのアプローチはすべて、あらかじめ定義された物体カテゴリのリストに依存しています。その範囲内ではうまく機能しますが、範囲外のコンセプトを扱うのは苦手です。新しい特定の物体をセグメント化する必要がある場合は、通常、追加のトレーニングデータとモデルのファインチューニングが必要になります。

PCSはその現状を変えることを目指しています。事前に定義されたカテゴリに縛られるのではなく、推論時に画像内でセグメント化したい内容を記述できるようになります。

PCSモデルの進化#

次に、セグメンテーションモデルがどのようにしてプロンプト可能なコンセプトセグメンテーションへと進化したのかを見ていきましょう。

セグメンテーションの転換点となった人気の基盤モデルが、Segment Anything ModelであるSAMです。これは2023年に発表されました。SAMは、事前定義されたオブジェクトカテゴリに依存するのではなく、ユーザーがポイントやバウンディングボックスなどの簡単な視覚的プロンプトを使用してセグメンテーションをガイドできるようにしました。

SAMの登場により、ユーザーはラベルを選択する必要がなくなりました。単に物体がどこにあるかを指示するだけで、モデルがそのマスクを生成してくれました。これによりセグメンテーションはより柔軟になりましたが、ユーザーは依然としてモデルに「どこを見るべきか」を示す必要がありました。

2024年にリリースされたSAM 2は、より複雑なシーンの処理に対応し、プロンプトベースのセグメンテーションを動画に拡張することで、この概念をさらに発展させました。さまざまな照明条件、オブジェクトの形状、動きに対するロバスト性が向上しつつ、セグメンテーションのガイドには主に視覚的プロンプトが使用されています。

SAM 3モデルはこの進化における最新のステップです。昨年にリリースされたこのモデルは、視覚的な理解と言語によるガイダンスを組み合わせた統合モデルであり、画像および動画のセグメンテーションタスク全体で一貫した動作を可能にします。

SAM 3を使用すると、ユーザーは点や描画のプロンプトに限定されることはありません。代わりに、セグメント化したい内容をテキストで記述でき、モデルが画像や動画フレームからその記述に一致する領域を検索します。

セグメンテーションは固定された物体カテゴリではなくコンセプトによってガイドされるため、さまざまなシーンや時間の経過を通じてオープンボキャブラリーでの利用をサポートします。実際、SAM 3は、Wikidataなどのソースから派生し、大規模なトレーニングデータを通じて拡張されたオントロジーに基づいた、広大で学習済みのコンセプト空間上で動作します。

図2：SAM 3にプロンプトを送信して単一の画像をセグメント化する例（ソース）

主に幾何学的なプロンプトに依存していた初期バージョンと比較して、SAM 3はより柔軟なコンセプト主導型のセグメンテーションに向けた一歩を表しています。これにより、関心のある物体やアイデアが変化し、必ずしも事前に定義できないような現実世界のアプリケーションに適しています。

プロンプト可能な視覚セグメンテーションの仕組みを探る#

では、プロンプトベースのコンセプトセグメンテーションはどのように機能するのでしょうか？これは、大規模な事前学習済みビジョンモデルおよびビジョン言語モデルを基盤としており、これらは膨大な画像コレクション、多くの場合テキストとペアになったデータで学習されています。この学習により、一般的な視覚的パターンや意味論的意味を学習することができます。

ほとんどのPCSモデルは、画像全体を一度に処理して領域間の関連性を理解するTransformerベースのアーキテクチャを使用しています。Vision Transformerは画像から視覚的特徴を抽出し、テキストエンコーダーは単語をモデルが処理可能な数値表現に変換します。

トレーニング中、これらのモデルは、正確な物体境界を定義するピクセル単位のマスク、物体のおおよその位置を示すバウンディングボックス、画像内に何が写っているかを記述する画像レベルのラベルなど、さまざまなタイプの教師データから学習できます。異なる種類のラベル付きデータを使用したトレーニングは、モデルが細かい詳細とより広範な視覚的コンセプトの両方を捉えるのに役立ちます。

推論時、つまりモデルが実際に予測を行う際には、PCSはプロンプト駆動型のプロセスに従います。ユーザーは、テキスト記述、点やボックスといった視覚的なヒント、あるいはサンプル画像を通じてガイダンスを提供します。モデルはプロンプトと画像の両方を共有の内部表現（エンベディング）にエンコードし、記述されたコンセプトと一致する領域を特定します。

その後、マスクデコーダーがこの共有表現を正確なピクセル単位のセグメンテーションマスクに変換します。モデルは視覚的特徴と意味論的な意味を関連付けているため、トレーニング中に明示的に含まれていなかった新しいコンセプトであってもセグメント化できます。

また、多くの場合、プロンプトを調整したり追加のガイダンスを追加したりすることで出力を改善できるため、複雑なシーンや曖昧なシーンへの対処にも役立ちます。この反復的なプロセスは、デプロイ中の実用的な最適化をサポートします。

プロンプト可能なコンセプトセグメンテーションモデルは、一般的に、未知のコンセプトをどれだけうまくセグメント化できるか、また異なるシーンでどれだけ堅牢に機能するかという点で評価されます。ベンチマークでは、現実世界のデプロイ要件を反映し、マスクの品質、汎用性、計算効率に焦点が当てられることがよくあります。

PCSの現実世界でのユースケース#

次に、プロンプト可能なコンセプトセグメンテーションがすでに使用され、実際のインパクトを与え始めている場所を見てみましょう。

医療画像診断のための柔軟な画像セグメンテーション#

医療画像には多くの生物学的構造、疾患、スキャンタイプが含まれており、新しい症例が日々現れています。従来のセグメンテーションモデルは、この多様性に追いつくのに苦労しています。

PCSは、臨床医が限られた固定リストから選択するのではなく、探したいものを記述できるようにするため、この領域に自然に適合します。テキストフレーズや視覚プロンプトを使用することで、PCSは、新しいタスクごとにモデルを再トレーニングすることなく、臓器や懸念領域を直接セグメント化するために使用できます。これにより、多様な臨床ニーズへの対応が容易になり、手動でのマスク描画の必要性が軽減され、多くの画像タイプにまたがって機能します。

優れた例の1つがMedSAM-3です。これは医療画像処理におけるテキストプロンプト対応PCS向けにSAM 3アーキテクチャを適応させたものです。このモデルには、肝臓や腎臓などの臓器名や、腫瘍や病変などの病変関連の概念といった、明示的な解剖学的および病理学的用語をプロンプトとして入力できます。プロンプトが与えられると、モデルは医療画像内の対応する領域を直接セグメント化します。

MedSAM-3は、テキストと画像の双方について推論できるマルチモーダル大規模言語モデル（MLLMまたはマルチモーダルLLM）も統合しています。これらのモデルは「エージェント・イン・ザ・ループ」構成で動作し、より困難なケースでの精度を向上させるために結果が反復的に改善されます。

図3：医療画像におけるテキストプロンプトによる腫瘍セグメンテーションのためのMedSAM-3パイプライン（ソース）

MedSAM-3はX線、MRI、CT、超音波、動画データ全体で優れたパフォーマンスを発揮し、実際の臨床現場でPCSがいかにしてより柔軟で効率的な医療画像ワークフローを実現できるかを示しています。

ロボット手術と自動化のための適応型セグメンテーション#

ロボット手術は、ビジョンシステムに依存してツールを追跡し、急速に変化する手術シーンを把握します。器具は素早く動き、照明は変動し、新しいツールがいつでも出現する可能性があるため、事前定義されたラベルシステムの維持は困難です。

PCSを使用すれば、ロボットはリアルタイムでツールを追跡し、カメラをガイドし、手術の手順に従うことができます。これにより手動のラベル付けが減り、システムを異なる処置に適応させやすくなります。外科医や自動化システムは、「グリッパー」、「メス」、「カメラツール」といったテキストプロンプトを使用して、画像内で何をセグメント化すべきかを指示できます。

図4：ロボット手術で使用される手術器具のセグメンテーション（ソース）

Ultralytics YOLOE-26によるオープンボキャブラリーセグメンテーション#

プロンプトベースのコンセプトセグメンテーションに関連するもう1つの興味深い最先端モデルが、当社のUltralytics YOLOE-26です。このモデルは、オープンボキャブラリーかつプロンプト駆動型のセグメンテーションをUltralytics YOLOモデルファミリーにもたらします。

YOLOE-26はUltralytics YOLO26アーキテクチャを基に構築されており、オープンボキャブラリーインスタンスセグメンテーションをサポートしています。YOLOE-26を使用すると、ユーザーはさまざまな方法でセグメンテーションをガイドできます。

テキストプロンプトをサポートしており、視覚的に根拠のある短いフレーズでターゲット物体を指定できるほか、画像の手がかりに基づいて追加のガイダンスを提供する視覚プロンプトもサポートしています。さらに、YOLOE-26にはゼロショット推論用のプロンプト不要モードが含まれており、ユーザーのプロンプトを必要とせずに組み込みボキャブラリーから物体を検出しセグメント化します。

YOLOE-26は、物体カテゴリが変化する可能性がある一方で、低レイテンシと信頼性の高いスループットが不可欠な、動画分析、ロボット知覚、エッジベースシステムなどのアプリケーションに最適です。また、アノテーションプロセスの一部を自動化してワークフローを効率化するため、データラベル付けやデータセットキュレーションにも特に役立ちます。

プロンプト可能なコンセプトセグメンテーションの長所と短所#

プロンプト可能なコンセプトセグメンテーションを使用する主な利点は以下の通りです。

• 迅速なイテレーションとプロトタイピング： データセットの再構築やモデルの再トレーニングを行うのではなく、プロンプトを変更することで新しいセグメンテーションタスクを迅速にテストできるため、実験と開発がスピードアップします。
• ドメインを超えた適応性： 同一のPCSモデルを、ワークフローへの変更を最小限に抑えながら、医療画像、ロボット工学、動画分析など、異なるドメインに適用できることがよくあります。
• インタラクティブな改良： ユーザーはプロンプトを繰り返し調整したりガイダンスを追加したりして結果を改善できるため、再トレーニングなしで曖昧なシーンやエッジケースに対処しやすくなります。

PCSには明確な利点がある一方で、考慮すべき制限もいくつかあります。

• プロンプト感度： プロンプトの書き方や提示方法のわずかな変化が出力に影響を与える可能性があります。プロンプトが曖昧すぎたり、あるいは具体的すぎたりすると、不完全または不正確なセグメンテーションにつながる場合があります。
• 予測しにくい動作： モデルは固定ラベルから選択するのではなくプロンプトを解釈するため、シーンや入力によって結果が大きく異なる可能性があり、厳密に制御されたパイプラインでは問題になる可能性があります。
• 曖昧なコンセプト解釈： 一部のコンセプトは主観的であったり、定義が曖昧であったりするため、ユーザー間や画像間でセグメンテーション結果に一貫性がなくなる可能性があります。
• 非常に特定のターゲットに対する信頼性の制限： プロンプトベースのモデルは、微妙な特徴を正確かつ一貫して特定する必要がある欠陥検出のような、狭く定義されたインスタンス固有のタスクに対しては、一般的に信頼性が低くなります。

プロンプト可能なセグメンテーションと従来のセグメンテーションの選択#

プロンプトベースセグメンテーションについて探求していく中で、どのようなアプリケーションに最適であるか、また、解決しようとしている問題に対してUltralytics YOLO26のような従来のコンピュータビジョンモデルのほうが適しているのはどのような場合か、疑問に思うかもしれません。プロンプトベースセグメンテーションは一般的なオブジェクトにはうまく機能しますが、非常に正確で一貫性のある結果が求められるユースケースには適していません。

欠陥検出が良い例です。製造現場では、欠陥はしばしば小さく繊細であり、小さなひっかき傷、へこみ、不整合、または表面の不規則性などが挙げられます。これらは材料、照明、製造条件によっても大きく異なります。

これらの問題はシンプルなプロンプトで記述するのが難しく、汎用モデルが確実に検出するのはさらに困難です。全体として、プロンプトベースのモデルは欠陥を見逃したり不安定な結果を生成したりする傾向がある一方、欠陥データで特別にトレーニングされたモデルは、実際の検査システムにおいて、はるかに信頼性が高くなります。

重要なポイント#

プロンプト可能なコンセプトセグメンテーションは、新しい物体やアイデアが常に現れる現実世界にVisionシステムを適応させやすくします。固定ラベルに縛られる代わりに、ユーザーはセグメント化したい内容を記述するだけでモデルに作業を任せることができ、時間を節約して手作業を削減できます。依然として制限はありますが、PCSは実際にセグメンテーションがどのように使用されるかを変えつつあり、将来のVisionシステムの中核部分になる可能性が高いでしょう。

GitHubリポジトリへのアクセスやコミュニティへの参加を通じて、AIの詳細をさらに探求してください。ロボット工学におけるAIおよび製造業におけるコンピュータビジョンについては、ソリューションページをご覧ください。ライセンスオプションを確認して、今すぐビジョンAIを始めましょう！