Interactive Segmentation

インタラクティブセグメンテーションは、コンピュータビジョンに対する非常に協調的なアプローチであり、人間が継続的または単発的な入力（クリック、バウンディングボックス、テキストプロンプトなど）を提供することで、AIモデルが画像内の特定のオブジェクトを分離するように誘導します。完全に自動化された手法とは異なり、このヒューマン・イン・ザ・ループ技術により、ユーザーはセグメンテーションが必要な対象を正確に定義できるため、曖昧な視覚データ、重なり合うオブジェクト、未知のクラスを扱う場合に特に価値があります。ここ数年、基盤モデルの登場により、このプロセスの速度と精度は劇的に向上し、データアノテーションや精密な画像処理にとって不可欠なツールとなっています。

Link to this sectionインタラクティブセグメンテーションの仕組み#

その核心において、ワークフローはプロンプト可能コンセプトセグメンテーションに依存しており、モデルはユーザーのガイダンスを解釈してピクセル単位で正確なマスクを生成します。ユーザーは選択したい前景オブジェクトに「ポジティブ」なクリックを、除外したい背景領域に「ネガティブ」なクリックを配置することができます。Segment Anything Model (SAM)やその継承モデルであるMeta SAM 3といった高度なモデルは、これを発展させ、多様なジェスチャータイプ [1]、バウンディングボックス、さらにはテキスト記述を受け入れて視覚的検索の基盤とします。モデルはこれらのプロンプトに基づいて最適な境界を計算し、ユーザーは希望の精度が得られるまで追加のクリックでマスクを反復的に微調整できます。

Link to this section実社会での応用#

インタラクティブセグメンテーションは、人間の専門知識とAIの効率性を融合させることで、数多くの業界におけるワークフローを変革しています。

• 医療画像: ヘルスケアにおけるAIにおいて、医師や放射線科医はインタラクティブツールを使用して、MRIやCTスキャンから腫瘍、病変、または特定の臓器を分離します。医療画像のための空間モデリング [2]に関する研究では、インタラクティブなクリックによって医療専門家がAIの予測を迅速に修正でき、患者の診断に必要な厳密な精度を確保できることが示されています。
• 地理空間および衛星マッピング: 都市計画家や環境科学者は、インタラクティブモデルを使用してGISフィーチャ抽出 [3]を加速させています。複雑な海岸線、農業境界、または新しいインフラを手動でトレースする代わりに、アナリストは戦略的なクリックをいくつか配置するだけで、正確な地理ポリゴンを即座に生成できます。
• 産業用欠陥検出: 製造業におけるAIにおいて、品質管理エンジニアはインタラクティブなプロンプトを使用して生産ライン上の微細な欠陥を強調し、モデル全体を再トレーニングすることなく、新しい種類の欠陥に動的にシステムを適応させることができます。

Link to this sectionインタラクティブセグメンテーションとインスタンスセグメンテーションの比較#

どちらの概念もピクセルレベルでオブジェクトを分離するものですが、運用の目的は異なります。インスタンスセグメンテーションは、通常、Ultralytics YOLO26のようなモデルが、ユーザーの介入なしに事前に定義されたクラス（例：「車」、「人」、「犬」）を検出および輪郭抽出する完全に自動化されたプロセスです。これがどのように機能するかについては、インスタンスセグメンテーションガイドで詳細をご覧ください。

Conversely, interactive segmentation does not strictly rely on predefined classes. It is class-agnostic, meaning it segments whatever the user points to, making it an excellent fit for active learning pipelines where novel objects need to be rapidly annotated and added to custom datasets using tools like the Ultralytics Platform.

Link to this sectionUltralyticsを使用した例#

PyTorchとultralytics Pythonパッケージを使用して、独自のプロジェクトにインタラクティブセグメンテーションを簡単に実装できます。この例では、FastSAMを使用して、バウンディングボックスのプロンプトを提供することで特定のオブジェクトをセグメント化します。

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

このコードスニペットは、単純な空間プロンプトがどのように直接モデルを誘導して対象領域を分離し、最小限のコードで複雑な画像セグメンテーションタスクを効率化できるかを示しています。