Instance Segmentation

インスタンスセグメンテーションは、画像内の各オブジェクトを検出してクラスを割り当て、ピクセル単位の個別のマスクで輪郭を描くコンピュータービジョンタスクです。物体検出のオブジェクト単位の推論と、画像セグメンテーションのピクセル精度を組み合わせています。背景も含む長方形のバウンディングボックスを描く検出器とは異なり、インスタンスセグメンテーションモデルは、どのピクセルがどのオブジェクトに属するかを正確に示します。肩を並べて立つ2人は、別々のラベルが付いた2つのマスクになるため、個々のオブジェクトを数えたり、測定したり、切り抜いたりできます。

インスタンス、セマンティック、パノプティックセグメンテーションの違い#

インスタンスセグメンテーションは、ラベルの意味が異なる3種類のセグメンテーションタスクの1つです。

• セマンティックセグメンテーション: すべてのピクセルにクラスを割り当て、同じクラスのオブジェクトを1つの領域にまとめるため、駐車中の車が3台あっても1つの「車」領域になります。道路や空などの背景領域にもラベルを付けます。
• インスタンスセグメンテーション: 数えられる各オブジェクト（「thing」）に個別のマスクとIDを割り当てるため、3台の車は車1、車2、車3になります。検出されたオブジェクトに属さないピクセルにはラベルを付けません。
• パノプティックセグメンテーション: すべてのピクセルにクラスを割り当て、数えられるオブジェクトにはインスタンスIDも割り当てて、2種類の見方を1つの出力にまとめます。

MetaのSegment Anything Model（SAM）などのプロンプト対応モデルは、インタラクティブセグメンテーションを実行します。固定されたクラス一覧を必要とせず、クリック、ボックス、テキストプロンプトが示す対象のマスクを返します。

インスタンスセグメンテーションモデルの仕組み#

2段階モデルは、まず検出を行い、次にセグメンテーションを行います。2017年に登場した長年の標準的な設計であるMask R-CNNは、候補領域を提案し、各ボックスを分類して調整したうえで、ボックス内の28×28の小さなマスクを独立したマスクブランチで予測します。

1段階モデルは、1回のパスでボックスとマスクを予測するため、リアルタイム推論に適しています。YOLACTは、YOLOのセグメンテーションモデルでも使われるプロトタイプ方式を導入しました。ネットワークは画像全体に対する共有プロトタイプマスクのセットと、検出した各オブジェクトの短いマスク係数ベクトルを予測します。各オブジェクトのマスクは、プロトタイプを係数で重み付けして合計し、ボックス内に切り抜いた後、しきい値を適用して二値マスクにしたものです。

Mask2FormerなどのTransformerベースのモデルは、第3の方法を採用しています。固定数のマスククエリを予測し、セマンティック、インスタンス、パノプティックセグメンテーションに同じアーキテクチャを使用します。

マスク、ポリゴン、メトリクス#

学習ラベルは通常、各オブジェクトの輪郭に沿って描いたポリゴンです。COCO JSONや、オブジェクトごとに1つのクラスIDと正規化した頂点リストを記録するYOLOテキストファイルなどの形式で保存されます。推論時にモデルは各インスタンスを二値マスクとして出力し、保存や描画のためにポリゴンの輪郭へ戻すことができます。精度はマスクの平均適合率（mAP）で報告します。これはボックスのmAPと同様に算出しますが、予測マスクと正解マスクのIntersection over Union（IoU）を測定します。すべてのオブジェクトの輪郭をポリゴンで描くには、ボックスを描くよりはるかに時間がかかるため、SAMなどのプロンプト対応モデルを使い、1回のクリックでマスクの下書きを作成してからアノテーターが修正する方法が広く用いられています。

-segサフィックスが付くUltralytics YOLO26のセグメンテーションモデルは、検出ごとに32個のプロトタイプと32個の係数を使うプロトタイプ方式を採用し、各インスタンスについてクラス、ボックス、マスク、ポリゴンの輪郭を返します。

from ultralytics import YOLO

# Load a YOLO26 instance segmentation model pretrained on the 80 COCO classes
model = YOLO("yolo26n-seg.pt")

# Segment every object instance in the image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Each instance has its own class and mask outline, even when classes repeat
for class_id, polygon in zip(result.boxes.cls.int().tolist(), result.masks.xy):
    print(f"{result.names[class_id]}: outline with {len(polygon)} points")

result.save(filename="instance_segmentation.jpg")

検出された人物はそれぞれ独立した輪郭付きの行として出力され、保存画像では各インスタンスのマスクが別々の色で表示されます。独自データにラベルを付けてモデルを学習するには、インスタンスセグメンテーション用にYOLO26をカスタム学習する方法またはUltralytics Academyのレッスンインスタンスセグメンテーションのラベル付けと学習を参照してください。

実際のアプリケーション#

個々のオブジェクトの正確な形状や数が判断の基準となる場面では、インスタンスマスクが重要です。

• ロボットピッキング: 雑然とした容器から部品をつかむロボットアームは、隣の部品にぶつからない把持点を選ぶために、各部品の正確な輪郭を必要とします。
• 細胞生物学: 顕微鏡画像の処理パイプラインでは、接触しているものも含め、個々の細胞や核をセグメント化して数え、サイズや形状を測定します。
• 農業: 収穫ロボットや収量推定システムは、密集した樹冠の中から個々の果実を分離して数え、マスクの面積からサイズを推定します。
• 動画内オブジェクトトラッキング: インスタンスマスクをトラッカーと組み合わせると、フレーム間で各オブジェクトの正確なシルエットを追跡できます。
• 自動運転車: Cityscapesなどの走行データセットでは、人や車両の8クラスにインスタンス単位のラベルを付けているため、認識モデルは群衆の中から歩行者を1人ずつ分離できます。