セマンティックセグメンテーションとインスタンスセグメンテーション：適切なタスクの選び方

セマンティックセグメンテーションとインスタンスセグメンテーションは、どちらも画像にピクセル単位でラベルを付けますが、答える問いは異なります。セマンティックセグメンテーションではすべてのピクセルにクラスを割り当てるため、シーン内の車はすべて1つの「車」領域になります。インスタンスセグメンテーションでは個々の物体を分離するため、車ごとに独自のマスクが割り当てられます。どちらを選ぶかは、「各ピクセルに 何が あるか」と「各ピクセルが どの物体に 属するか」のどちらを知る必要があるかで決まります。このガイドでは、選択方法に加え、各タスクのアノテーションコストと評価方法も解説します。Ultralytics YOLOは、同じフレームワーク内で両方のタスクに対応しています。

違いを一言で#

• セマンティックセグメンテーションでは、道路、空、人、車などのカテゴリにすべてのピクセルを分類します。同じクラスの物体は1つの領域に統合されます。用語の詳細は、セマンティックセグメンテーションの用語集をご覧ください。
• インスタンスセグメンテーションでは、個々の物体を検出し、それぞれに独自のマスクとIDを割り当てます。通常、数えられる物体が対象となり、空や草などの背景は対象外です。用語の詳細は、インスタンスセグメンテーションの用語集をご覧ください。

図1. 同じ道路に2つのタスクを適用した例です。Ultralytics YOLO26x-sem（Cityscapesクラス）はすべてのピクセルにラベルを付けるため、すべての車が同じ「車」クラスになります。Ultralytics YOLO26x-segは、検出した車8台と人3人にそれぞれ独自のマスクを付与します（確信度0.5以上）。写真はこの記事用に生成したもので、マスクは実際のモデル出力です。

プロジェクトに必要なタスクはどれですか？#

アプリケーションが答える必要のある問いから考えてください。

判断に迷う場合は、同じクラスの接触した2つの物体を区別する必要があるか考えてください。必要な場合は、インスタンスセグメンテーション（またはパノプティックセグメンテーション）が必要です。不要な場合は、セマンティックセグメンテーションのほうがシンプルで、通常は実行コストも低くなります。

図2. レジ待ち列に近く並んで立つ7人の買い物客。セマンティック出力（Ultralytics YOLO26x-sem）では2つの連結した「人」領域に統合されるため、出力から人数を数えることはできません。インスタンス出力（Ultralytics YOLO26x-seg）では7人全員が分離されます。写真はこの記事用に生成したもので、マスクは実際のモデル出力です。

主な違いの一覧#

各タスクのアノテーションコスト#

実際には、アノテーションの作業量が選択を左右することがよくあります。

• セマンティックデータセットでは、背景を含む画像内のすべてのピクセルにクラスを割り当てます。通常、単一チャンネルのマスク画像として保存されます。各画像に完全なラベル付けが必要なため、「ignore」と明示的に指定しない限り、ピクセルを省略できません。
• インスタンスデータセットでは、対象となる各物体の輪郭をポリゴンまたはマスクとして個別に指定します。背景のラベル付けは省略できますが、すべての物体に個別の輪郭が必要です。また、物体が密集したシーンでは作業量が増えます。

どちらのタスクも労力がかかります。クリックやボックスからマスクを生成するアノテーション支援を利用すれば、どちらのタスクでも作業量を削減できます。領域単位の結果だけが必要な場合は、インスタンスラベルにコストをかける必要はありません。

各タスクの評価方法#

• セマンティックセグメンテーションは主にmIoUで評価します。予測領域と正解領域の重なりをクラス間で平均した値です。ピクセル精度も報告されます。IoUは、物体検出でも使われる同じ重なり指標です。
• インスタンスセグメンテーションはmask mAPで評価します。これは物体検出で使われる平均適合率を、マスクの重なりに基づいて計算した指標です。正しいピクセルを覆うだけでなく、個々の物体を検出することが評価されます。

これらの指標は相互に比較できません。mIoUが高くても、個々の物体が分離されているかどうかは分かりません。

パノプティックセグメンテーション：両方が必要な場合#

パノプティックセグメンテーションでは、すべてのピクセルにクラスを割り当て、数えられる物体にはインスタンスIDも付与します。道路や空などの背景の「stuff」はセマンティックにラベル付けされます。車や人などの前景の「things」は1つずつ分離されます。評価にはパノプティック品質 (PQ) が使われます。シーン全体をカバーしつつ、物体ごとの分離も必要な場合に選択してください。パノプティックセグメンテーションをご覧ください。

各タスクの仕組み：概要#

セマンティックセグメンテーションモデルは通常、すべてのピクセルのクラスを予測するエンコーダー・デコーダーネットワークです。U-Net、DeepLab、SegFormerがよく知られた例です。インスタンスセグメンテーションモデルは、通常、物体検出をベースに構築されます。Mask R-CNNは検出した各ボックス内のマスクを予測し、YOLACTやUltralytics YOLOのセグメンテーションモデルのようなシングルステージモデルは、リアルタイム処理向けに1回の推論でボックスとマスクを予測します。Mask2Formerのような汎用アーキテクチャは、1つのモデルでセマンティック、インスタンス、パノプティックの各セグメンテーションに対応します。インスタンスセグメンテーションの詳細は、インスタンスセグメンテーションとはをご覧ください。

Ultralytics YOLOで両方のタスクに対応#

Ultralytics YOLOは、同じPython APIとCLIで両方のタスクを実行できます。

• インスタンスセグメンテーションでは、segmentタスクを使用します。
• セマンティックセグメンテーションでは、semanticタスクを使用します。YOLO26のセマンティックモデルには-semというサフィックスが付き、CityscapesとADE20Kで事前学習されています。タスクのページには、コード上で2つのタスクの出力がどのように異なるかを正確に示す表があります。

どちらも、Ultralytics Platform上でローカルまたはクラウド環境にてトレーニングできます。

図3. セマンティックセグメンテーションは、「シーン内の各クラスがどれだけの割合を占めているか」に答えます。Ultralytics YOLO26x-semは、この画像の51.3%を空、18.2%を植生、15.2%を道路、14.9%を地面としてラベル付けしています。写真はこの記事用に生成したもので、クラスマップと割合は実際のモデル出力です。