全景セグメンテーション

パノプティックセグメンテーションは、シーン全体を包括的かつピクセルレベルで理解する、高度なコンピュータビジョン（CV）タスクです。セマンティックセグメンテーションとインスタンスセグメンテーションという2つの独立したタスクを統合します。その目的は、画像内のすべてのピクセルにクラスラベル（車、人、空など）と、個別のオブジェクトには一意のインスタンスIDの両方を割り当てることです。これにより、どちらかのセグメンテーション手法だけでは達成できない、より全体的で詳細な出力が生成され、マシンは人間の視覚に近いレベルで視覚環境を認識できるようになります。この用語は、FAIRの研究者による画期的な2018年の論文「Panoptic Segmentation」で紹介されました。

パノプティック vs. 他のセグメンテーションタイプ

Panoptic segmentationを完全に理解するには、その構成要素と比較すると理解しやすくなります。

• セマンティックセグメンテーション: この技術は、画像内のすべてのピクセルを特定のカテゴリに分類します。たとえば、車に属するすべてのピクセルを「車」として、道路のすべてのピクセルを「道路」としてラベル付けします。ただし、同じオブジェクトクラスの異なるインスタンスは区別しません。互いに隣り合っている2つの別々の車は、どちらも同じ「車」ピクセルマップの一部になります。
• インスタンスセグメンテーション: この手法は、個々のオブジェクト（「モノ」（例：車、歩行者、動物））を検出してセグメント化します。検出された各オブジェクトインスタンスに固有のマスクを割り当てます。例えば、 car_1, car_2、および pedestrian_1。ただし、インスタンスセグメンテーションは通常、非定形な背景領域、つまり明確な形状やカウントを持たない「もの」（空、道路、草、壁など）を無視します。
• パノプティックセグメンテーション： これは、セマンティックセグメンテーションとインスタンスセグメンテーションの両方の長所を組み合わせたものです。画像のすべてのピクセルをセグメント化し、「モノ」と「コト」の両方のクラスラベルを提供します。重要なことに、各「モノ」に一意のインスタンスIDも割り当て、完全で統一されたシーン解釈を提供します。たとえば、パノプティックモデルは、空と道路にラベルを付けるだけでなく、識別して区別します。 car_1, car_2、および pedestrian_1 個別のエンティティとして。この包括的なアプローチは、高度な AIアプリケーション.

パノプティックセグメンテーションの応用

パノプティックセグメンテーションによって提供される詳細なシーン理解は、さまざまな分野で非常に役立ちます。

• 自動運転車: 自動運転車は、安全なナビゲーションのために、周囲の状況を完全に理解する必要があります。パノプティックセグメンテーションを使用すると、道路や歩道のような非構造化サーフェス（「もの」）を識別すると同時に、個々の車、歩行者、自転車（「こと」）を、それらが重複している場合でも区別できます。Waymoのような企業のシステムで実証されているように、この詳細な認識は、安全な経路計画と意思決定に不可欠です。Ultralyticsが自動車向けAIソリューションにどのように貢献しているかをご覧ください。
• 医用画像解析: MRI や CT スキャン などの医用画像解析において、Panoptic Segmentation は、さまざまな組織タイプ（「物」）を区別すると同時に、腫瘍や個々の細胞（「事」）などの構造の特定のインスタンスを識別できます。これにより、より正確な診断、手術計画の支援、および疾患の進行状況のモニタリングがサポートされます。YOLO11 を用いた腫瘍検出などの関連タスクについては、こちらの記事をご覧ください。
• ロボティクス: ロボットが環境と効果的に相互作用するためには、一般的なレイアウト（壁、床）と、操作できる特定のオブジェクト（ツール、部品）の両方を理解する必要があります。パノプティックセグメンテーションは、この統一されたビューを提供し、倉庫や工場などの複雑な設定でのナビゲーションと人間とロボットのインタラクションを改善します。ロボティクスにおけるAIの役割について詳しくはこちらをご覧ください。
• 拡張現実（AR）: ARアプリケーションは、パノプティックセグメンテーションを使用して、仮想オブジェクトを現実世界とシームレスにブレンドします。背景の表面と前景のオブジェクトの両方の位置を理解することで、ARシステムは仮想コンテンツを現実的に配置し、オクルージョンを正しく処理できます。これにより、AR技術に大きな進歩がもたらされました。
• 衛星画像解析: この技術は、森林や水域のような広範囲のタイプ（「もの」）と、建物や車両のような個々の構造物（「こと」）を区別し、詳細な土地被覆マッピングに使用されます。 USGSのような政府機関は、このデータを環境モニタリングや都市計画に利用しています。

モデルと実装

パノプティックセグメンテーションモデルは通常、PyTorchのような深層学習フレームワークを使用して構築され、COCO-PanopticやCityscapesのような大規模データセットでトレーニングされます。UltralyticsのYOLOv8のようなモデルは、物体検出やインスタンスセグメンテーションのようなコアタスクで最先端のパフォーマンスを提供しますが、これらは不可欠な構成要素であり、パノプティックセグメンテーションは統合されたシーン理解の次のレベルを表します。Google AIやMeta AIのような機関での研究が進むにつれて、これらの包括的なモデルの機能は常に向上しており、より洗練された認識力の高いAIシステムへの道が開かれています。Ultralytics HUBのようなプラットフォームを使用して、関連タスクのモデルを管理およびトレーニングできます。