Panoptic Segmentation

Паноптическая сегментация — задача компьютерного зрения, в которой каждому пикселю изображения назначаются два значения: метка класса и, для пикселей, принадлежащих счетному объекту, идентификатор экземпляра. Она объединяет семантическую сегментацию, которая присваивает каждому пикселю класс, но объединяет объекты одного класса, и сегментацию экземпляров, которая разделяет отдельные объекты, но оставляет фон без меток. В результате получается единая карта всей сцены без пересечений: дорога, небо и трава размечены как области, а каждый автомобиль и человек представлены отдельным сегментом. Александр Кириллов и его коллеги из Facebook AI Research и Гейдельбергского университета определили задачу и ее метрику в статье «Паноптическая сегментация», опубликованной на CVPR 2019. Название отражает определение задачи: включить все видимое в одном кадре.

Фон и объекты#

Паноптическая сегментация делит классы на два типа:

• Объекты: Счетные объекты с определенной формой, например люди, автомобили, животные и сумки. Каждому объекту присваивается собственный идентификатор экземпляра, поэтому два человека, стоящие рядом, становятся двумя сегментами.
• Фон: Аморфные области с похожей текстурой или материалом, например дорога, небо, трава, вода и стены. Все пиксели фонового класса образуют один сегмент, поскольку делить небо на экземпляры бессмысленно.

В паноптическом наборе тестов COCO используются 133 класса: 80 объектов и 53 фоновых класса; автомобильный набор Cityscapes оценивает 19 классов: 8 объектов и 11 фоновых классов. Неоднозначные пиксели или пиксели, не относящиеся ни к одному классу, помечаются как void и игнорируются при оценке. Паноптический формат COCO хранит каждое изображение в формате PNG, где каждому сегменту присвоен уникальный идентификатор, а также JSON-файл, сопоставляющий каждый идентификатор с его категорией.

Как работают паноптические модели#

Ранние системы запускали семантическую ветвь и ветвь экземпляров на общей базовой сети, а затем объединяли их результаты по фиксированным правилам. Например, Panoptic FPN разрешает перекрытия между экземплярами по степени уверенности, отдает приоритет экземплярам перед фоновыми сегментами, а затем удаляет фоновые области меньше заданного порога площади:

Низовые модели, например Panoptic-DeepLab, предсказывают семантическую карту, а также центр каждого объекта и смещение от каждого пикселя к его центру, после чего группируют пиксели объектов по центрам, на которые они указывают. Универсальные модели используют одну архитектуру классификации масок для семантической сегментации, сегментации экземпляров и паноптической сегментации. Mask2Former предсказывает фиксированный набор запросов, каждый из которых выдает одну маску и один класс; такой подход охватывает и объекты, и фон и достиг 57.8 PQ на паноптическом наборе COCO в статье, представленной на CVPR 2022. Приведенный ниже конвейер Hugging Face Transformers запускает контрольную точку Mask2Former, обученную на паноптическом наборе COCO:

import numpy as np
from transformers import pipeline

# Load Mask2Former trained on COCO panoptic: 80 thing and 53 stuff classes
segmenter = pipeline("image-segmentation", model="facebook/mask2former-swin-tiny-coco-panoptic")

# Each returned segment is one non-overlapping region with a class label and a binary mask
segments = segmenter("https://ultralytics.com/images/bus.jpg", subtask="panoptic")

for segment in segments:
    share = np.array(segment["mask"]).mean() / 255
    print(f"{segment['label']}: {share:.1%} of pixels")

Вывод содержит 10 сегментов. Четыре человека, две сумки и автобус (30.7% изображения) представлены отдельными сегментами объектов; рядом с ними находятся по одному фоновому сегменту: объединенная область тротуара (30.9%), объединенная область других зданий (19.5%) и объединенная область деревьев (4.8%). Суффикс "-merged" обозначает фоновые классы COCO, полученные объединением более детальных меток. Ни один пиксель не принадлежит двум сегментам, а 0.4% пикселей, не отнесенных ни к одному сегменту, помечены как void.

Паноптическое качество (PQ)#

Паноптические предсказания оценивают с помощью паноптического качества. Предсказанный сегмент сопоставляется с эталонным сегментом того же класса, если их пересечение над объединением (IoU) превышает 0.5; поскольку сегменты не перекрываются, каждому сегменту может соответствовать не более одного совпадения. Совпавшие сегменты — это истинно положительные результаты (TP), несопоставленные предсказания — ложноположительные (FP), а несопоставленные эталонные сегменты — ложноотрицательные (FN). PQ — это сумма IoU всех совпадений, деленная на TP + ½FP + ½FN; метрика раскладывается на две части:

• Качество сегментации (SQ): Средний IoU сопоставленных сегментов, показывающий, насколько хорошо совпадают маски.
• Качество распознавания (RQ): TP / (TP + ½FP + ½FN), то есть F1-мера обнаружения сегментов.

PQ вычисляется отдельно для каждого класса, а затем усредняется; в наборах тестов также приводят отдельные значения для объектов и фона.

Паноптическая, семантическая сегментация и сегментация экземпляров#

• Семантическая сегментация: Отвечает на вопрос «к какому классу относится этот пиксель?» для каждого пикселя. Три соседних автомобиля становятся одной областью класса «автомобиль».
• Сегментация экземпляров: Отвечает на вопрос «частью какого объекта является этот пиксель?» только для обнаруженных объектов. Пиксели фона не получают меток, а маски разных объектов могут перекрываться.
• Паноптическая сегментация: Отвечает на оба вопроса для каждого пикселя, причем каждому пикселю соответствует ровно один сегмент.

Ultralytics YOLO26 предоставляет эти два компонента как отдельные задачи: модели -seg возвращают маску и класс каждого объекта, а модели -sem для семантической сегментации возвращают класс каждого пикселя и предварительно обучены на 19 классах Cityscapes или 150 классах ADE20K.

Примеры применения в реальных условиях#

• Автономные транспортные средства: Один результат показывает проезжую часть и тротуары как фон, а каждого пешехода и транспортное средство — как отдельный объект, за которым может следить трекер.
• Робототехника: Мобильному роботу нужны единая согласованная карта пола, по которому он может двигаться, и каждого объекта, который он может взять или которого должен избегать.
• Анализ медицинских изображений: При цифровом анализе патологических препаратов области тканей сегментируются как фон, а отдельные ядра и клетки подсчитываются как объекты.
• 3D и видео: При паноптической сегментации видео идентификаторы экземпляров сохраняются между кадрами, а при паноптической сегментации LiDAR, оцениваемой на наборах тестов SemanticKITTI и nuScenes, каждой трехмерной точке скана присваивается класс и идентификатор экземпляра.