Лицензия YOLO
Ultralytics YOLO

Сегментация Ultralytics YOLO в плотных сценах: 1 000 масок

В Ultralytics 8.4.213 модель YOLO26n-seg предсказывает и суммирует 1 000 масок на синтетическом изображении 1080p за 56.4 мс на RTX PRO 6000 — вместо 821.2 мс.

Гленн ДжокерGlenn Jocher11 мин. чтения
Вид сверху на причал яхтенной гавани с масками экземпляров YOLO26x-seg для 74 лодок; рядом карточка со сравнением времени предсказания 1 000 масок на синтетическом изображении 1080p: 56.4 мс в Ultralytics 8.4.213 и 821.2 мс в 8.4.212

Выпуск Ultralytics 8.4.213 от 14 ноября 2026 года ускоряет сегментацию YOLO в плотных сценах: большие стеки масок декодируются внутри рамки каждого обнаруженного объекта. Если ты сегментируешь полки, посылки, толпы или аэрофотоснимки, то, вероятно, уже сталкивался с ситуацией, когда модель сегментации находит объекты, но на этап обработки масок после этого не хватает времени или памяти; этот выпуск значительно отодвигает этот предел. В нашем бенчмарке на синтетическом плотно заполненном изображении 1080p модель YOLO26n-seg вернула 1 000 масок экземпляров полного разрешения (retina_masks=True) и сформировала сводку результатов за 56.4 мс, используя пиковые 321 MiB памяти GPU на RTX PRO 6000; в версии 8.4.212 обработка занимала 821.2 мс и использовала 4 291 MiB.

Сама модель не изменилась. Изменился способ, которым сегментация YOLO преобразует выходные данные модели в маски: теперь большие стеки масок декодируются внутри рамки каждого объекта, а не по всему кадру. В Ultralytics Platform вкладка Predict и API возвращают до 1 000 результатов на изображение. В этой статье рассказываем, почему обработка плотных сцен требовала много ресурсов, что изменилось в 8.4.213, какие результаты получены и как самостоятельно запускать предсказания с 1 000 масками.

В плотных сценах раньше приходилось обрабатывать пиксели за пределами каждой рамки#

Сегментация экземпляров присваивает каждому объекту собственную маску. Это нужно, чтобы измерять площадь, вырезать объекты или различать соприкасающиеся предметы. Модель сегментации YOLO предсказывает небольшой набор общих масок-прототипов и несколько коэффициентов для каждого обнаружения, а постобработка объединяет их в отдельную маску для каждого объекта.

До сих пор на этом этапе каждая маска создавалась в размере кадра: по умолчанию — в размере входного изображения модели, а при использовании retina_masks=True или тайлинга — в размере исходного изображения. Для N объектов в кадре размером H x W выделялся стек N x H x W, который обрезался, фильтровался и сканировался, хотя за пределами рамки объекта каждая маска состояла только из нулей. В плотной сцене с разрешением 1080p суммарная площадь 1 000 рамок с учетом перекрытий примерно вдвое превышает площадь кадра, но площадь стека составляла 1 000 площадей кадра. Затраты росли пропорционально max_det и размеру изображения, а не количеству рамок на изображении.

Вид сверху на переполненную яхтенную гавань с масками сегментации экземпляров YOLO26x-seg поверх пришвартованных лодок

YOLO26x-seg вернула 127 масок лодок на этом снимке гавани; показаны обрезанные маски (imgsz=1920, conf=0.25, max_det=1000, retina_masks=True). Фото: Unsplash.

Поэтому для сегментации было непрактично повышать max_det выше значения по умолчанию — 300, а большие изображения с множеством объектов могли исчерпать память. Плотно заставленные товарами полки, например в наборе данных SKU-110K, груды посылок и аэрофотоснимки — именно те сцены, для которых нужно обрабатывать больше 300 объектов.

Ultralytics 8.4.213 декодирует большие стеки масок внутри каждой рамки#

Новый алгоритм из PR #27197 интерполирует логиты прототипов только в пикселях каждой рамки. Он использует разделяемую билинейную выборку — такую же, как при интерполяции в PyTorch, — и объединяет рамки похожего размера в пакеты. Для больших стеков стоимость декодирования теперь зависит от суммарной площади рамок.

На практике важны три детали:

  • Переключение происходит при превышении фиксированного размера стека масок. Предиктор сегментации использует локальные маски в рамках, когда плотный стек превысил бы 33 554 432 пикселя на CUDA или 4 194 304 пикселя на CPU и других устройствах. Для стеков меньшего размера сохраняется прежний плотный алгоритм, который работает не медленнее, а иногда быстрее при небольшом количестве масок.
  • При таком алгоритме контуры строятся непосредственно по локальным маскам в рамках. masks.xy и masks.xyn отслеживают полигоны для каждой рамки, поэтому summary(), to_json() и save_txt не создают полный стек.
  • Формат выходных данных не изменился. masks.data по-прежнему возвращает плотный тензор N x H x W. При использовании локального алгоритма в рамках он создаётся при первом обращении к нему.

Чтение плотного тензора по-прежнему требует выделения памяти, но в PR измерили снижение затрат: на GPU чтение masks.data для 300 масок при разрешении 1080p с retina_masks=True стало занимать 9,1 мс и 795 МиБ вместо 14,1 мс и 1 366 МиБ.

На GPU обработка 1 000 масок при разрешении 1080p ускорилась с 821,2 до 56,4 мс#

В PR приведены результаты бенчмарка YOLO26n-seg при выполнении полного model.predict(...) и result.summary() (рамки и полигоны); указана медиана для прогретых запусков, по одному процессу на строку. Плотные сцены — это синтетические изображения, составленные из тайлов, при conf=0.01 и imgsz=1280; типичная сцена — стандартный bus.jpg с настройками по умолчанию и 5 масками. «До» означает версию 8.4.212. Эти измерения показывают затраты на постобработку и включают предсказание и сводку результатов; это не показатель общей скорости инференса.

Сцена (GPU, RTX PRO 6000)Маскиretina_masks8.4.2128.4.213
Типичная (bus.jpg)5Ложь4,3 мс, 59 МиБ4,4 мс, 59 МиБ
1920 x 1080300Ложь118,5 мс, 1 673 МиБ16,3 мс, 174 МиБ
1920 x 1080300Истина248,7 мс, 1 366 МиБ18,0 мс, 201 МиБ
1920 x 10801,000Истина821,2 мс, 4 291 МиБ56,4 мс, 321 МиБ
4000 x 3000300Истина1 352,1 мс, 7 070 МиБ26,5 мс, 172 МиБ
4000 x 30001,000Истина4 323,1 мс, 23 305 МиБ130,7 мс, 258 МиБ

Время и пиковое потребление памяти GPU, PyTorch 2.15.0 с CUDA 13.2. Источник: PR #27197.

Результат для типичного изображения с пятью масками не изменился — так и задумано. Ускорение заметно там, где раньше разрастался стек, и особенно велико для масок в полном разрешении, обработка которых раньше обходилась дороже всего.

Большим изображениям требуется лишь малая доля прежнего объёма памяти#

Для изображения размером 4000 x 3000 пикселей с 1 000 предсказанными масками старый алгоритм использовал до 23 305 МиБ памяти GPU. Новый алгоритм использовал максимум 258 МиБ и завершал работу за 130,7 мс вместо 4 323,1 мс. Благодаря такому снижению у тебя остаётся больше памяти GPU для остальной части конвейера при работе с 12-мегапиксельными кадрами с дронов, спутников и систем инспекции.

Вид сверху на большую парковку с масками сегментации экземпляров YOLO26x-seg поверх припаркованных автомобилей

YOLO26x-seg вернула 222 маски автомобилей на этом аэрофотоснимке (imgsz=1920, conf=0.15, max_det=1000, retina_masks=True). Фото: Unsplash.

Предсказания на CPU тоже стали намного быстрее#

На CPU Linux x86 с 8 потоками процесс использует около 840 МиБ ещё до создания масок. При разрешении 1080p и 1 000 масках в полном разрешении пиковое потребление памяти процессом снизилось с 5 217 до 1 072 МиБ, а время сократилось, как показано ниже.

300 и 1 000 масок при разрешении 1920 x 1080, а также 300 масок при разрешении 4000 x 3000 (12 Мп). YOLO26n-seg, предсказание и сводка результатов; версия 8.4.212 до изменения и 8.4.213 после. Источник: PR #27197.

Маски совпадают с результатами 8.4.212, за исключением незначительных различий по краям в одном режиме#

Ускоренный алгоритм полезен, только если возвращает тот же результат. В PR сравнили 8.4.213 с 8.4.212 на 96 предсказаниях, используя YOLO26n-seg и YOLO11n-seg на двух изображениях шести размеров, conf со значениями 0.25 и 0.01, оба режима масок и принудительно включённый алгоритм с локальными масками в рамках:

  • Маски по умолчанию (retina_masks=False): рамки, маски и полигоны идентичны; различий нет среди 7,6 миллиона пикселей масок.
  • Маски в полном разрешении (retina_masks=True): результаты идентичны в случаях, когда старый код выполнял интерполяцию один раз. Для изображений с другими пропорциями различаются 0,07 % пикселей масок (18 105 из 24,8 миллиона); все различия приходятся на края масок, поскольку старый код выполнял там интерполяцию дважды, а новый однократно выбирает значения прототипов в точных координатах.
  • Apple MPS: маски, рамки и полигоны идентичны для плотной сцены с разрешением 1080p и 179 масками в обоих режимах масок.

Как сегментировать 1 000 объектов на изображение в Python#

Обнови пакет с помощью pip install -U ultralytics (версия 8.4.213 или новее), а затем увеличь max_det выше значения по умолчанию — 300. Остальной код можно не менять.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")  # Классы COCO; загрузи собственную обученную модель для полок или посылок
results = model.predict("crowd.jpg", imgsz=1280, conf=0.25, max_det=1000, retina_masks=True)

r = results[0]
print(len(r.boxes), "objects")
if r.masks is not None:
    polygons = r.masks.xy  # один массив (P, 2) на объект, в пикселях исходного изображения
rows = r.summary()  # рамки и полигоны

max_det — это верхний предел, а не целевое значение: количество возвращаемых объектов по-прежнему зависит от модели, изображения и порога уверенности. Чтобы получить максимум от этого изменения:

  1. По возможности считывай контуры. masks.xy (в пикселях) и masks.xyn (нормализованные) строятся по локальным маскам в рамках при использовании алгоритма для больших стеков; то же относится к to_json() и save_txt. В справочнике по Results перечислены все атрибуты.
  2. Для вычислений непосредственно по пикселям считывай masks.data. Площадь и перекрытия проще всего вычислять по плотному тензору; для вырезания объектов также можно использовать контуры masks.xy. В уроке Академии о работе с масками в коде показано, когда использовать каждый вариант, а в руководстве по изоляции объектов вырезанные объекты создаются по контурам.
  3. Используй retina_masks=True, если нужны маски в разрешении исходного изображения. В бенчмарке на GPU с 300 масками при разрешении 1080p обработка теперь занимает 18,0 мс против 16,3 мс для масок по умолчанию. Если работаешь с мелкими объектами в очень больших кадрах, посмотри нашу статью о детекции мелких объектов с помощью разбиения изображения на тайлы и руководство по тайлингу изображений высокого разрешения. При предсказании с тайлингом возвращаются маски размером с исходное изображение, поэтому для такого запуска по-прежнему требуется память, пропорциональная размеру исходного изображения.
  4. Настрой conf и iou для плотных сцен. Увеличение max_det позволяет сохранить больше обнаружений, которые уже прошли conf; снижение conf позволяет учитывать менее уверенные обнаружения. В описании настроек предсказания рассматриваются conf, iou и max_det, а в нашем руководстве по порогу IoU для NMS объясняется, как обрабатывать соприкасающиеся объекты.

Изменение затрагивает постобработку на Python, поэтому оно применимо к модели PyTorch и экспортированным моделям, запущенным через API predict от Ultralytics. В PR тестировались YOLO26n-seg и YOLO11n-seg; та же постобработка используется во всех моделях сегментации YOLO26 и YOLO11 — от YOLO26n-seg с 2,7 млн параметров после объединения слоёв до YOLO26x-seg с 62,8 млн. Чтобы обучить такую модель на собственных плотных данных, следуй нашему руководству по обучению YOLO26 на собственных данных для сегментации экземпляров.

Ultralytics Platform теперь возвращает до 1 000 результатов на изображение#

Теперь в Ultralytics Platform тоже действует тот же верхний предел. Вкладка Predict модели возвращает до 1 000 результатов на изображение; то же касается REST API, на котором она работает. Исключение — модели RT-DETR: для них предел составляет 300, то есть количество запросов в декодере.

Панель результатов вкладки Predict в Ultralytics Platform для YOLO26x-seg: 97 обнаруженных автомобилей и статистика скорости

Вкладка Predict для YOLO26x-seg при размере изображения 1280: на аэрофотоснимке выше показано 97 обнаруженных автомобилей. Подробное описание панели см. в документации по инференсу в Platform.

Панель результатов рассчитана на длинные списки. Если результатов больше 10, на изображении отображаются рамки без меток, чтобы не закрывать объекты; в списке указаны названия результатов, а на увеличенном изображении остаются метки. Наведи курсор на строку, чтобы выделить соответствующий объект, или на объект, чтобы найти его строку.

Чтобы проверить это на собственных данных, начни с набора данных Package-Seg для сегментации посылок, обучи модель в облаке и запусти её во вкладке Predict или за выделенной конечной точкой.

Набор данных Package-Seg на Ultralytics Platform: посылки с масками-полигонами

Набор данных Package-Seg на Ultralytics Platform — готовая отправная точка для сегментации в логистике.

Кому стоит обновиться#

Обновись уже сейчас, если сегментируешь плотные сцены или большие изображения: торговые полки, сортируемые посылки, аэрофотоснимки и съёмку с дронов, микроскопию клеток или любые другие данные, для обработки которых приходилось ограничивать max_det, уменьшать размер изображения или отключать retina_masks, чтобы уложиться в доступную память. Теперь от этих обходных решений можно отказаться.

Если стеки масок не превышают порог, продолжает использоваться прежний плотный алгоритм. Учти, что порог зависит от произведения количества объектов на размер изображения, поэтому даже несколько масок на очень большом изображении могут его превысить. Если твой конвейер всегда считывает masks.data, плотный тензор всё равно создаётся; в тесте из PR для 300 масок при разрешении 1080p на GPU это заняло меньше времени и памяти, чем раньше. Если хочешь вспомнить, нужна ли тебе сегментация экземпляров, см. статью о семантической сегментации и сегментации экземпляров.

Часто задаваемые вопросы

  • Сегментация YOLO — это задача сегментации экземпляров в Ultralytics YOLO: для каждого объекта модель возвращает класс, рамку, оценку уверенности и попиксельную маску. Модели сегментации YOLO26 выпускаются в пяти размерах — от YOLO26n-seg до YOLO26x-seg; они предварительно обучены на 80 классах COCO и готовы к дообучению на твоих данных.

  • max_det задаёт верхний предел, который по умолчанию равен 300; количество возвращаемых объектов также зависит от модели, изображения и порога уверенности. Начиная с версии 8.4.213, для нагрузок, подобных тестовой, можно установить предел 1 000: на синтетическом изображении с разрешением 1080p YOLO26n-seg предсказала и обработала сводку для 1 000 масок в полном разрешении за 56,4 мс, использовав максимум 321 МиБ памяти на RTX PRO 6000. Ultralytics Platform возвращает до 1 000 результатов на изображение.

  • В предыдущих версиях каждая маска создавалась в размере кадра, поэтому объём памяти рос пропорционально произведению количества объектов на площадь кадра. В синтетическом тесте с изображением размером 4000 x 3000 и 1 000 масками в полном разрешении пиковое потребление памяти GPU составило 23 305 МиБ. Версия 8.4.213 декодирует большие стеки внутри каждой рамки и в том же случае использовала максимум 258 МиБ.

  • Обновись до версии ultralytics 8.4.213 или новее; других изменений кода не требуется, поскольку алгоритм с локальными масками в рамках включается автоматически для больших стеков масок. masks.data по-прежнему сохраняет прежний плотный формат, поэтому существующий код продолжит работать; чтение masks.xy или вызов summary() вместо этого позволяют не создавать такой тензор при использовании этого алгоритма.

  • retina_masks=True возвращает маски с разрешением исходного изображения, а не с размером входного изображения модели, чтобы плотная маска была совмещена с исходным изображением. При 300 масках на синтетическом изображении с разрешением 1080p предсказание YOLO26n-seg и формирование сводки результатов на RTX PRO 6000 заняли 248,7 мс в версии 8.4.212 и 18,0 мс в версии 8.4.213 при включённой настройке.

Автор

Glenn Jocher
Glenn Jocher

Основатель и генеральный директор · Ultralytics

Гленн Джочер — основатель и генеральный директор Ultralytics, где он руководит разработкой Ultralytics YOLO — самых широко используемых в мире моделей компьютерного зрения. Его работа не ограничивается созданием более быстрых и точных моделей: он стремится помочь людям по всему миру решать важные задачи с помощью ИИ для компьютерного зрения.

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения