Что такое Mask R-CNN и как она работает?

Роботы на складах, беспилотные автомобили, безопасно передвигающиеся по оживлённым улицам, дроны, следящие за посевами, и системы ИИ, проверяющие продукцию на заводах, становятся всё привычнее по мере распространения ИИ. Одна из ключевых технологий, лежащих в основе этих инноваций, — компьютерное зрение, направление ИИ, которое позволяет машинам понимать и интерпретировать визуальные данные.

Например, обнаружение объектов — это задача компьютерного зрения, которая помогает определять объекты на изображениях и находить их с помощью ограничивающих рамок. Такие рамки дают полезную информацию, но лишь приблизительно показывают положение объекта и не передают его точную форму и границы. Поэтому они менее эффективны в приложениях, где требуется точное распознавание.

Чтобы решить эту проблему, исследователи разработали модели сегментации, которые определяют точные контуры объектов и предоставляют данные на уровне пикселей для более точного обнаружения и анализа.

Mask R-CNN — одна из таких моделей. Её представила в 2017 году исследовательская лаборатория Facebook в области ИИ (FAIR); она основана на более ранних моделях, таких как R-CNN, Fast R-CNN и Faster R-CNN. Как важная веха в истории компьютерного зрения, Mask R-CNN проложила путь к созданию более продвинутых моделей, таких как Ultralytics YOLO11.

В этой статье мы рассмотрим, что такое Mask R-CNN, как она работает, где применяется и какие улучшения появились после неё, приведшие к Ultralytics YOLO11.

Обзор Mask R-CNN#

Mask R-CNN — сокращение от «свёрточная нейронная сеть на основе областей с масками» — это модель глубокого обучения, предназначенная для решения задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров.

Сегментация экземпляров выходит за рамки традиционного обнаружения объектов: она не только определяет объекты на изображении, но и точно очерчивает каждый из них. Модель присваивает уникальную метку каждому обнаруженному объекту и фиксирует его точную форму на уровне пикселей. Благодаря такому подробному подходу можно чётко различать перекрывающиеся объекты и точно обрабатывать сложные формы.

Mask R-CNN основана на Faster R-CNN, которая обнаруживает объекты и присваивает им метки, но не определяет их точную форму. Mask R-CNN устраняет это ограничение, определяя точные пиксели, из которых состоит каждый объект. Это позволяет анализировать изображения гораздо подробнее и точнее.

Рис. 1. Сравнение обнаружения объектов и сегментации экземпляров.

Архитектура Mask R-CNN и принцип её работы#

Mask R-CNN поэтапно обнаруживает и сегментирует объекты. Сначала она извлекает ключевые признаки с помощью глубокой нейронной сети — многослойной модели, которая обучается на данных. Затем сеть предложений областей определяет потенциальные области с объектами. Наконец, модель уточняет эти области, создавая подробные маски сегментации — точные контуры объектов, отражающие форму каждого из них.

Теперь разберём каждый этап, чтобы лучше понять, как работает Mask R-CNN.

Рис. 2. Обзор архитектуры Mask R-CNN (источник: researchgate.net).

Сначала — извлечение признаков#

Первый этап работы архитектуры Mask R-CNN — разложить изображение на ключевые части, чтобы модель могла понять, что на нем изображено. Представь, что ты смотришь на фотографию и естественным образом замечаешь такие детали, как формы, цвета и контуры. Модель делает нечто подобное с помощью глубокой нейронной сети, называемой «бэкбоном» (часто это ResNet-50 или ResNet-101), которая служит ей глазами: сканирует изображение и выделяет важные детали.

Поскольку объекты на изображениях могут быть очень маленькими или очень большими, Mask R-CNN использует пирамидальную сеть признаков. Это похоже на набор увеличительных стекол разной силы, позволяющий модели видеть и мелкие детали, и общую картину, чтобы не пропустить объекты любого размера.

После извлечения этих важных признаков модель переходит к поиску потенциальных объектов на изображении, подготавливая основу для дальнейшего анализа.

Поиск возможных областей с объектами на изображении#

После обработки изображения и извлечения ключевых признаков начинает работать сеть предложений областей. Этот компонент анализирует изображение и предлагает области, в которых, вероятно, находятся объекты.

Для этого сеть генерирует несколько возможных местоположений объектов, называемых якорями. Затем сеть оценивает эти якоря и отбирает наиболее перспективные для дальнейшего анализа. Благодаря этому модель сосредоточивается только на областях, которые с наибольшей вероятностью представляют интерес, а не проверяет каждый участок изображения.

Рис. 3. Пример сети предложений областей.

Уточнение извлечённых признаков#

После определения ключевых областей следующий этап — уточнить признаки, извлечённые из этих областей. В более ранних моделях для извлечения признаков из каждой области использовался метод ROI Pooling (пулинг областей интереса). Однако при изменении размера областей этот метод иногда вызывал небольшие смещения, из-за чего хуже работал, особенно с мелкими и перекрывающимися объектами.

Mask R-CNN улучшает этот подход с помощью метода ROI Align (выравнивание области интереса). В отличие от ROI Pooling, который округляет координаты, ROI Align использует билинейную интерполяцию для более точной оценки значений пикселей. Билинейная интерполяция вычисляет значение нового пикселя как взвешенное среднее значений четырех ближайших пикселей, создавая более плавные переходы. Это обеспечивает точное выравнивание признаков относительно исходного изображения и повышает точность обнаружения и сегментации объектов.

Например, во время футбольного матча двух игроков, стоящих близко друг к другу, можно принять за одного из-за перекрывающихся ограничивающих рамок. ROI Align помогает разделить их, сохраняя различия между их формами.

Рис. 4. Mask R-CNN использует ROI Align.

Классификация объектов и прогнозирование их масок#

После обработки изображения с помощью ROI Align следующий шаг — классифицировать объекты и уточнить их расположение. Модель анализирует каждую извлечённую область и определяет, какой объект в ней находится. Она присваивает разным категориям оценки вероятности и выбирает наиболее подходящую.

Одновременно модель корректирует ограничивающие рамки, чтобы они точнее соответствовали объектам. Изначальные рамки могут быть размещены неидеально, поэтому корректировка повышает точность: каждая рамка плотнее охватывает обнаруженный объект.

Наконец, Mask R-CNN делает ещё один шаг: параллельно генерирует подробную маску сегментации для каждого объекта.

Mask R-CNN и примеры ее применения в реальном мире#

Когда эта модель появилась, сообщество ИИ встретило ее с большим энтузиазмом, и вскоре ее стали использовать в самых разных приложениях. Способность обнаруживать и сегментировать объекты с точностью до пикселя сделала ее популярной в разных отраслях.

Например, отслеживать исчезающих животных в дикой природе непросто. Многие виды обитают в густых лесах, где защитникам природы сложно следить за животными. Традиционные методы используют фотоловушки, дроны и спутниковые снимки, но вручную разбирать все эти данные долго. Ошибочная идентификация и пропущенные наблюдения могут замедлить природоохранные мероприятия.

Распознавая уникальные особенности — например, полосы тигра, пятна жирафа или форму ушей слона, — Mask R-CNN точнее обнаруживает и сегментирует животных на изображениях и видео. Даже если животные частично скрыты деревьями или стоят близко друг к другу, модель может разделить их и распознать каждого в отдельности, ускоряя и повышая надёжность мониторинга дикой природы.

Рис. 5. Обнаружение и сегментация животных с помощью Mask R-CNN.

Ограничения Mask R-CNN#

Несмотря на историческое значение для обнаружения и сегментации объектов, у Mask R-CNN есть и существенные недостатки. Вот некоторые проблемы, связанные с Mask R-CNN:

• Высокие вычислительные требования: модель зависит от мощных GPU, из-за чего ее запуск может быть дорогим, а обработка больших объемов данных — медленной.
• Низкая скорость обработки: из-за многоэтапного процесса модель работает медленнее, чем более быстрые модели реального времени, например YOLO, и может не подойти для задач с жёсткими временными ограничениями.
• Зависимость от качественных данных: лучше всего модель работает с чёткими изображениями с качественной разметкой. Размытые изображения или плохое освещение могут значительно снизить её точность.
• Сложность реализации: многоэтапную архитектуру непросто настроить и оптимизировать, особенно при работе с большими наборами данных или ограниченными ресурсами.

От Mask R-CNN к Ultralytics YOLO11#

Mask R-CNN хорошо справлялась с задачами сегментации, однако многие отрасли стремились внедрять компьютерное зрение, уделяя приоритетное внимание скорости и работе в реальном времени. Эта потребность побудила исследователей разработать одноэтапные модели, которые обнаруживают объекты за один проход и значительно повышают эффективность.

В отличие от многоэтапного процесса Mask R-CNN, одноэтапные модели компьютерного зрения, такие как YOLO (Ты смотришь только один раз), ориентированы на задачи компьютерного зрения в реальном времени. Вместо раздельного выполнения обнаружения и сегментации модели YOLO могут обнаруживать и сегментировать объекты за один проход. Это делает их идеальными для таких приложений, как автономное вождение, здравоохранение, производство и робототехника, где крайне важно быстро принимать решения.

В частности, Ultralytics YOLO11 (которую сменила Ultralytics YOLO26) развивает этот подход, сочетая скорость и точность. Она использует на 22% меньше параметров, чем YOLOv8m, но при этом обеспечивает более высокую среднюю точность (mAP) на наборе данных COCO, то есть точнее обнаруживает объекты. Повышенная скорость обработки делает ее хорошим выбором для приложений реального времени, где важна каждая миллисекунда.

Рис. 6. Сравнение производительности YOLO11 с другими моделями.

Главные выводы#

В истории компьютерного зрения Mask R-CNN считается важным прорывом в обнаружении и сегментации объектов. Благодаря подробному многоэтапному процессу модель обеспечивает очень точные результаты даже в сложных условиях.

Однако этот же процесс делает модель медленнее моделей реального времени, таких как YOLO. По мере роста потребности в скорости и эффективности во многих приложениях теперь используют одноэтапные модели, например Ultralytics YOLO11, которые быстро и точно обнаруживают объекты. Mask R-CNN остается важной вехой в истории компьютерного зрения, но переход к моделям реального времени отражает растущий спрос на более быстрые и эффективные решения.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Хочешь начать собственные проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай об ИИ в сельском хозяйстве и компьютерном зрении в здравоохранении на страницах наших решений!