Что такое Mask R-CNN и как он работает?

Такие инновации, как роботы на складах, беспилотные автомобили, безопасно передвигающиеся по оживлённым улицам, дроны, проверяющие состояние посевов, и системы ИИ, инспектирующие продукцию на фабриках, становятся всё более распространёнными по мере роста внедрения ИИ. Ключевая технология, лежащая в основе этих инноваций, — это компьютерное зрение, область ИИ, которая позволяет машинам понимать и интерпретировать визуальные данные.

Например, обнаружение объектов — это задача компьютерного зрения, которая помогает идентифицировать объекты на изображениях и определять их местоположение с помощью ограничивающих рамок. Хотя ограничивающие рамки предоставляют полезную информацию, они лишь приблизительно обозначают положение объекта и не могут передать его точную форму или границы. Поэтому они менее эффективны в приложениях, требующих точной идентификации.

Чтобы решить эту проблему, исследователи разработали модели сегментации, которые определяют точные контуры объектов и предоставляют детализацию на уровне пикселей для более точного обнаружения и анализа.

Mask R-CNN — одна из таких моделей. Представленная в 2017 году исследовательской лабораторией Facebook AI Research (FAIR), она развивает идеи более ранних моделей, таких как R-CNN, Fast R-CNN и Faster R-CNN. Став важной вехой в истории компьютерного зрения, Mask R-CNN проложила путь к более продвинутым моделям, таким как Ultralytics YOLO11.

В этой статье мы разберёмся, что такое Mask R-CNN, как он работает и где применяется, а также рассмотрим появившиеся после него улучшения, которые привели к Ultralytics YOLO11.

Обзор Mask R-CNN#

Mask R-CNN, что расшифровывается как свёрточная нейронная сеть с масками и областями, — это модель глубокого обучения, предназначенная для задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров.

Сегментация экземпляров выходит за рамки традиционного обнаружения объектов: она не только идентифицирует объекты на изображении, но и точно обводит каждый из них. Она присваивает уникальную метку каждому обнаруженному объекту и определяет его точную форму на уровне пикселей. Такой детализированный подход позволяет чётко различать перекрывающиеся объекты и точно обрабатывать сложные формы.

Mask R-CNN развивает Faster R-CNN, который обнаруживает объекты и присваивает им метки, но не определяет их точную форму. Mask R-CNN улучшает этот подход, определяя точные пиксели, из которых состоит каждый объект, что позволяет выполнять гораздо более детальный и точный анализ изображений.

Рис. 1. Сравнение обнаружения объектов и сегментации экземпляров.

Архитектура Mask R-CNN и принцип её работы#

Mask R-CNN поэтапно обнаруживает и точно сегментирует объекты. Сначала модель извлекает ключевые признаки с помощью глубокой нейронной сети (многоуровневой модели, которая обучается на данных), затем определяет потенциальные области объектов с помощью сети предложений областей (компонента, который предлагает вероятные области объектов) и, наконец, уточняет эти области, создавая детализированные маски сегментации (точные контуры объектов), отражающие точную форму каждого объекта.

Далее мы рассмотрим каждый шаг, чтобы лучше понять, как работает Mask R-CNN.

Рис. 2. Обзор архитектуры Mask R-CNN (источник: researchgate.net).

Начало с извлечения признаков#

Первый шаг в архитектуре Mask R-CNN — разбить изображение на ключевые части, чтобы модель могла понять, что на нём находится. Представь, что ты смотришь на фотографию и естественным образом замечаешь такие детали, как формы, цвета и границы. Модель делает нечто подобное с помощью глубокой нейронной сети, называемой «основной сетью» (часто ResNet-50 или ResNet-101), которая служит ей глазами, сканирует изображение и выделяет ключевые детали.

Поскольку объекты на изображениях могут быть очень маленькими или очень большими, Mask R-CNN использует Feature Pyramid Network. Это похоже на набор увеличительных стёкол разной силы, позволяющий модели видеть как мелкие детали, так и общую картину и замечать объекты любого размера.

После того как эти важные признаки извлечены, модель переходит к поиску потенциальных объектов на изображении, создавая основу для дальнейшего анализа.

Предложение потенциальных областей изображения с объектами#

После обработки изображения и выделения ключевых признаков в работу вступает Region Proposal Network. Эта часть модели анализирует изображение и предлагает области, в которых, вероятно, находятся объекты.

Для этого она создаёт несколько возможных местоположений объектов, называемых якорями. Затем сеть оценивает эти якоря и выбирает наиболее перспективные для дальнейшего анализа. Таким образом, модель сосредоточивается только на областях, которые с наибольшей вероятностью представляют интерес, вместо проверки каждой точки изображения.

Рис. 3. Пример Region Proposal Network.

Улучшение извлечённых признаков#

После определения ключевых областей следующий шаг — уточнить признаки, извлечённые из этих областей. В более ранних моделях использовался метод ROI Pooling (объединение области интереса) для извлечения признаков из каждой области, но при изменении размера областей эта техника иногда приводила к небольшим смещениям, из-за чего становилась менее эффективной, особенно для маленьких или перекрывающихся объектов.

Mask R-CNN улучшает этот подход, используя технику ROI Align (выравнивание области интереса). В отличие от ROI Pooling, который округляет координаты, ROI Align применяет билинейную интерполяцию для более точной оценки значений пикселей. Билинейная интерполяция — это метод вычисления нового значения пикселя путём усреднения значений его четырёх ближайших соседей, что создаёт более плавные переходы. Благодаря этому признаки остаются выровненными относительно исходного изображения, а обнаружение и сегментация объектов становятся точнее.

Например, во время футбольного матча двух игроков, стоящих близко друг к другу, можно принять за одного, поскольку их ограничивающие рамки перекрываются. ROI Align помогает разделить их, сохраняя различия между их формами.

Рис. 4. Mask R-CNN использует ROI Align.

Классификация объектов и прогнозирование их масок#

После обработки изображения с помощью ROI Align следующий шаг — классифицировать объекты и уточнить их местоположение. Модель анализирует каждую извлечённую область и определяет, какой объект в ней находится. Она присваивает разным категориям вероятностные оценки и выбирает наиболее подходящий вариант.

Одновременно она корректирует ограничивающие рамки, чтобы они лучше соответствовали объектам. Исходные рамки могут быть размещены не идеально, поэтому такая корректировка повышает точность, гарантируя, что каждая рамка плотно охватывает обнаруженный объект.

Наконец, Mask R-CNN выполняет дополнительный шаг: параллельно создаёт подробную маску сегментации для каждого объекта.

Mask R-CNN и его применения в реальном времени#

Когда эта модель появилась, AI-сообщество встретило её с большим энтузиазмом, и вскоре она стала применяться в различных областях. Благодаря способности обнаруживать и сегментировать объекты в реальном времени она стала переломным решением для разных отраслей.

Например, отслеживание исчезающих животных в дикой природе — сложная задача. Многие виды перемещаются в густых лесах, из-за чего защитникам природы трудно следить за ними. Традиционные методы используют фотоловушки, дроны и спутниковые снимки, но ручная обработка всех этих данных занимает много времени. Ошибочная идентификация и пропущенные наблюдения могут замедлить природоохранные мероприятия.

Распознавая уникальные признаки, такие как полосы тигра, пятна жирафа или форма ушей слона, Mask R-CNN может с большей точностью обнаруживать и сегментировать животных на изображениях и видео. Даже если животные частично скрыты деревьями или стоят близко друг к другу, модель может разделить их и идентифицировать каждого отдельно, сделав мониторинг дикой природы более быстрым и надёжным.

Рис. 5. Обнаружение и сегментация животных с помощью Mask R-CNN.

Ограничения Mask R-CNN#

Несмотря на историческое значение для обнаружения и сегментации объектов, Mask R-CNN имеет и ряд существенных недостатков. Вот несколько проблем, связанных с Mask R-CNN:

• Высокие требования к вычислительным ресурсам: модель полагается на мощные GPU, из-за чего её запуск может быть дорогим, а обработка больших объёмов данных — медленной.
• Более низкая скорость обработки: многоэтапный процесс делает модель медленнее по сравнению с более быстрыми моделями реального времени, такими как YOLO, поэтому она может быть не лучшим выбором для задач, требующих быстрой реакции.
• Зависимость от высококачественных данных: модель лучше всего работает с чёткими, хорошо размеченными изображениями. Размытые изображения или изображения с плохим освещением могут значительно снизить её точность.
• Сложность реализации: многоэтапную архитектуру может быть трудно настроить и оптимизировать, особенно при работе с большими наборами данных или ограниченными ресурсами.

От Mask R-CNN к Ultralytics YOLO11#

Mask R-CNN отлично подходил для задач сегментации, но многие отрасли стремились внедрять компьютерное зрение, уделяя приоритетное внимание скорости и работе в реальном времени. Это требование побудило исследователей разработать одноэтапные модели, которые обнаруживают объекты за один проход, значительно повышая эффективность.

В отличие от многоэтапного процесса Mask R-CNN, одноэтапные модели компьютерного зрения, такие как YOLO (You Only Look Once), ориентированы на задачи компьютерного зрения в реальном времени. Вместо раздельной обработки обнаружения и сегментации модели YOLO могут проанализировать изображение за один проход. Это делает их идеальными для таких приложений, как автономное вождение, здравоохранение, производство и робототехника, где критически важны быстрые решения.

В частности, Ultralytics YOLO11 делает следующий шаг, сочетая высокую скорость и точность. Она использует на 22% меньше параметров, чем YOLOv8m, но при этом достигает более высокого среднего значения точности (mAP) на наборе данных COCO, то есть обнаруживает объекты точнее. Повышенная скорость обработки делает её хорошим выбором для приложений реального времени, где важна каждая миллисекунда.

Рис. 6. Производительность YOLO11 по сравнению с другими моделями.

Основные выводы#

Оглядываясь на историю компьютерного зрения, можно назвать Mask R-CNN значительным прорывом в обнаружении и сегментации объектов. Благодаря подробному многоэтапному процессу она обеспечивает очень точные результаты даже в сложных условиях.

Однако этот же процесс делает её медленнее по сравнению с моделями реального времени, такими как YOLO. По мере роста потребности в скорости и эффективности многие приложения переходят на одноэтапные модели, такие как Ultralytics YOLO11, которые обеспечивают быстрое и точное обнаружение объектов. Хотя Mask R-CNN важна для понимания развития компьютерного зрения, переход к решениям реального времени подчёркивает растущий спрос на более быстрые и эффективные решения в области компьютерного зрения.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ. Готов начать собственные проекты в области компьютерного зрения? Ознакомься с нашими вариантами лицензирования. Узнай больше об ИИ в сельском хозяйстве и компьютерном зрении в здравоохранении на страницах наших решений!