Что такое детекция с ориентированными ограничивающими рамками (OBB)?

Распознавание объектов, независимо от их расположения или направления, — естественная способность для нас, людей. Будь то машины на перекрестке или лодки в гавани, мы легко можем определить, что это такое и куда они направлены. Однако для систем искусственного интеллекта (ИИ) все не так просто.

Например, компьютерное зрение, отрасль ИИ, направленная на понимание изображений и видео, делает возможными такие задачи, как обнаружение объектов, что помогает машинам идентифицировать и локализовать объекты в кадре. Традиционное обнаружение объектов опирается на выровненные по осям ограничивающие рамки, чтобы очертить объекты. У этих рамок прямые стороны и фиксированные прямые углы. Такой подход хорошо работает, когда объекты расположены прямо и не слишком близко друг к другу.

Но когда объекты наклонены, повернуты или находятся близко друг к другу, традиционное обнаружение объектов часто испытывает трудности с их точным захватом. Для решения этих более сложных ситуаций были внедрены такие методы, как детектирование с помощью ориентированных ограничивающих рамок (OBB). В отличие от стандартных ограничивающих рамок, OBB могут поворачиваться, чтобы соответствовать углу и форме объекта, что позволяет добиться более плотного и точного прилегания.

Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживающие OBB-детектирование, позволяют реализовать ряд приложений реального времени, особенно в сценариях, где важна ориентация объектов, например, при наблюдении с воздуха. Кроме того, OBB-детектирование также используется в медицине, сельском хозяйстве и при анализе документов.

В этой статье мы разберем, что такое OBB-детектирование, как оно работает и где применяется в реальных сценариях. Поехали!

Рис. 1. Демонстрация использования YOLO11 для OBB-детектирования лодок.

Link to this sectionЧто такое ориентированная ограничивающая рамка?#

Ориентированная ограничивающая рамка — это тип прямоугольной рамки, используемой в компьютерном зрении для представления обнаруженных объектов на изображении. В то время как стандартные ограничивающие рамки выровнены по горизонтальной и вертикальной осям изображения, OBB могут поворачиваться в соответствии с фактическим углом объекта.

Эта способность к повороту дает несколько преимуществ. OBB могут более точно соответствовать ориентации объекта, позволяя рамке плотно прилегать к форме и направлению объекта. В результате обнаружение становится более точным и аккуратным.

OBB особенно полезны, когда объекты не идеально вертикальны, например, машина, поворачивающая на кривой дороге при съемке с воздуха, наклоненная книга на столе или повернутая опухоль на медицинском снимке. Благодаря более точному соответствию углу наклона объекта, OBB улучшают качество обнаружения, уменьшают помехи фона и особенно подходят для приложений, где ориентация объекта так же важна, как и его положение.

Рис. 2. Сравнение обнаружения объектов и OBB-детектирования.

Link to this sectionOBB-детектирование против обычного обнаружения объектов#

OBB-детектирование и традиционное обнаружение объектов на первый взгляд могут показаться похожими, но они используются по-разному и для разных ситуаций. Давай подробнее рассмотрим, как они сравниваются на примере.

Модели компьютерного зрения, такие как YOLO11, могут быть обучены обнаруживать и классифицировать объекты в различных реальных приложениях, например, в промышленном контроле. Представь заводскую сборочную линию, где различные детали машин перемещаются по конвейеру. Некоторые детали могут лежать аккуратно, но другие могут быть слегка повернуты, наклонены или перекрывать друг друга из-за вибрации или скорости.

Традиционное обнаружение объектов использует вертикальные прямоугольные рамки, которые выровнены по горизонтальным и вертикальным краям изображения. Поэтому, когда деталь повернута, рамка может не подходить должным образом — она может либо оставлять часть объекта за пределами, либо захватывать слишком много фона. Это может сделать обнаружение менее точным, и системе будет сложнее уверенно идентифицировать деталь.

А теперь представь, что ты используешь OBB-детектирование. В этом случае модель может нарисовать рамку, которая поворачивается, чтобы соответствовать точному углу каждой детали. Наклоненная шестеренка или деталь под углом будут плотно охвачены рамкой, соответствующей их форме и направлению. Это означает лучшую точность, меньше ошибок и более надежные результаты, особенно для таких задач, как автоматизированный контроль качества или роботизированная сортировка.

Link to this sectionПопулярные модели OBB-детектирования#

Теперь, когда у нас есть лучшее понимание того, что такое OBB-детектирование, давай взглянем на некоторые из наиболее широко используемых моделей ИИ для зрения, которые его поддерживают.

Несколько продвинутых моделей компьютерного зрения были разработаны специально для обнаружения повернутых или наклоненных объектов. Среди них модели Ultralytics YOLO особенно хорошо известны своими надежными и эффективными возможностями OBB-детектирования.

Более ранние версии, такие как Ultralytics YOLOv5, были разработаны для стандартного обнаружения объектов. Поздние итерации, такие как Ultralytics YOLOv8 и более свежая YOLO11, представили встроенную поддержку OBB-детектирования. YOLO11, в частности, предлагает передовую точность без ущерба для скорости, что делает ее эффективным вариантом для приложений реального времени.

Предобученные YOLO11 OBB модели, такие как YOLO11n-obb, обучены на таких наборах данных, как DOTAv1, который состоит из аэрофотоснимков, аннотированных набором классов объектов, таких как самолеты, корабли и теннисные корты, которые представлены под разными углами и с разной ориентацией.

Кроме того, эти модели доступны в пяти различных размерах, от nano (n-obb) до extra-large (x-obb), чтобы соответствовать различным требованиям к производительности. Эта универсальность позволяет применять их в самых разных отраслях — от мониторинга городской инфраструктуры и инспекции оборудования до распознавания текста под наклоном в сканированных документах.

Link to this sectionПользовательское обучение YOLO11 для детектирования с помощью ориентированных ограничивающих рамок#

Во многих реальных ситуациях объекты, которые тебе нужно обнаружить, могут сильно отличаться от тех, что есть в стандартных наборах данных для обучения. Например, такие объекты, как инструменты на производственной линии, упаковки продуктов или компоненты на печатной плате, могут быть повернуты, расположены нерегулярно или иметь другую форму.

Чтобы точно обнаруживать эти пользовательские объекты, особенно когда важна ориентация, важно обучать модели, такие как YOLO11, используя свои собственные изображения и метки. Этот процесс известен как пользовательское обучение.

Вот более подробный взгляд на пошаговый процесс обучения YOLO11 для OBB-детектирования:

• Сбор изображений: собери изображения, которые демонстрируют твои целевые объекты под разными углами, в разных положениях и в реальных условиях.
• Аннотирование объектов: разметь каждый объект с использованием повернутых ограничивающих рамок (OBB), чтобы зафиксировать их местоположение и ориентацию, используя инструменты аннотирования с поддержкой OBB.
• Подготовка набора данных: организуй свои изображения и метки в структуру каталогов YOLO и создай конфигурационный YAML-файл с названиями твоих классов и путями к набору данных.
• Обучение модели: выбери версию модели YOLO11, которая соответствует твоим потребностям, и запусти процесс обучения, чтобы модель могла учиться на твоих размеченных изображениях.
• Оценка и развертывание: протестируй свою обученную модель на новых изображениях, оцени ее точность и разверни в практических приложениях, таких как производство, наблюдение с воздуха или анализ документов.

Link to this sectionПриложения, поддерживаемые OBB-детектированием#

Объекты, которые смещены от центра или наклонены, довольно часто встречаются в реальной жизни. Давай рассмотрим несколько примеров, где OBB-детектирование действительно меняет ситуацию, точно обнаруживая такие объекты.

Link to this sectionАнализ рентгеновских снимков с помощью OBB-детектирования#

OBB-детектирование может вывести анализ медицинских изображений на новый уровень, улучшая точность. Медицинские изображения часто включают анатомические структуры, такие как опухоли, органы или кости. Эти структуры зачастую имеют неправильную форму и различную ориентацию. Поскольку OBB могут поворачиваться, чтобы соответствовать углу объекта, они обеспечивают более точную локализацию и измерение, что критически важно для диагностики и планирования лечения.

Этот подход особенно эффективен при анализе рентгеновских снимков переломов костей, где положение и выравнивание костей являются ключевыми факторами. Например, OBB-детектирование использовалось для анализа рентгеновских снимков локтя у детей. Подстраиваясь под ориентацию костей, это помогло повысить точность обнаружения.

Рис. 3. Рентгеновские снимки (a, d) с обнаружением объектов (b, e) и OBB-детектированием (c, f).

Link to this sectionНаблюдение с воздуха с помощью OBB-детектирования#

Наблюдение с воздуха является важнейшим инструментом в таких секторах, как общественная безопасность, экологический мониторинг и городское планирование. Изображения, снятые дронами или спутниками, помогают идентифицировать такие объекты, как корабли, транспортные средства и здания. Однако на этих изображениях объекты часто выглядят маленькими и находятся под необычными углами, что затрудняет их точное обнаружение.

OBB-детектирование решает эту проблему путем наклона ограничивающих рамок в соответствии с углом каждого объекта. Это приводит к более точным измерениям размера и ориентации объекта, поддерживая лучшее принятие решений в таких областях, как городское планирование, оборона, реагирование на стихийные бедствия и экологический мониторинг.

Интересным примером OBB-детектирования является отслеживание судов в морском наблюдении. Спутниковые изображения часто фиксируют суда под разными углами и разных размеров из-за погодных условий, освещения или движения. OBB могут адаптироваться к этим изменениям, улучшая обнаружение, особенно для небольших или частично скрытых судов.

Рис. 4. Взгляд на использование OBB-детектирования для морского наблюдения.

Link to this sectionИспользование OBB-детектирования в сельском хозяйстве#

Сортировка урожая после сбора — важнейший шаг для обеспечения качества перед упаковкой и отправкой на рынок. В то время как многие системы хорошо работают с круглыми фруктами, такими как яблоки и апельсины, с длинными и узкими культурами, такими как морковь или побеги дикого риса, работать гораздо сложнее. Их формы варьируются, и они часто оказываются под разными углами, что затрудняет их точное обнаружение и сортировку.

Чтобы справиться с этим, исследователи разработали систему, которая использует OBB-детектирование для более точной идентификации и сортировки этих культур. Система может обнаруживать несколько культур на одном изображении, даже если они наклонены или перекрываются, и оценивать их качество и положение в реальном времени.

Link to this sectionПлюсы и минусы OBB-детектирования#

Вот некоторые из преимуществ использования OBB-детектирования:

• Улучшенные входные данные для последующих задач: такие задачи компьютерного зрения, как сегментация экземпляров и отслеживание объектов, могут работать лучше при получении более точных данных обнаружения объектов.
• Улучшенное пространственное мышление: фиксируя угол ориентации, OBB позволяют понимать выравнивание и направление объекта.
• Уменьшение перекрытия в многолюдных сценах: OBB уменьшают неоднозначность, более плотно прилегая к объектам, даже в загруженных или хаотичных сценах.

Несмотря на помощь в улучшении точности обнаружения в сложных сценах, OBB-детектирование имеет несколько ограничений, которые стоит учитывать:

• Повышенная чувствительность к шуму: небольшие ошибки в прогнозировании угла могут оказать большее влияние на точность обнаружения, особенно для плотно упакованных или вытянутых объектов.
• Необходимость в специализированных инструментах: поскольку не все платформы для разметки и обучения поддерживают OBB «из коробки», работа с ними может потребовать дополнительных инструментов или настройки.
• Ограниченная доступность наборов данных: по сравнению со стандартным обнаружением объектов, в настоящее время меньше общедоступных наборов данных с OBB-аннотациями, что может немного усложнить начало работы или сравнение результатов.

Link to this sectionОсновные выводы#

Детектирование с помощью ориентированных ограничивающих рамок позволяет решениям компьютерного зрения легче распознавать объекты, которые не идеально прямые или выровненные. Фиксируя как положение, так и ориентацию объектов, OBB-детектирование повышает точность в реальных сценариях, таких как сканирование медицинских изображений, мониторинг сельхозугодий или анализ спутниковых фотографий.

Благодаря таким моделям, как YOLO11, делающим OBB-детектирование более доступным, оно становится практическим выбором для многих отраслей. Имеешь ли ты дело с наклоненными, перекрывающимися или объектами необычной формы, OBB-детектирование добавляет дополнительный уровень точности, который часто упускают стандартные методы.

Интересуешься ИИ? Изучи наш репозиторий на GitHub, присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы быстро запустить свой проект по компьютерному зрению. Узнай больше о таких инновациях, как ИИ в ритейле и компьютерное зрение в логистике, на страницах наших решений.