Что такое детекция с ориентированными ограничивающими рамками (OBB)?

Распознавать объекты, независимо от того, как они расположены или куда повернуты, для нас, людей, вполне естественно. Будь то машины на перекрестке или лодки в гавани, мы легко определяем, что это такое и в каком направлении они смотрят. Однако для систем artificial intelligence (AI) все не так просто.

Например, computer vision, ветвь ИИ, сосредоточенная на понимании изображений и видео, делает возможными такие задачи, как обнаружение объектов, что помогает машинам идентифицировать и находить объекты в кадре. Традиционное обнаружение объектов опирается на выровненные по осям ограничивающие рамки для построения рамок вокруг объектов. У этих рамок прямые стороны и фиксированные прямые углы. Такой подход хорошо работает, когда объекты стоят вертикально и находятся не слишком близко друг к другу.

Но когда объекты наклонены, повернуты или находятся близко друг к другу, традиционное обнаружение объектов часто испытывает трудности с их точным захватом. Для работы с такими более сложными ситуациями были внедрены такие методы, как oriented bounding box (OBB) detection. В отличие от стандартных ограничивающих рамок, OBB могут вращаться, подстраиваясь под угол и форму объекта, обеспечивая более плотную и точную посадку.

Модели компьютерного зрения, такие как Ultralytics YOLO11, которые поддерживают OBB-детекцию, открывают возможности для широкого спектра приложений в реальном времени, особенно в сценариях, где важна ориентация объектов, таких как аэронаблюдение. Помимо этого, OBB-детекция также используется в здравоохранении, сельском хозяйстве и при анализе документов.

В этой статье мы разберем, что такое OBB-детектирование, как оно работает и где применяется в реальных сценариях. Поехали!

Fig 1. Пример демо использования YOLO11 для OBB-детекции лодок.

Что такое ориентированная ограничивающая рамка?#

Ориентированный bounding box — это тип прямоугольной рамки, используемый в компьютерном зрении для представления обнаруженных объектов на изображении. В то время как стандартные ограничивающие рамки выровнены по горизонтальной и вертикальной осям изображения, OBB могут вращаться в соответствии с реальным углом объекта.

Эта способность к повороту дает несколько преимуществ. OBB могут более точно соответствовать ориентации объекта, позволяя рамке плотно прилегать к форме и направлению объекта. В результате обнаружение становится более точным и аккуратным.

OBB особенно полезны, когда объекты не идеально вертикальны, например, машина, поворачивающая на кривой дороге при съемке с воздуха, наклоненная книга на столе или повернутая опухоль на медицинском снимке. Благодаря более точному соответствию углу наклона объекта, OBB улучшают качество обнаружения, уменьшают помехи фона и особенно подходят для приложений, где ориентация объекта так же важна, как и его положение.

Fig 2. Сравнение обнаружения объектов и OBB-детекции.

OBB-детектирование против обычного обнаружения объектов#

OBB-детектирование и традиционное обнаружение объектов на первый взгляд могут показаться похожими, но они используются по-разному и для разных ситуаций. Давай подробнее рассмотрим, как они сравниваются на примере.

Computer vision models, такие как YOLO11, могут обучаться обнаружению и классификации объектов в различных реальных приложениях, например в промышленном осмотре. Представь сборочную линию на заводе, где различные детали машин движутся по конвейерной ленте. Некоторые детали могут лежать аккуратно, а другие быть слегка повернуты, наклонены или перекрывать друг друга из-за вибрации или скорости.

Традиционное обнаружение объектов использует вертикальные прямоугольные рамки, которые выровнены по горизонтальным и вертикальным краям изображения. Поэтому, когда деталь повернута, рамка может не подходить должным образом — она может либо оставлять часть объекта за пределами, либо захватывать слишком много фона. Это может сделать обнаружение менее точным, и системе будет сложнее уверенно идентифицировать деталь.

А теперь представь, что ты используешь OBB-детектирование. В этом случае модель может нарисовать рамку, которая поворачивается, чтобы соответствовать точному углу каждой детали. Наклоненная шестеренка или деталь под углом будут плотно охвачены рамкой, соответствующей их форме и направлению. Это означает лучшую точность, меньше ошибок и более надежные результаты, особенно для таких задач, как автоматизированный контроль качества или роботизированная сортировка.

Популярные модели OBB-детектирования#

Теперь, когда у нас есть лучшее понимание того, что такое OBB-детектирование, давай взглянем на некоторые из наиболее широко используемых моделей ИИ для зрения, которые его поддерживают.

Несколько продвинутых моделей компьютерного зрения были разработаны специально для обнаружения повернутых или наклоненных объектов. Среди них модели Ultralytics YOLO особенно хорошо известны своими надежными и эффективными возможностями OBB-детектирования.

Более ранние версии вроде Ultralytics YOLOv5 создавались для стандартного обнаружения объектов. Позднее итерации, такие как Ultralytics YOLOv8 и более свежая YOLO11, внедрили нативную поддержку OBB-детекции. YOLO11, в частности, предлагает передовую точность без ущерба для скорости, что делает ее эффективным вариантом для приложений реального времени.

Предобученные YOLO11 OBB models, такие как YOLO11n-obb, обучаются на датасетах вроде DOTAv1, который состоит из аэрофотоснимков с аннотациями для различных классов объектов, таких как самолеты, корабли и теннисные корты, встречающихся под самыми разными углами и ориентациями.

Кроме того, эти модели доступны в пяти различных размерах, от nano (n-obb) до extra-large (x-obb), чтобы соответствовать различным требованиям к производительности. Эта универсальность позволяет применять их в самых разных отраслях — от мониторинга городской инфраструктуры и инспекции оборудования до распознавания текста под наклоном в сканированных документах.

Пользовательское обучение Ultralytics YOLO11 для детекции с ориентированными ограничивающими рамками#

Во многих реальных ситуациях объекты, которые тебе нужно обнаружить, могут сильно отличаться от тех, что представлены в стандартных training datasets. Например, такие объекты, как инструменты на производственной линии, упаковка товаров или компоненты на печатной плате, могут быть повернуты, расположены нерегулярно или иметь другую форму.

Чтобы точно детектировать такие пользовательские объекты, особенно когда важна ориентация, важно обучать такие модели, как Ultralytics YOLO11, используя собственные изображения и разметку. Этот процесс известен как пользовательское обучение.

Давай рассмотрим пошаговый процесс обучения Ultralytics YOLO11 для OBB-детекции:

• Сбор изображений: собери изображения, которые демонстрируют твои целевые объекты под разными углами, в разных положениях и в реальных условиях.
• Аннотирование объектов: разметь каждый объект с использованием повернутых ограничивающих рамок (OBB), чтобы зафиксировать их местоположение и ориентацию, используя инструменты аннотирования с поддержкой OBB.
• Подготовка набора данных: организуй свои изображения и метки в структуру каталогов YOLO и создай конфигурационный YAML-файл с названиями твоих классов и путями к набору данных.
• Обучение модели: Выбери версию модели Ultralytics YOLO11, которая соответствует твоим требованиям, и запусти процесс обучения, чтобы модель могла учиться на твоих размеченных изображениях.
• Оценка и развертывание: протестируй свою обученную модель на новых изображениях, оцени ее точность и разверни в практических приложениях, таких как производство, наблюдение с воздуха или анализ документов.

Приложения, поддерживаемые OBB-детектированием#

Объекты, которые смещены от центра или наклонены, довольно часто встречаются в реальной жизни. Давай рассмотрим несколько примеров, где OBB-детектирование действительно меняет ситуацию, точно обнаруживая такие объекты.

Анализ рентгеновских снимков с помощью OBB-детектирования#

OBB-детекция может поднять medical image analysis на новый уровень, повысив точность. Медицинские изображения часто содержат анатомические структуры, такие как опухоли, органы или кости. Эти структуры нередко имеют нерегулярную форму и разнообразную ориентацию. Поскольку OBB могут поворачиваться под угол объекта, они обеспечивают более точную локализацию и измерение, что критически важно для диагностики и планирования лечения.

Этот подход особенно эффективен при анализе рентгеновских снимков переломов костей, где положение и выравнивание костей являются ключевыми факторами. Например, OBB-детекция применялась для анализа pediatric elbow X-rays. Подстраиваясь под ориентацию костей, она помогла улучшить точность обнаружения.

Fig 3. Рентгенограммы (a, d) с обнаружением объектов (b, e) и детекцией с помощью ориентированных ограничивающих рамок (c, f).

Наблюдение с воздуха с помощью OBB-детектирования#

Наблюдение с воздуха является важнейшим инструментом в таких секторах, как общественная безопасность, экологический мониторинг и городское планирование. Изображения, снятые дронами или спутниками, помогают идентифицировать такие объекты, как корабли, транспортные средства и здания. Однако на этих изображениях объекты часто выглядят маленькими и находятся под необычными углами, что затрудняет их точное обнаружение.

OBB-детектирование решает эту проблему путем наклона ограничивающих рамок в соответствии с углом каждого объекта. Это приводит к более точным измерениям размера и ориентации объекта, поддерживая лучшее принятие решений в таких областях, как городское планирование, оборона, реагирование на стихийные бедствия и экологический мониторинг.

Интересным примером OBB-детекции является отслеживание судов в maritime surveillance. Спутниковые снимки часто фиксируют суда под разными углами и разного размера из-за погоды, освещения или движения. OBB способны адаптироваться к таким изменениям, улучшая обнаружение, особенно для небольших или частично закрытых судов.

Fig 4. Пример использования OBB-детекции для морского наблюдения.

Использование OBB-детектирования в сельском хозяйстве#

Сортировка урожая после сбора — важнейший шаг для обеспечения качества перед упаковкой и отправкой на рынок. В то время как многие системы хорошо работают с круглыми фруктами, такими как яблоки и апельсины, с длинными и узкими культурами, такими как морковь или побеги дикого риса, работать гораздо сложнее. Их формы варьируются, и они часто оказываются под разными углами, что затрудняет их точное обнаружение и сортировку.

Для решения этой задачи исследователи разработали систему, которая использует обнаружение с помощью ориентированных ограничивающих рамок (OBB) для более точной идентификации и grade these crops. Система способна обнаруживать несколько культур на одном изображении, даже если они наклонены или перекрываются, а также оценивать их качество и положение в реальном времени.

Плюсы и минусы OBB-детектирования#

Вот некоторые из преимуществ использования OBB-детектирования:

• Improved input to downstream tasks: Computer vision tasks, такие как сегментация экземпляров и трекинг объектов, могут работать лучше при подаче более точных результатов обнаружения объектов.
• Улучшенное пространственное мышление: фиксируя угол ориентации, OBB позволяют понимать выравнивание и направление объекта.
• Уменьшение перекрытия в многолюдных сценах: OBB уменьшают неоднозначность, более плотно прилегая к объектам, даже в загруженных или хаотичных сценах.

Несмотря на помощь в улучшении точности обнаружения в сложных сценах, OBB-детектирование имеет несколько ограничений, которые стоит учитывать:

• Повышенная чувствительность к шуму: небольшие ошибки в прогнозировании угла могут оказать большее влияние на точность обнаружения, особенно для плотно упакованных или вытянутых объектов.
• Необходимость в специализированных инструментах: поскольку не все платформы для разметки и обучения поддерживают OBB «из коробки», работа с ними может потребовать дополнительных инструментов или настройки.
• Limited dataset availability: По сравнению со стандартным object detection, в настоящее время доступно меньше публичных датасетов с OBB-аннотациями, что может немного усложнить старт или сравнение результатов.

Основные выводы#

Детектирование с помощью ориентированных ограничивающих рамок позволяет решениям компьютерного зрения легче распознавать объекты, которые не идеально прямые или выровненные. Фиксируя как положение, так и ориентацию объектов, OBB-детектирование повышает точность в реальных сценариях, таких как сканирование медицинских изображений, мониторинг сельхозугодий или анализ спутниковых фотографий.

Благодаря таким моделям, как Ultralytics YOLO11, делающим OBB-детекцию более доступной, она становится практичным выбором для многих отраслей. Независимо от того, имеешь ли ты дело с наклонными, перекрывающимися или нестандартными объектами, OBB-детекция обеспечивает дополнительный уровень точности, который часто упускают стандартные методы.

Интересуешься ИИ? Изучи наш GitHub repository, присоединяйся к our community и ознакомься с our licensing options, чтобы дать старт своему проекту в области компьютерного зрения. Узнай больше о таких инновациях, как AI in retail и computer vision in the logistics в нашей отрасли, на страницах решений.