Что такое обнаружение ориентированных ограничивающих прямоугольников (OBB)?

Мы, люди, легко распознаём объекты независимо от их расположения и направления. Будь то автомобили на перекрёстке или лодки в гавани, мы без труда понимаем, что это такое и в какую сторону они направлены. Однако для систем искусственного интеллекта (AI) это не так просто.

Например, компьютерное зрение — отрасль AI, посвящённая пониманию изображений и видео, — позволяет выполнять такие задачи, как обнаружение объектов, помогая машинам идентифицировать объекты в сцене и определять их местоположение. При традиционном обнаружении объектов для обведения объектов используются ограничивающие прямоугольники, выровненные по осям. У таких прямоугольников прямые стороны и фиксированные прямые углы. Этот подход хорошо работает, когда объекты расположены вертикально и не слишком близко друг к другу.

Но когда объекты наклонены, повёрнуты или находятся близко друг к другу, традиционное обнаружение объектов часто не позволяет точно их охватить. Для таких сложных ситуаций были разработаны такие методы, как детектирование ориентированных ограничивающих прямоугольников (OBB). В отличие от стандартных ограничивающих прямоугольников, OBB могут поворачиваться в соответствии с углом и формой объекта, обеспечивая более плотное и точное соответствие.

Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживающие детектирование OBB, позволяют создавать множество приложений, работающих в реальном времени, особенно в сценариях, где важна ориентация объектов, например при воздушном наблюдении. Кроме того, детектирование OBB применяется в здравоохранении, сельском хозяйстве и анализе документов.

В этой статье мы разберёмся, что такое детектирование OBB, как оно работает и где применяется в реальных сценариях. Начнём!

Рис. 1. Демонстрационный пример использования YOLO11 для детектирования OBB лодок.

Что такое ориентированный ограничивающий прямоугольник?#

Ориентированный ограничивающий прямоугольник — это разновидность прямоугольника, используемая в компьютерном зрении для представления обнаруженных объектов на изображении. Стандартные ограничивающие прямоугольники выровнены по горизонтальной и вертикальной осям изображения, а OBB могут поворачиваться в соответствии с фактическим углом объекта.

Такая возможность поворота даёт несколько преимуществ. OBB точнее соответствуют ориентации объекта, позволяя плотнее обвести его форму и направление. В результате обнаружение становится более точным.

OBB особенно полезны, когда объекты расположены не идеально вертикально: например, автомобиль поворачивает на изогнутой дороге на кадрах с воздуха, книга лежит под наклоном на столе или опухоль повёрнута на медицинском снимке. Благодаря более точному учёту угла объекта OBB повышают качество обнаружения, уменьшают влияние фона и особенно полезны в приложениях, где ориентация объекта важна не меньше его положения.

Рис. 2. Сравнение обнаружения объектов и детектирования OBB.

Детектирование OBB и обнаружение объектов#

На первый взгляд детектирование OBB и традиционное обнаружение объектов могут показаться похожими, но они используются по-разному и в разных ситуациях. Давай подробнее сравним их на примере.

Модели компьютерного зрения, такие как YOLO11, можно обучить обнаруживать и классифицировать объекты в различных реальных приложениях, например при промышленной инспекции. Представь заводскую сборочную линию, где разные детали перемещаются по конвейерной ленте. Некоторые детали могут быть аккуратно расположены, а другие — слегка повёрнуты, наклонены или перекрывать друг друга из-за вибрации или скорости движения.

При традиционном обнаружении объектов используются вертикально расположенные прямоугольники, выровненные по горизонтальным и вертикальным краям изображения. Поэтому, если деталь повёрнута, прямоугольник может не соответствовать ей: он может не охватить часть объекта или захватить слишком много фона. Из-за этого обнаружение становится менее точным, а системе сложнее уверенно идентифицировать деталь.

Теперь представь, что вместо этого ты используешь детектирование OBB. В таком случае модель может построить прямоугольник, который поворачивается под точным углом каждой детали. Наклонённая шестерня или расположенный под углом компонент будут плотно охвачены прямоугольником, соответствующим их форме и направлению. Это означает более высокую точность, меньше ошибок и более надёжные результаты, особенно в таких сценариях, как автоматизированный контроль качества или роботизированная сортировка.

Популярные модели для детектирования OBB#

Теперь, когда мы лучше понимаем, что такое детектирование OBB, давай рассмотрим некоторые из наиболее распространённых моделей Vision AI, которые его поддерживают.

Было разработано несколько продвинутых моделей компьютерного зрения, специально предназначенных для обнаружения повёрнутых или наклонённых объектов. Среди них модели Ultralytics YOLO особенно известны своими надёжными и эффективными возможностями детектирования OBB.

Ранние версии, такие как Ultralytics YOLOv5, предназначались для стандартного обнаружения объектов. В более поздних версиях, таких как Ultralytics YOLOv8, и в более новой YOLO11 появилась встроенная поддержка детектирования OBB. YOLO11, в частности, обеспечивает передовую точность без ущерба для скорости, что делает её эффективным вариантом для приложений, работающих в реальном времени.

Предобученные модели YOLO11 OBB, такие как YOLO11n-obb, обучены на наборах данных вроде DOTAv1, содержащих аэрофотоснимки с разметкой множества классов объектов, например самолётов, кораблей и теннисных кортов, расположенных под разными углами и в разных ориентациях.

Кроме того, эти модели доступны в пяти вариантах размера — от nano (n-obb) до extra-large (x-obb), чтобы соответствовать различным требованиям к производительности. Благодаря такой универсальности их можно применять в самых разных отраслях: от мониторинга городской инфраструктуры и инспекции оборудования до чтения текста с перекосом на отсканированных документах.

Пользовательское обучение Ultralytics YOLO11 для детектирования ориентированных ограничивающих прямоугольников#

Во многих реальных ситуациях объекты, которые тебе нужно обнаруживать, могут полностью отличаться от объектов в стандартных наборах данных для обучения. Например, инструменты на производственной линии, упаковки товаров или компоненты печатной платы могут быть повёрнуты, расположены нестандартно или иметь другую форму.

Чтобы точно обнаруживать такие пользовательские объекты, особенно когда важна их ориентация, важно обучить модели вроде Ultralytics YOLO11 на собственных изображениях и метках. Этот процесс называется пользовательским обучением.

Ниже приведён пошаговый процесс обучения Ultralytics YOLO11 для детектирования OBB:

• Сбор изображений: Собери изображения целевых объектов с разных углов и позиций, а также в различных реальных условиях.
• Аннотирование объектов: Разметь каждый объект с помощью повёрнутых ограничивающих прямоугольников (OBB), чтобы зафиксировать его положение и ориентацию, используя инструменты аннотирования с поддержкой OBB.
• Подготовка набора данных: Организуй изображения и метки в структуре каталогов YOLO и создай файл конфигурации YAML с названиями классов и путями к набору данных.
• Обучение модели: Выбери версию модели Ultralytics YOLO11, которая соответствует твоим требованиям, и запусти процесс обучения, чтобы модель могла учиться на размеченных изображениях.
• Оценка и развёртывание: Протестируй обученную модель на новых изображениях, оцени её точность и разверни её в практических приложениях, таких как производство, воздушное наблюдение или анализ документов.

Применение детектирования OBB#

В реальных сценариях часто встречаются объекты, расположенные не по центру или наклонённые. Давай рассмотрим несколько примеров, в которых детектирование OBB существенно повышает точность обнаружения таких объектов.

Анализ рентгеновских изображений с помощью детектирования OBB#

Детектирование OBB может вывести анализ медицинских изображений на новый уровень, повысив точность. На медицинских изображениях часто присутствуют анатомические структуры, такие как опухоли, органы или кости. Эти структуры нередко имеют неправильную форму и различную ориентацию. Поскольку OBB могут поворачиваться под углом объекта, они обеспечивают более точное определение местоположения и измерение, что крайне важно для диагностики и планирования лечения.

Этот подход особенно эффективен при анализе рентгеновских изображений переломов костей, где положение и выравнивание костей имеют ключевое значение. Например, детектирование OBB применялось для анализа рентгеновских снимков локтей детей. Благодаря адаптации к ориентации костей оно помогло повысить точность обнаружения.

Рис. 3. Рентгеновские снимки (a, d) с обнаружением объектов (b, e) и детектированием ориентированных ограничивающих прямоугольников (c, f).

Воздушное наблюдение на основе детектирования OBB#

Воздушное наблюдение — важный инструмент в таких сферах, как общественная безопасность, экологический мониторинг и городское планирование. Изображения, снятые дронами или спутниками, помогают обнаруживать такие объекты, как корабли, транспортные средства и здания. Однако на этих изображениях объекты часто выглядят маленькими и расположены под необычными углами, из-за чего их сложнее точно обнаруживать.

Детектирование OBB решает эту проблему, наклоняя ограничивающие прямоугольники в соответствии с углом каждого объекта. Это обеспечивает более точное измерение размера и ориентации объектов, способствуя принятию более обоснованных решений в таких областях, как городское планирование, оборона, реагирование на чрезвычайные ситуации и экологический мониторинг.

Интересный пример детектирования OBB — отслеживание кораблей в рамках морского наблюдения. Спутниковые изображения часто фиксируют корабли под разными углами и в разных масштабах из-за погодных условий, освещения или движения. OBB могут адаптироваться к этим изменениям, повышая точность обнаружения, особенно для небольших или частично скрытых судов.

Рис. 4. Пример использования детектирования OBB для морского наблюдения.

Использование детектирования OBB в сельском хозяйстве#

Сортировка урожая после сбора — важный этап обеспечения качества перед упаковкой и отправкой на рынок. Хотя многие системы хорошо работают с круглыми фруктами, такими как яблоки и апельсины, с длинными и узкими культурами, например морковью или побегами Zizania, работать гораздо сложнее. Их форма различается, и они часто оказываются расположены под разными углами, поэтому их трудно точно обнаруживать и сортировать.

Чтобы решить эту проблему, исследователи разработали систему, использующую детектирование ориентированных ограничивающих прямоугольников (OBB) для более точной идентификации и сортировки этих культур по качеству. Система может обнаруживать несколько культур на одном изображении, даже если они наклонены или перекрывают друг друга, а также оценивать их качество и положение в реальном времени.

Преимущества и недостатки детектирования OBB#

Вот некоторые преимущества использования детектирования OBB:

• Улучшение входных данных для последующих задач: такие задачи компьютерного зрения, как сегментация экземпляров и отслеживание объектов, могут работать лучше при получении более точных результатов обнаружения объектов.
• Улучшенное пространственное рассуждение: благодаря фиксации угла ориентации OBB позволяют понимать выравнивание и направление объекта.
• Уменьшение перекрытий в загруженных сценах: OBB уменьшают неоднозначность, плотнее соответствуя объектам даже в насыщенных или загромождённых сценах.

Несмотря на повышение точности обнаружения в сложных сценах, детектирование OBB имеет несколько ограничений, которые нужно учитывать:

• Более высокая чувствительность к шуму: небольшие ошибки в предсказании угла могут сильнее влиять на точность обнаружения, особенно для плотно расположенных или вытянутых объектов.
• Необходимость специализированных инструментов: поскольку не все платформы разметки и обучения изначально поддерживают OBB, работа с ними может потребовать дополнительных инструментов или настройки.
• Ограниченная доступность наборов данных: по сравнению со стандартным обнаружением объектов сейчас доступно меньше общедоступных наборов данных с разметкой OBB, поэтому начать работу или сравнить результаты может быть немного сложнее.

Основные выводы#

Детектирование ориентированных ограничивающих прямоугольников упрощает распознавание объектов, которые расположены не идеально прямо или не выровнены. Учитывая одновременно положение и ориентацию объектов, детектирование OBB повышает точность в таких реальных сценариях, как сканирование медицинских изображений, мониторинг сельскохозяйственных угодий или анализ спутниковых фотографий.

Благодаря тому, что такие модели, как Ultralytics YOLO11, делают детектирование OBB более доступным, оно становится практичным выбором для многих отраслей. Если тебе приходится работать с наклонёнными, перекрывающимися или необычно形ными объектами, детектирование OBB добавляет дополнительный уровень точности, которого стандартным методам часто не хватает.

Интересуешься AI? Изучи наш репозиторий GitHub, присоединяйся к нашему сообществу и ознакомься с вариантами лицензирования, чтобы начать свой проект в области компьютерного зрения. Узнай больше о таких инновациях, как AI в розничной торговле и компьютерное зрение в логистике, на наших страницах решений.