Разбираемся в обнаружении границ при обработке изображений

Мы, люди, естественным образом распознаём границы объектов, следуем их изгибам и замечаем текстуры на их поверхностях, когда смотрим на изображение. Однако для компьютера понимание начинается на уровне отдельных пикселей.

Пиксель — наименьшая единица цифрового изображения — хранит цвет и яркость в одной точке. Отслеживая изменения значений пикселей по всему изображению, компьютер может обнаруживать закономерности, раскрывающие важные детали.

В частности, обработка изображений использует данные о пикселях, чтобы выделять ключевые признаки и устранять отвлекающие детали. Один из распространённых методов обработки изображений — обнаружение границ. Он выявляет точки, где яркость или цвет резко меняются, чтобы очертить объекты, обозначить границы и добавить структуру.

Это позволяет компьютерам разделять формы, измерять размеры и интерпретировать взаимосвязи между частями сцены. Обнаружение границ часто становится первым этапом расширенного анализа изображений.

Рис. 1. Пример исходного изображения рядом с результатами применения разных методов обнаружения границ. (Источник)

В этой статье мы рассмотрим, что такое обнаружение границ, как оно работает и где применяется на практике. Давай начнём!

Основные понятия обнаружения границ#

Обнаружение границ заключается в поиске участков изображения, где яркость или цвет заметно меняются от одной точки к следующей. Если изменение небольшое, участок выглядит плавным. Если изменение резкое, оно часто обозначает границу между двумя разными областями.

Вот несколько причин, по которым происходят такие изменения значений пикселей:

• Разрывы нормали поверхности: Когда две поверхности сходятся под углом, например в углу стены или на грани коробки, это резкое изменение ориентации создаёт на изображении чёткую границу.
• Разрывы глубины: Они возникают там, где объекты находятся на разном расстоянии от камеры, создавая видимое разделение, которое помогает системе различать объекты.
• Изменения цвета или текстуры поверхности: Это происходит, когда одна область отличается по цвету или текстуре от соседней, создавая видимое разделение.
• Изменения освещения: Они возникают из-за изменений освещения, включая тени или блики на поверхностях, создавая видимые разделения даже тогда, когда сами поверхности гладкие или непрерывные.

Рис. 2. Разные типы разрывов границ на изображениях. (Источник)

Как работает распознавание границ#

Обнаружение границ обычно начинается с преобразования цветного изображения в изображение в градациях серого, чтобы каждая точка показывала только яркость. Так алгоритму проще сосредоточиться на различиях между светлыми и тёмными участками, а не на цвете.

Затем специальные фильтры сканируют изображение и находят места резких изменений яркости. Эти фильтры вычисляют крутизну изменения яркости, которая называется градиентом. Более высокий градиент возникает из-за большей разницы между соседними точками и часто указывает на границу.

Затем алгоритм продолжает уточнять изображение, удаляя мелкие детали и сохраняя только наиболее важные линии и формы. В результате получается чёткий контур и выходное изображение, которое можно использовать для дальнейшего анализа.

Развитие обнаружения границ и обработки изображений#

Прежде чем подробно рассмотреть обнаружение границ, давай обсудим, как этот метод развивался со временем.

Обработка изображений началась с простых методов на основе правил, таких как пороговая обработка и фильтрация, для очистки и улучшения изображений. В аналоговую эпоху это означало работу с фотографиями или плёнкой с использованием оптических фильтров, увеличителей или химической обработки для выделения деталей.

Такие методы, как настройка контраста, снижение шума, регулировка интенсивности изображения и базовое обнаружение границ, помогали сделать входные изображения более чёткими и выделить формы и текстуры. В 1960-х и 1970-х годах переход от аналоговой к цифровой обработке открыл путь к современному анализу в таких областях, как астрономия, медицинская визуализация и спутниковый мониторинг.

К 1980-м и 1990-м годам более быстрые компьютеры позволили решать сложные задачи, такие как извлечение признаков, обнаружение форм и базовое распознавание объектов. Алгоритмы, такие как оператор Собеля и метод Кэнни, обеспечили более точное обнаружение границ, а распознавание образов нашло применение во всём: от промышленной автоматизации до чтения печатного текста с помощью оптического распознавания символов.

Обнаружение границ и компьютерное зрение в XXI веке#

Сегодня постоянный технологический прогресс привёл к развитию компьютерного зрения. Vision AI, или компьютерное зрение, — это направление AI, посвящённое обучению машин интерпретировать и понимать визуальную информацию.

Традиционная обработка изображений, например двойная пороговая обработка (которая делает изображения более чёткими, сохраняя сильные границы и удаляя слабые), и обнаружение границ работают по фиксированным правилам и способны решать только определённые задачи. Компьютерное зрение использует модели, основанные на данных, которые могут учиться на примерах и адаптироваться к новым ситуациям.

Сегодня системы обработки изображений делают гораздо больше, чем просто улучшают изображения или обнаруживают границы. Они могут распознавать объекты, отслеживать движение и понимать контекст всей сцены.

Один из ключевых методов, делающих это возможным, — свёртка. Операция свёртки представляет собой процесс, в котором небольшие фильтры, также называемые ядрами, сканируют изображение в поисках важных закономерностей, таких как границы, углы и текстуры. Эти закономерности становятся строительными блоками, которые модели компьютерного зрения используют для распознавания и понимания объектов.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, используют признаки на основе свёрток для выполнения сложных задач, таких как сегментация экземпляров. Это тесно связано с обнаружением границ, поскольку сегментация экземпляров требует точного очерчивания границ каждого объекта на изображении.

В то время как обнаружение границ сосредоточено на поиске изменений интенсивности в граничных пикселях для обозначения краёв объектов, сегментация экземпляров развивает эту идею, чтобы обнаруживать границы, классифицировать объекты и выделять каждый объект в отдельную область.

Рис. 3. Пример использования Ultralytics YOLO11 и сегментации экземпляров. (Источник)

Алгоритмы и подходы к обнаружению границ#

Несмотря на развитие компьютерного зрения, обработка изображений по-прежнему играет важную роль во многих приложениях. Это связано с тем, что компьютерное зрение часто опирается на базовые этапы предварительной обработки изображений.

Перед обнаружением объектов или пониманием сцены системы обычно очищают изображение, снижают шум и находят границы, чтобы выделить ключевые детали. Эти этапы делают расширенные модели точнее и эффективнее.

Теперь рассмотрим некоторые наиболее распространённые алгоритмы обработки изображений, используемые для обнаружения границ, и разберём принцип их работы.

Обнаружение границ методом Собеля#

Обнаружение границ методом Собеля — это ключевой метод поиска контуров объектов на изображении. Вместо одновременного анализа каждой детали он сосредоточен на областях, где яркость резко меняется от одного пикселя к соседнему.

Такие резкие изменения обычно обозначают точку, где заканчивается один объект и начинается другой, или где объект соприкасается с фоном. Выделяя эти границы, метод Собеля преобразует сложное изображение в более чёткий контур, который другим системам проще обрабатывать для отслеживания движения, обнаружения форм или распознавания объектов.

Обнаружение границ методом Собеля можно рассматривать как детектор градиента, измеряющий изменение интенсивности по изображению. В основе метода лежит операция свёртки: небольшие матрицы, называемые ядрами, перемещаются по изображению, а затем вычисляются взвешенные суммы значений соседних пикселей.

Эти ядра предназначены для выделения изменений яркости в горизонтальном и вертикальном направлениях. В отличие от моделей глубокого обучения, где ядра обучаются на данных, метод Собеля использует фиксированные ядра для эффективного выделения границ без необходимости обучения.

Рассмотрим подробнее, как работает метод обнаружения границ Собеля:

• Использование двух фильтров 3×3: Этот метод использует две небольшие сетки 3×3, называемые фильтрами. Представь их как трафареты, которые перемещаются по изображению в горизонтальном (направление x) и вертикальном (направление y) направлениях. Одна сетка предназначена для поиска горизонтальных границ, а другая — вертикальных.
• Вычисление градиента: Каждый фильтр определяет скорость изменения яркости и направление градиента. Большое изменение может указывать на границу.
• Объединение результатов: Горизонтальные и вертикальные результаты объединяются для определения общей силы и направления границы в каждом пикселе.
• Обнаружение границ: Пиксели с высокой величиной градиента отмечаются как сильные границы.
• Очертание границ: Эти границы помогают определить формы объектов и разделить разные области изображения.

Рис. 4. Обнаружение границ методом Собеля может выделить основные контуры входного изображения и создать карту границ. (Источник)

Обнаружение границ методом Кэнни#

Обнаружение границ методом Кэнни — ещё один популярный способ поиска границ на изображении. Он известен созданием чётких и точных контуров. В отличие от базовых методов обнаружения границ, он выполняет ряд тщательно разработанных шагов для фильтрации шума, повышения чёткости границ и выделения наиболее важных границ.

Кратко рассмотрим принцип работы детектора границ Кэнни:

• Сглаживание изображения: Сначала изображение размывается с помощью фильтра Гаусса — метода сглаживания, который уменьшает шум и мелкие детали, способные ошибочно восприниматься как границы.
• Обнаружение изменений яркости: Затем алгоритм ищет резкие изменения яркости, используя вычисления градиента для измерения силы и направления этих изменений.
• Утончение границ: Сохраняются только самые сильные точки вдоль каждой обнаруженной линии, а слабые точки удаляются, в результате чего формируются чёткие границы.
• Классификация границ: Каждый пиксель помечается как сильная граница, слабая граница или не граница на основе пороговых значений изменения яркости.
• Финальная очистка: Слабые границы, соединённые с сильными, сохраняются; все остальные отбрасываются, и остаются только чёткие соединённые границы.

Рис. 5. Исходное изображение и соответствующий результат после применения детектора границ Кэнни. (Источник)

Поскольку обнаружение границ методом Кэнни обеспечивает точные результаты и фильтрует шум, оно широко используется в областях, где важна точность. Например, его применяют в таких сферах, как медицинская визуализация, спутниковое картографирование, сканирование документов и роботизированное зрение.

Обнаружение границ на основе градиента и на основе Гаусса#

До сих пор мы рассмотрели два примера обнаружения границ: методы Собеля и Кэнни. Хотя оба метода предназначены для поиска границ, они решают эту задачу по-разному.

Методы на основе градиента (например, Собеля, Превитта и Шарра) обнаруживают границы, находя резкие изменения яркости, известные как градиент. Они сканируют изображение и отмечают места, где это изменение максимально. Эти методы просты, быстры и хорошо работают с чёткими изображениями. Однако они чувствительны к шуму: небольшие вариации яркости могут быть ошибочно приняты за границы.

Методы на основе Гаусса (например, Кэнни или лапласиан Гаусса) добавляют дополнительный этап для решения этой проблемы: сначала изображение размывается. Такое сглаживание, часто выполняемое с помощью фильтра Гаусса, уменьшает небольшие вариации, способные создавать ложные границы. После сглаживания эти методы по-прежнему ищут резкие изменения яркости, но получают более чистые и точные результаты на зашумлённых изображениях или изображениях низкого качества.

Рис. 6. Обнаружение границ на основе градиента и на основе Гаусса. Изображение подготовлено автором.

Практическое применение обнаружения границ#

Теперь, когда мы лучше понимаем принцип работы обнаружения границ, рассмотрим его применение в реальных ситуациях.

Использование обнаружения границ для выявления трещин#

Проверка крупных бетонных конструкций, таких как мосты и высотные здания, часто бывает сложной и опасной задачей. Такие конструкции могут простираться на большие расстояния или достигать значительной высоты, из-за чего традиционные проверки оказываются медленными, дорогими и рискованными. Кроме того, для них обычно требуются строительные леса, доступ по канатам, ручные измерения с близкого расстояния или фотосъёмка.

В 2019 году был опробован интересный подход: исследователи протестировали более безопасный и быстрый метод с использованием дронов, оснащённых камерами высокого разрешения, для получения детальных входных изображений бетонных поверхностей. Затем эти изображения обрабатывались с помощью различных методов обнаружения границ для автоматического выявления трещин.

Исследование показало, что этот метод значительно снизил необходимость непосредственного доступа людей к опасным зонам и ускорил проверки. Однако его точность по-прежнему зависела от таких факторов, как условия освещения, чёткость изображения и стабильность работы дрона. В некоторых случаях для устранения ложноположительных результатов всё ещё требовалась проверка человеком.

Применение обнаружения границ в медицинской визуализации#

Рентгеновские снимки и МРТ часто содержат визуальные искажения, известные как шум, из-за которых мелкие детали сложнее различить. Это создаёт проблемы для врачей, когда им нужно обнаружить границы опухоли, очертить орган или отслеживать едва заметные изменения с течением времени.

В недавнем исследовании медицинской визуализации проверялось, насколько хорошо распространённые методы обнаружения границ, такие как Собеля, Кэнни, Превитта и Лапласиана, работают с зашумлёнными изображениями. Исследователи добавляли к изображениям разные типы и уровни шума и проверяли, насколько точно каждый метод очерчивает важные признаки.

Метод Кэнни обычно создавал наиболее чистые границы даже при сильном шуме, но не был лучшим во всех случаях. Некоторые методы лучше работали с определёнными типами шума, поэтому единого идеального решения не существует.

Рис. 7. Метод Кэнни (d–f) обеспечивает более чёткие границы, чем метод Собеля (g–i), при увеличении шума. (Источник)

Это подчёркивает важность таких технологий, как компьютерное зрение. Объединяя передовые алгоритмы и модели vision AI, такие решения позволяют выйти за рамки базового обнаружения границ и обеспечивают более точные и надёжные результаты даже в сложных условиях.

Преимущества обнаружения границ#

Вот некоторые преимущества использования обнаружения границ и обработки изображений:

• Более эффективное сжатие данных: Обнаружение границ позволяет представлять изображения только с помощью ключевых признаков, уменьшая размер файла при сохранении важной информации. Это повышает эффективность хранения и передачи данных.
• Более точная локализация объектов: Точно определяя границы объектов, обнаружение границ улучшает способность систем находить и отслеживать объекты, что полезно в таких приложениях, как AI в робототехнике на основе зрения и автономные транспортные средства.
• Обнаружение признаков в разных масштабах: Методы обнаружения границ могут анализировать изображения в разных масштабах, захватывая как мелкие детали, так и крупные формы. Такая гибкость полезна в самых разных задачах — от анализа текстур до понимания сцены.

Ограничения использования обработки изображений для обнаружения границ#

Несмотря на многочисленные преимущества обнаружения границ при обработке изображений, этот подход связан и с рядом сложностей. Вот некоторые ключевые ограничения, которые следует учитывать:

• Проблемы со сложными текстурами: На изображениях со сложными или повторяющимися узорами обнаружение границ часто создаёт множество ложных или нерелевантных границ, что усложняет дальнейший анализ и снижает надёжность.
• Чувствительность к освещению: Изменения яркости, тени и отражения могут заставить детекторы границ ошибочно принять изменения освещения за границы объектов, что приводит к нестабильным результатам.
• Отсутствие идентификации объектов: Хотя границы показывают, где начинаются и заканчиваются объекты, они не демонстрируют, что это за объекты. Для присвоения смысла или меток обнаруженным границам требуется дополнительная обработка.

Когда компьютерное зрение можно использовать для обнаружения границ#

Обнаружение границ основано на принципах совместной работы глаз и мозга, позволяющей нам понимать окружающий мир. В человеческом зрении специализированные нейроны зрительной коры особенно чувствительны к границам, линиям и контурам.

Эти визуальные признаки помогают нам быстро определить, где заканчивается один объект и начинается другой. Поэтому даже простой линейный рисунок можно мгновенно распознать: наш мозг в значительной степени опирается на границы для идентификации форм и объектов.

Компьютерное зрение стремится имитировать эту способность, но идёт ещё дальше. Модели, такие как Ultralytics YOLO11, не ограничиваются базовым выделением границ и улучшением изображений. Они могут обнаруживать объекты, точно очерчивать их и отслеживать движение в реальном времени. Такой более глубокий уровень понимания делает их незаменимыми в сценариях, где одного обнаружения границ недостаточно.

Использование Ultralytics YOLO11 для более точного обнаружения границ#

Вот некоторые ключевые задачи компьютерного зрения, поддерживаемые Ultralytics YOLO11, которые развивают возможности обнаружения границ и выходят за их рамки:

• Обнаружение объектов: Метод идентифицирует и локализует несколько объектов на изображении или видео, рисуя ограничивающие рамки вокруг каждого из них. Это даёт наглядное представление о том, какие объекты присутствуют и где расположен каждый из них.
• Сегментация экземпляров: Этот метод разбирает объекты до уровня пикселей, создавая чёткие и точные контуры даже тогда, когда объекты перекрываются или имеют неправильную форму.
• Оценка позы: здесь определяется положение, ориентация или поза объекта либо человека, что помогает отслеживать движения или выявлять структурные изменения с течением времени.
• Отслеживание объектов: эта задача отслеживает объект по мере его перемещения между кадрами видео, обеспечивая его стабильную идентификацию для точного долгосрочного наблюдения.
• Классификация изображений: объектам или целым изображениям присваиваются метки на основе их визуальных признаков, что упрощает организацию и интерпретацию больших наборов данных.

Обнаружение границ в объектах инфраструктуры с помощью компьютерного зрения#

Хороший пример применения компьютерного зрения для улучшения задачи, которая традиционно основывалась на обнаружении границ, — выявление трещин в объектах инфраструктуры и промышленных активах. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучить точно выявлять трещины на дорогах, мостах и трубопроводах. Этот же метод можно применять при техническом обслуживании воздушных судов, инспекциях зданий и контроле качества на производстве, помогая ускорить проверки и повысить безопасность.

Рис. 8. Пример использования YOLO11 для сегментации трещин. (Источник)

Основные выводы#

Обнаружение границ прошло долгий путь — от простых ранних методов до продвинутых технологий, способных выявлять даже малозаметные границы на сложных изображениях. Оно помогает выделять важные детали, акцентировать ключевые области и подготавливать изображения к более глубокому анализу, что делает его важной частью обработки изображений.

В компьютерном зрении обнаружение границ играет важную роль в определении форм, разделении объектов и извлечении полезной информации. Оно применяется во многих областях, включая медицинскую визуализацию, промышленные инспекции, автономное вождение и безопасность, обеспечивая точное и надежное визуальное понимание.

Присоединяйся к нашему сообществу и изучай наш репозиторий на GitHub, чтобы узнать больше об ИИ. Если ты хочешь начать собственный проект в области ИИ для компьютерного зрения, ознакомься с вариантами лицензирования. Узнай больше о таких применениях, как ИИ в здравоохранении и ИИ для компьютерного зрения в розничной торговле, на страницах наших решений.