Разбираемся в выделении границ при обработке изображений

Когда мы смотрим на изображение, то естественным образом распознаём границы объектов, следим за их контурами и замечаем текстуру поверхности. Компьютер же начинает анализ изображения с отдельных пикселей.

Пиксель — наименьшая единица цифрового изображения — хранит информацию о цвете и яркости в одной точке. Отслеживая изменения значений пикселей на изображении, компьютер может находить закономерности, раскрывающие важные детали.

В частности, обработка изображений использует данные о пикселях, чтобы выделять важные признаки и устранять помехи. Один из распространённых методов обработки изображений — обнаружение границ: оно находит точки резкого изменения яркости или цвета, чтобы очерчивать объекты, обозначать границы и добавлять структуру.

Это позволяет компьютерам отделять формы, измерять размеры и определять взаимосвязи между частями сцены. Обнаружение границ часто становится первым этапом углублённого анализа изображений.

Рис. 1. Исходное изображение и результаты применения разных методов обнаружения границ. (Источник)

В этой статье мы рассмотрим, что такое обнаружение границ, как оно работает и где применяется на практике.

Основы обнаружения границ#

Обнаружение границ помогает находить на изображении места, где яркость или цвет заметно меняются от точки к точке. Если изменения незначительны, область выглядит гладкой. Резкое изменение часто указывает на границу между двумя разными областями.

Вот несколько причин, по которым происходят такие изменения значений пикселей:

• Разрывы нормалей поверхности: Когда две поверхности встречаются под углом, например в углу стены или на ребре коробки, резкое изменение ориентации создаёт на изображении чёткую границу.
• Разрывы глубины: Они возникают, когда объекты находятся на разном расстоянии от камеры, создавая видимое разделение, которое помогает системе различать объекты.
• Изменения цвета или текстуры поверхности: Такое происходит, когда один участок отличается цветом или текстурой от соседнего, создавая видимое разделение.
• Изменения освещения: Они возникают из-за перемен в освещении, включая тени и блики на поверхностях, и создают видимые границы даже там, где поверхности сами по себе гладкие или непрерывные.

Рис. 2. Разные типы разрывов границ на изображениях. (Источник)

Как работает обнаружение границ#

Обнаружение границ обычно начинается с преобразования цветного изображения в полутоновое, где в каждой точке отображается только яркость. Благодаря этому алгоритму проще сосредоточиться на различиях между светлыми и тёмными участками, а не на цвете.

Затем специальные фильтры просматривают изображение, чтобы найти места резких изменений яркости. Эти фильтры вычисляют скорость изменения яркости, называемую градиентом. Чем выше градиент, тем сильнее различаются соседние точки, что часто указывает на границу.

Затем алгоритм последовательно обрабатывает изображение: удаляет мелкие детали и сохраняет только самые важные линии и фигуры. В результате получается чёткий контур и итоговое изображение, пригодное для дальнейшего анализа.

Развитие обнаружения границ и обработки изображений#

Прежде чем подробно разобрать обнаружение границ, давай посмотрим, как оно развивалось со временем.

Обработка изображений началась с простых методов, основанных на правилах, таких как пороговая обработка и фильтрация, которые очищали и улучшали изображения. В аналоговую эпоху для проявления деталей использовали фотографии или плёнку, применяя оптические фильтры, увеличительные приборы и химическую обработку.

Такие методы, как настройка контрастности, шумоподавление, изменение интенсивности изображения и простое обнаружение границ, помогали сделать входные изображения чётче и выделить фигуры и текстуры. В 1960–1970-х годах переход от аналоговой обработки к цифровой открыл путь к современному анализу в таких областях, как астрономия, медицинская визуализация и спутниковое наблюдение.

К 1980-м и 1990-м годам более быстрые компьютеры позволили решать сложные задачи, такие как извлечение признаков, обнаружение форм и базовое распознавание объектов. Алгоритмы, такие как оператор Собеля и детектор границ Канни, обеспечили более точное обнаружение границ, а распознавание образов начали применять в самых разных областях — от промышленной автоматизации до чтения печатного текста с помощью оптического распознавания символов.

Обнаружение границ и компьютерное зрение в XXI веке#

Сегодня устойчивый прогресс в технологиях привёл к развитию компьютерного зрения. Vision AI, или компьютерное зрение, — это область AI, которая занимается обучением машин интерпретировать и понимать визуальную информацию.

Традиционная обработка изображений, например двойная пороговая обработка (которая делает изображения чётче, сохраняя сильные границы и удаляя слабые) и обнаружение границ, следовала заданным правилам и могла выполнять лишь конкретные задачи. Компьютерное зрение использует модели, основанные на данных: они обучаются на примерах и адаптируются к новым ситуациям.

Сегодня системы обработки изображений умеют гораздо больше, чем просто улучшать изображения или обнаруживать границы. Они могут распознавать объекты, отслеживать движение и понимать контекст целой сцены.

Один из ключевых методов, благодаря которым это стало возможным, — свёртка. При свёртке небольшие фильтры (также называемые ядрами) сканируют изображение в поисках важных закономерностей, например границ, углов и текстур. Эти закономерности становятся строительными блоками, с помощью которых модели компьютерного зрения распознают и понимают объекты.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, используют эти признаки, основанные на свёртках, для выполнения сложных задач, например сегментации экземпляров. Эта задача тесно связана с обнаружением границ, поскольку для сегментации экземпляров необходимо точно очерчивать границы каждого объекта на изображении.

Обнаружение границ ищет изменения интенсивности в пикселях на границах объектов, а сегментация экземпляров развивает эту идею: она обнаруживает границы, классифицирует объекты и выделяет для каждого объекта отдельную область.

Рис. 3. Пример сегментации экземпляров с помощью Ultralytics YOLO11. (Источник)

Алгоритмы и методы обнаружения границ#

Несмотря на развитие компьютерного зрения, обработка изображений по-прежнему играет важную роль во многих приложениях. Дело в том, что компьютерное зрение часто опирается на базовые этапы предварительной обработки изображений.

Перед обнаружением объектов или анализом сцены системы обычно очищают изображение, уменьшают шум и находят границы, чтобы выделить важные детали. Эти шаги повышают точность и эффективность сложных моделей.

Далее рассмотрим некоторые из самых распространённых алгоритмов обработки изображений для обнаружения границ и разберёмся, как они работают.

Обнаружение границ методом Собеля#

Обнаружение границ методом Собеля — это ключевой способ находить контуры объектов на изображении. Вместо анализа всех деталей сразу он сосредоточен на областях, где яркость резко меняется от одного пикселя к соседнему.

Такие резкие изменения обычно отмечают место, где заканчивается один объект и начинается другой или где объект соприкасается с фоном. Выделяя эти границы, оператор Собеля преобразует сложное изображение в более чёткий контур, который другим системам проще обрабатывать для таких задач, как отслеживание движения, обнаружение форм и распознавание объектов.

Обнаружение границ методом Собеля можно представить как детектор градиента, который измеряет изменения интенсивности на изображении. В основе метода лежит свёрточная операция: небольшие матрицы, называемые ядрами, скользят по изображению и вычисляют взвешенные суммы значений соседних пикселей.

Эти ядра устроены так, чтобы выделять изменения яркости по горизонтали и вертикали. В отличие от моделей глубокого обучения, в которых ядра обучаются на данных, оператор Собеля использует фиксированные ядра и эффективно выделяет границы без обучения.

Рассмотрим подробнее, как работает метод обнаружения границ Собеля:

• Использование двух фильтров 3×3: В этом методе используются две небольшие сетки 3×3, называемые фильтрами. Представь их как трафареты, которые скользят по изображению в горизонтальном (направление x) и вертикальном (направление y) направлениях. Одна сетка предназначена для обнаружения горизонтальных границ, а другая — вертикальных.
• Вычисление градиента: Каждый фильтр измеряет скорость изменения яркости вдоль своего направления. Резкое изменение может указывать на границу.
• Объединение результатов: Результаты для горизонтального и вертикального направлений объединяются, чтобы определить общую силу и направление границы в каждом пикселе.
• Обнаружение границ: Пиксели с большой величиной градиента отмечаются как сильные границы.
• Выделение контуров: Эти границы помогают определить формы объектов и отделить разные области изображения друг от друга.

Рис. 4. Обнаружение границ методом Собеля позволяет выделить основные контуры исходного изображения и получить карту границ. (Источник)

Обнаружение границ методом Кэнни#

Обнаружение границ методом Кэнни — ещё один популярный способ находить границы на изображении. Он известен тем, что позволяет получать чёткие и точные контуры. В отличие от простых методов обнаружения границ, он состоит из ряда тщательно продуманных этапов, которые отфильтровывают шум, уточняют границы и выделяют наиболее важные из них.

Кратко рассмотрим, как работает детектор границ Кэнни:

• Сглаживание изображения: Сначала изображение размывают гауссовым фильтром. Этот метод сглаживания уменьшает шум и количество мелких деталей, которые можно ошибочно принять за границы.
• Обнаружение изменений яркости: Затем алгоритм ищет резкие изменения яркости и с помощью вычисления градиента измеряет силу и направление этих изменений.
• Сужение границ: На каждой обнаруженной линии сохраняются только самые сильные точки, а слабые удаляются. В результате границы становятся чёткими и аккуратными.
• Классификация границ: Каждый пиксель помечается как сильная граница, слабая граница или не граница — в зависимости от пороговых значений изменения яркости.
• Финальная очистка: Слабые границы, соединённые с сильными, сохраняются, а остальные отбрасываются. В итоге остаются только чёткие, непрерывные контуры.

Рис. 5. Исходное изображение и результат работы детектора границ Кэнни. (Источник)

Обнаружение границ методом Кэнни широко применяется там, где важна точность, поскольку он даёт точные результаты и отфильтровывает шум. Например, его используют в таких областях, как медицинская визуализация, картографирование по спутниковым снимкам, сканирование документов и робототехническое зрение.

Обнаружение границ на основе градиента и на основе гауссова фильтра#

До сих пор мы рассмотрели два примера обнаружения границ: методы Собеля и Кэнни. Оба метода ищут границы, но подходят к этой задаче по-разному.

Методы на основе градиента (например, Собеля, Превитта и Шарра) обнаруживают границы, находя резкие изменения яркости, называемые градиентом. Они сканируют изображение и отмечают места, где это изменение наиболее выражено. Такие методы просты, быстры и хорошо работают с чёткими изображениями. Однако они чувствительны к шуму: небольшие колебания яркости можно ошибочно принять за границы.

Методы на основе гауссова фильтра (например, Кэнни или лапласиан Гаусса) включают дополнительный этап, помогающий справиться с этой проблемой: сначала изображение размывают. Такое сглаживание, часто выполняемое с помощью гауссова фильтра, уменьшает небольшие колебания, которые могут создавать ложные границы. После сглаживания эти методы по-прежнему ищут резкие изменения яркости, но дают более чистые и точные результаты на зашумлённых изображениях или изображениях низкого качества.

Рис. 6. Обнаружение границ на основе градиента и на основе гауссова фильтра. Изображение предоставлено автором.

Применение обнаружения границ в реальных условиях#

Теперь, когда мы лучше понимаем, как работает обнаружение границ, рассмотрим его применение в реальных условиях.

Обнаружение трещин с помощью метода обнаружения границ#

Осмотр крупных бетонных сооружений, таких как мосты и высотные здания, часто бывает сложной и опасной задачей. Эти сооружения могут протягиваться на большие расстояния или подниматься на значительную высоту, поэтому традиционные проверки занимают много времени, стоят дорого и сопряжены с риском. Кроме того, для таких проверок обычно нужны строительные леса, доступ на верёвках, ручные измерения вблизи или фотосъёмка.

В 2019 году исследователи изучили интересный, более безопасный и быстрый подход: они использовали дроны с камерами высокого разрешения для получения детальных изображений бетонных поверхностей. Затем изображения обработали с помощью различных методов обнаружения границ, чтобы автоматически выявлять трещины.

Исследование показало, что этот метод значительно сократил необходимость непосредственного доступа людей в опасные зоны и ускорил проверки. Однако точность по-прежнему зависела от таких факторов, как освещение, чёткость изображений и стабильность полёта дрона. В некоторых случаях для устранения ложноположительных результатов всё ещё требовалась проверка человеком.

Применение обнаружения границ в медицинской визуализации#

На рентгеновских снимках и МРТ часто встречаются визуальные помехи, называемые шумом, из-за которых мелкие детали труднее разглядеть. Это создаёт трудности для врачей, пытающихся определить границы опухоли, обвести контур органа или отследить едва заметные изменения с течением времени.

В недавнем исследовании в области медицинской визуализации проверили, насколько хорошо распространённые методы обнаружения границ — Собеля, Кэнни, Превитта и лапласиан — справляются с зашумлёнными изображениями. Исследователи добавляли к изображениям разные типы шума разной интенсивности и проверяли, насколько точно каждый метод выделяет важные признаки.

Метод Кэнни обычно давал самые чёткие границы даже при сильном шуме, но не был лучшим во всех случаях. Некоторые методы лучше справлялись с определёнными типами шума, поэтому универсального идеального решения нет.

Рис. 7. При усилении шума метод Кэнни (d–f) обеспечивает более чёткие границы, чем метод Собеля (g–i). (Источник)

Это показывает, насколько важны такие технологии, как компьютерное зрение. Сочетая сложные алгоритмы и модели Vision AI, эти решения могут выходить за рамки простого обнаружения границ и обеспечивать более точные и надёжные результаты даже в сложных условиях.

Преимущества обнаружения границ#

Вот некоторые преимущества применения обнаружения границ и обработки изображений:

• Более эффективное сжатие данных: Обнаружение границ позволяет представлять изображения только с помощью ключевых признаков, уменьшая размер файла и сохраняя важную информацию. Это повышает эффективность хранения и передачи данных.
• Более точная локализация объектов: Точное определение границ объектов улучшает их локализацию и отслеживание, что полезно в таких приложениях, как ИИ для робототехники на основе компьютерного зрения и автономные транспортные средства.
• Обнаружение признаков на разных масштабах: Методы обнаружения границ могут анализировать изображения на разных масштабах, выделяя как мелкие детали, так и крупные формы. Эта гибкость полезна для самых разных задач — от анализа текстур до понимания сцены.

Ограничения обработки изображений для обнаружения границ#

Обнаружение границ при обработке изображений имеет много преимуществ, но сопряжено и с рядом трудностей. Вот некоторые ключевые ограничения, которые стоит учитывать:

• Проблемы со сложными текстурами: На изображениях со сложными или повторяющимися узорами обнаружение границ часто даёт множество ложных или несущественных границ, что затрудняет дальнейший анализ и снижает надёжность.
• Чувствительность к освещению: Изменения яркости, тени и отражения могут заставить детекторы границ ошибочно принимать изменения освещения за границы объектов, что приводит к нестабильным результатам.
• Невозможность идентифицировать объекты: Границы показывают, где начинаются и заканчиваются объекты, но не позволяют определить, что это за объекты. Чтобы присвоить обнаруженным границам смысл или метки, нужна дополнительная обработка.

Когда компьютерное зрение можно использовать для обнаружения границ#

Обнаружение границ основано на том, как наши глаза и мозг совместно помогают нам понимать окружающий мир. В человеческом зрении специализированные нейроны зрительной коры очень чувствительны к границам, линиям и контурам.

Эти визуальные подсказки помогают нам быстро определить, где заканчивается один объект и начинается другой. Поэтому даже простой линейный рисунок легко узнать: наш мозг во многом полагается на границы, чтобы определять формы и объекты.

Компьютерное зрение стремится имитировать эту способность, но идёт дальше. Модели, такие как Ultralytics YOLO11, не ограничиваются простым выделением границ и улучшением изображений. Они могут обнаруживать объекты, точно очерчивать их контуры и отслеживать движение в реальном времени. Благодаря такому глубокому пониманию они незаменимы в ситуациях, где одного обнаружения границ недостаточно.

Более точное обнаружение границ с помощью Ultralytics YOLO11#

Вот некоторые ключевые задачи компьютерного зрения, которые поддерживает Ultralytics YOLO11 и которые развивают подход к обнаружению границ и выходят за его рамки:

• Обнаружение объектов: определяет и локализует несколько объектов на изображении или видео, обводя каждый из них ограничивающей рамкой и показывая, какие объекты присутствуют и где они расположены.
• Сегментация экземпляров: разбивает объекты на уровне пикселей и создаёт чёткие точные контуры, даже если объекты перекрывают друг друга или имеют неправильную форму.
• Классификация изображений: присваивает метки объектам или целым изображениям на основе их визуальных признаков, упрощая организацию и интерпретацию больших массивов данных.
• Оценка позы: определяет положение, ориентацию или позу объекта либо человека, помогая отслеживать движения или выявлять структурные изменения с течением времени.
• Отслеживание объектов: отслеживает объект при его перемещении между кадрами видео, обеспечивая последовательную идентификацию для точного долговременного наблюдения.

Обнаружение границ инфраструктурных объектов с помощью компьютерного зрения#

Хороший пример того, как компьютерное зрение улучшает приложение, которое раньше опиралось на обнаружение границ, — обнаружение трещин в инфраструктуре и промышленных объектах. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучить на наборах данных, например Crack-Seg, чтобы точно обнаруживать трещины на дорогах, мостах и трубопроводах. Тот же метод можно применять при обслуживании воздушных судов, инспекции зданий и контроле качества на производстве, ускоряя проверки и повышая безопасность.

Рис. 8. Пример сегментации трещин с помощью YOLO11. (Источник)

Главные выводы#

Обнаружение границ прошло большой путь: от простых ранних методов до сложных алгоритмов, способных находить даже едва заметные контуры на сложных изображениях. Оно помогает выделять важные детали и области, а также подготавливать изображения для более глубокого анализа, поэтому занимает центральное место в обработке изображений.

В компьютерном зрении обнаружение границ играет важную роль в определении форм, разделении объектов и извлечении полезной информации. Его применяют во многих областях — например, в медицинской визуализации, промышленном контроле, автономном вождении и системах безопасности — для точного и надёжного анализа визуальных данных.

Присоединяйся к нашему сообществу и изучи наш репозиторий на GitHub, чтобы узнать больше об AI. Если ты хочешь запустить собственный проект Vision AI, ознакомься с нашими вариантами лицензирования. Узнай больше о таких приложениях, как AI в здравоохранении и Vision AI в розничной торговле, на страницах наших решений.