Понимание детекции границ при обработке изображений

Как люди, мы естественным образом распознаем границы объектов, прослеживаем их изгибы и замечаем текстуры на поверхностях, когда смотрим на изображение. Однако для компьютера понимание начинается на уровне отдельных пикселей.

Пиксель — наименьшая единица цифрового изображения — хранит данные о цвете и яркости в одной точке. Отслеживая изменения этих значений пикселей по всему изображению, компьютер может обнаруживать закономерности, раскрывающие важные детали.

В частности, в image processing используются данные пикселей для выделения важных особенностей и удаления лишних деталей. Один из распространенных методов обработки изображений — обнаружение границ, которое определяет точки резкого изменения яркости или цвета для обводки объектов, обозначения контуров и добавления структуры.

Это позволяет компьютерам разделять формы, измерять размеры и интерпретировать взаимосвязь частей сцены. Обнаружение границ часто является первым шагом в расширенном image analysis.

Рис. 1. Пример, показывающий исходное изображение рядом с результатами работы различных методов обнаружения границ. (Источник)

В этой статье мы рассмотрим, что такое обнаружение границ, как оно работает и где применяется в реальности. Давай начнем!

Концепции обнаружения границ#

Обнаружение границ фокусируется на поиске мест в изображении, где яркость или цвет заметно меняются от одной точки к другой. Если изменение мало, область кажется гладкой. Если изменение резкое, оно часто отмечает границу между двумя разными областями.

Вот несколько причин, по которым происходят такие изменения пикселей:

• Разрывы нормали поверхности: когда две поверхности встречаются под углом, например, на углу стены или краю коробки, это резкое изменение ориентации создает четкую границу на изображении.
• Разрывы глубины: они появляются там, где объекты находятся на разном расстоянии от камеры, создавая видимое разделение, которое помогает системе их различать.
• Изменения цвета или текстуры поверхности: это происходит, когда одна область имеет другой цвет или текстуру по сравнению с соседней, что создает видимое разделение.
• Изменения освещения: это возникает из-за перемен в освещении, включая тени или блики на поверхностях, создавая видимые разделения, даже если сами поверхности гладкие или непрерывные.

Рис. 2. Различные типы разрывов границ на изображениях. (Источник)

Как работает распознавание при обнаружении границ#

Обнаружение границ обычно начинается с преобразования цветного изображения в полутоновое, чтобы каждая точка показывала только яркость. Это упрощает алгоритму задачу фокусировки на различиях в светлых и темных участках вместо цвета.

Затем специальные фильтры сканируют изображение, чтобы найти места, где яркость меняется внезапно. Эти фильтры вычисляют крутизну изменения яркости, называемую градиентом. Более высокий градиент вызван большей разницей между соседними точками, что часто сигнализирует о границе.

После этого алгоритм продолжает уточнять изображение, удаляя мелкие детали и оставляя только самые важные линии и формы. Результатом является четкий контур и выходное изображение, которые можно использовать для дальнейшего анализа.

Эволюция обнаружения границ и обработки изображений#

Прежде чем мы подробнее углубимся в обнаружение границ, давай обсудим, как оно развивалось со временем.

Обработка изображений начиналась с простых методов на основе правил, таких как thresholding и фильтрация, для очистки и улучшения картинок. В аналоговую эпоху это означало работу с фотографиями или пленкой с использованием оптических фильтров, луп или химической обработки для проявления деталей.

Такие методы, как регулировка контраста, подавление шума, настройка интенсивности изображения и базовое обнаружение границ, помогали сделать входные изображения более четкими и выделить формы и текстуры. В 1960-х и 70-х годах переход от аналоговой к цифровой обработке открыл путь для современного анализа в таких областях, как астрономия, медицинская визуализация и спутниковый мониторинг.

К 1980–1990-м годам более быстрые компьютеры позволили решать более сложные задачи, такие как извлечение признаков, обнаружение форм и базовое распознавание объектов. Алгоритмы вроде оператора Собела и алгоритма Кэнни обеспечивали более точное обнаружение границ, в то время как распознавание образов нашло применение во всем: от промышленной автоматизации до чтения печатного текста с помощью optical character recognition.

Обнаружение границ и компьютерное зрение в XXI веке#

Сегодня устойчивый прогресс в технологиях привел к развитию computer vision. Vision AI, или компьютерное зрение, — это ветвь искусственного интеллекта, которая сосредоточена на обучении машин интерпретации и пониманию визуальной информации.

В то время как традиционная обработка изображений, например двойная пороговая обработка (которая делает изображения более четкими, сохраняя сильные границы и удаляя слабые) и обнаружение границ, следовали фиксированным правилам и могли выполнять только специфические задачи, компьютерное зрение использует модели, управляемые данными, которые могут учиться на примерах и адаптироваться к новым ситуациям.

В наши дни системы визуализации выходят далеко за рамки простого улучшения изображений или обнаружения границ. Они могут распознавать объекты, отслеживать движение и понимать контекст целой сцены.

Один из ключевых методов, делающих это возможным, — свертка. Операция свертки — это процесс, при котором маленькие фильтры (также называемые ядрами) сканируют изображение для поиска важных паттернов, таких как границы, углы и текстуры. Эти паттерны становятся строительными блоками, которые модели компьютерного зрения используют для распознавания и понимания объектов.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, используют эти сверточные признаки для выполнения сложных задач, таких как сегментация экземпляров. Это тесно связано с обнаружением границ, поскольку сегментация экземпляров требует точного выделения контуров каждого объекта на изображении.

В то время как обнаружение границ фокусируется на поиске изменений интенсивности в граничных пикселях для разметки краев объекта, сегментация экземпляров развивает эту идею, чтобы обнаруживать границы, классифицировать и разделять каждый объект на его собственную область.

Рис. 3. Обзор использования Ultralytics YOLO11 и сегментации экземпляров. (Источник)

Алгоритмы и подходы к обнаружению границ#

Даже с ростом компьютерного зрения обработка изображений остается важной частью многих приложений. Это связано с тем, что компьютерное зрение часто строится на базовых этапах предварительной обработки изображений.

Перед обнаружением объектов или пониманием сцены системы обычно очищают изображение, снижают шум и находят границы, чтобы выделить ключевые детали. Эти шаги делают продвинутые модели более точными и эффективными.

Далее давай рассмотрим некоторые из наиболее распространенных алгоритмов обработки изображений, используемых для обнаружения границ, и то, как они работают.

Обнаружение границ Собеля#

Обнаружение границ Собеля — это ключевой метод, используемый для поиска контуров объектов на изображении. Вместо анализа каждой детали сразу, он фокусируется на областях, где яркость резко меняется от одного пикселя к соседнему.

Эти внезапные сдвиги обычно отмечают точку, где один объект заканчивается и начинается другой, или где объект встречается с фоном. Выделяя эти границы, Собель преобразует сложное изображение в более чистый контур, который проще обрабатывать другим системам для таких задач, как отслеживание движения, обнаружение форм или распознавание объектов.

Ты можешь представить обнаружение границ Собеля как детектор градиента, который измеряет изменение интенсивности по изображению. По своей сути это работает через операцию свертки: сдвиг маленьких матриц, называемых ядрами, по изображению и вычисление взвешенных сумм значений соседних пикселей.

Эти ядра разработаны так, чтобы подчеркивать изменения яркости в горизонтальном и вертикальном направлениях. В отличие от моделей глубокого обучения, где ядра обучаются на данных, Собель использует фиксированные ядра для эффективного выделения границ без необходимости обучения.

Вот более детальный взгляд на то, как работает метод обнаружения границ Собеля:

• Использование двух фильтров 3×3: этот метод использует две крошечные сетки 3×3, называемые фильтрами. Думай о них как о трафаретах, которые скользят по изображению в горизонтальном (x-направление) и вертикальном направлениях (y-направление). Одна сетка предназначена для поиска горизонтальных границ, а другая — для вертикальных.
• Вычисление градиента: каждый фильтр находит скорость изменения яркости и направление градиента. Большое изменение означает возможную границу.
• Объединение результатов: результаты по горизонтали и вертикали объединяются для определения общей силы границы и направления в каждом пикселе.
• Обнаружение границ: пиксели с высокой величиной градиента помечаются как сильные границы.
• Очерчивание границ: эти границы помогают определить формы объектов и разделить различные области на изображении.

Рис. 4. Обнаружение границ по методу Собела может выделить основные контуры входного изображения и создать карту границ. (Источник)

Обнаружение границ Кэнни#

Обнаружение границ Кэнни — еще один популярный метод поиска границ на изображении. Он известен созданием четких и точных контуров. В отличие от базовых методов обнаружения границ, он следует ряду тщательно разработанных шагов для фильтрации шума, заострения границ и фокусировки на наиболее важных краях.

Вот краткий обзор того, как работает детектор границ Кэнни:

• Сглаживание изображения: изображение сначала размывается с помощью фильтра Гаусса, метода сглаживания, который снижает шум и мелкие детали, которые можно принять за границы.
• Обнаружение изменений яркости: затем алгоритм сканирует изображение на наличие резких изменений яркости, используя вычисления градиента для измерения силы и направления этих изменений.
• Утончение границ: сохраняются только самые сильные точки вдоль каждой обнаруженной линии, а более слабые точки удаляются, что приводит к четким и чистым краям.
• Классификация границ: каждый пиксель помечается как сильный, слабый или не являющийся границей, основываясь на пороговых значениях изменения яркости.
• Финальная очистка: слабые границы, соединенные с сильными, сохраняются; все остальные отбрасываются, оставляя только четкие и связанные границы.

Рис. 5. Исходное изображение и соответствующее ему выходное изображение после применения детектора границ Кэнни. (Источник)

Поскольку метод обнаруживает границы с высокой точностью и отфильтровывает шум, детектор границ Кэнни широко используется в областях, где важна точность. Например, он применяется в таких отраслях, как medical imaging, спутниковое картографирование, сканирование документов и робототехническое зрение.

Градиентные методы против Гауссовых методов обнаружения границ#

Пока что двумя примерами обнаружения границ, которые мы рассмотрели, были Собель и Кэнни. Хотя оба они нацелены на поиск границ, они подходят к проблеме по-разному.

Градиентные методы (такие как Собель, Прюитт и Шарр) обнаруживают границы, ища резкие изменения яркости, известные как градиент. Они сканируют изображение и отмечают места, где это изменение наиболее сильное. Эти методы просты, быстры и хорошо работают с четкими изображениями. Однако они чувствительны к шуму — крошечные вариации яркости можно ошибочно принять за границы.

Гауссовы методы (такие как Кэнни или Лапласиан Гаусса) добавляют дополнительный шаг для решения этой проблемы: сначала размывают изображение. Это сглаживание, часто выполняемое с помощью фильтра Гаусса, уменьшает небольшие вариации, которые могут создать ложные границы. После сглаживания эти методы все равно ищут резкие изменения яркости, но результаты получаются более чистыми и точными для зашумленных изображений или изображений низкого качества.

Рис. 6. Градиентные методы против Гауссовых методов обнаружения границ. Изображение автора.

Реальные применения обнаружения границ#

Получив лучшее понимание того, как работает обнаружение границ, давай исследуем, как оно применяется в реальных ситуациях.

Использование обнаружения границ для выявления трещин#

Инспекция крупных бетонных конструкций, таких как мосты и высотные здания, часто является сложной и опасной задачей. Эти сооружения могут простираться на большие расстояния или достигать значительной высоты, что делает традиционные инспекции медленными, дорогими и рискованными. Такие проверки также обычно требуют использования строительных лесов, промышленного альпинизма, ручных измерений вблизи или фотосъемки.

Интересный подход был исследован в 2019 году, когда исследователи протестировали более безопасный и быстрый метод с использованием дронов, оснащенных камерами высокого разрешения для получения детальных входных изображений бетонных поверхностей. Затем эти изображения обрабатывались с помощью различных методов edge detection для автоматического выявления трещин.

Исследование показало, что этот метод значительно снизил потребность в прямом доступе человека к опасным зонам и ускорил проверки. Однако точность все еще зависела от таких факторов, как условия освещения, четкость изображения и стабильность работы дрона. В некоторых случаях все еще требовался просмотр человеком для устранения ложноположительных результатов.

Применение обнаружения границ в медицинской визуализации#

Рентгеновские снимки и МРТ часто содержат визуальные помехи, известные как шум, которые могут затруднить рассмотрение мелких деталей. Это становится проблемой для врачей, когда они пытаются заметить края опухоли, проследить контур органа или отслеживать тонкие изменения во времени.

В недавнем medical imaging study было протестировано, насколько хорошо распространенные методы обнаружения границ, такие как Собела, Кэнни, Превитта и Лапласа, справляются с зашумленными изображениями. Исследователи добавили к изображениям шум разных типов и уровней и проверили, насколько точно каждый метод может очертить важные особенности.

Кэнни обычно создавал самые чистые границы, даже при сильном шуме, но он не был лучшим в каждом случае. Некоторые методы работали лучше с определенными типами шума, так что единого идеального решения нет.

Рис. 7. Кэнни (d–f) обеспечивает более четкие границы, чем Собела (g–i) по мере увеличения уровня шума. (Источник)

Это подчеркивает, почему технологии вроде компьютерного зрения так важны. Объединяя передовые алгоритмы и vision AI models, такие решения могут выходить за рамки базового обнаружения границ, обеспечивая более точные и надежные результаты даже в сложных условиях.

Плюсы обнаружения границ#

Вот некоторые из преимуществ использования обнаружения границ и обработки изображений:

• Лучшее сжатие данных: обнаружение границ позволяет представлять изображения только с помощью ключевых признаков, уменьшая размер файла при сохранении важной информации. Это делает хранение и передачу более эффективными.
• Более точная локализация объектов: Точно определяя границы объектов, обнаружение границ улучшает способность систем находить и отслеживать объекты, что приносит пользу таким приложениям, как AI in robotics и автономные транспортные средства.
• Обнаружение признаков в разных масштабах: методы обнаружения границ могут анализировать изображения в разных масштабах, фиксируя как мелкие детали, так и более крупные формы. Эта гибкость полезна для широкого круга задач: от анализа текстур до понимания сцены.

Ограничения использования обработки изображений для обнаружения границ#

Хотя у обнаружения границ в обработке изображений есть много преимуществ, оно также сопряжено с рядом проблем. Вот ключевые ограничения, которые стоит учитывать:

• Проблемы со сложными текстурами: на изображениях со сложными или повторяющимися паттернами обнаружение границ часто выдает много ложных или неактуальных границ, что усложняет дальнейший анализ и снижает надежность.
• Чувствительность к освещению: колебания яркости, тени и блики могут привести к тому, что детекторы границ интерпретируют изменения освещения как границы объектов, что ведет к противоречивым результатам.
• Отсутствие идентификации объектов: хотя границы подсвечивают, где объекты начинаются и заканчиваются, они не показывают, что это за объекты. Требуется дополнительная обработка, чтобы присвоить обнаруженным границам смысл или метки.

Когда компьютерное зрение может быть использовано для обнаружения границ#

Обнаружение границ вдохновлено тем, как наши глаза и мозг работают вместе, чтобы осмыслить мир. Что касается человеческого зрения, специализированные нейроны в зрительной коре высокочувствительны к границам, линиям и контурам.

Эти визуальные подсказки помогают нам быстро определять, где заканчивается один объект и начинается другой. Именно поэтому даже простой линейный рисунок мгновенно узнаваем — наш мозг сильно полагается на границы при идентификации форм и объектов.

Компьютерное зрение стремится имитировать эту способность, но идет еще дальше. Модели, такие как Ultralytics YOLO11, выходят за рамки простого подсвета границ и улучшения изображения. Они могут обнаруживать объекты, оконтуривать их с точностью и отслеживать движение в реальном времени. Этот более глубокий уровень понимания делает их необходимыми в сценариях, где одного обнаружения границ недостаточно.

Использование Ultralytics YOLO11 для более точного обнаружения границ#

Вот несколько ключевых задач компьютерного зрения, поддерживаемых Ultralytics YOLO11, которые развивают обнаружение границ и выходят за его рамки:

• Обнаружение объектов: система идентифицирует и локализует множество объектов на изображении или видео, рисуя ограничивающие рамки (bounding boxes) вокруг каждого из них, давая четкое представление о том, что присутствует и где расположен каждый объект.
• Сегментация экземпляров: это включает разбивку объектов до уровня пикселей, создание четких и точных контуров даже в тех случаях, когда объекты перекрываются или имеют нерегулярные формы.
• Оценка позы: твоя цель здесь — определить положение, ориентацию или позу объекта или человека, что помогает в отслеживании движений или обнаружении структурных изменений с течением времени.
• Отслеживание объектов: эта задача позволяет следить за объектом по мере его перемещения между кадрами видео, обеспечивая его последовательную идентификацию для точного долгосрочного наблюдения.
• Классификация изображений: она присваивает метки объектам или целым изображениям на основе их визуальных характеристик, что упрощает организацию и интерпретацию больших наборов данных.

Обнаружение границ в инфраструктуре с помощью компьютерного зрения#

Хорошим примером улучшения компьютерным зрением приложения, традиционно опиравшегося на обнаружение границ, является поиск трещин в инфраструктуре и промышленных объектах. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучать точному определению трещин на дорогах, мостах и трубопроводах. Этот же метод применим при обслуживании самолетов, инспекции зданий и контроле качества на производстве, что помогает ускорить проверки и повысить безопасность.

Рис. 8. Пример использования YOLO11 для сегментации трещин. (Источник)

Основные выводы#

Обнаружение границ прошло долгий путь — от простых ранних методов до передовых технологий, способных заметить даже едва заметные контуры на сложных изображениях. Это помогает проявить важные детали, выделить ключевые области и подготовить изображения к более глубокому анализу, что делает этот процесс основой обработки изображений.

В компьютерном зрении обнаружение границ играет важную роль в определении форм, разделении объектов и извлечении полезной информации. Оно используется во многих областях, таких как медицинская визуализация, промышленные инспекции, автономное вождение и системы безопасности, обеспечивая точное и надежное понимание визуальных данных.

Присоединяйся к our community и изучай наш GitHub repository, чтобы узнать больше об искусственном интеллекте. Если ты хочешь запустить собственный проект в области компьютерного зрения, ознакомься с нашими licensing options. Узнай больше о таких приложениях, как AI in healthcare и vision AI in retail, посетив страницы наших решений.