Понимание детекции границ при обработке изображений

Как люди, мы естественным образом распознаем границы объектов, прослеживаем их изгибы и замечаем текстуры на поверхностях, когда смотрим на изображение. Однако для компьютера понимание начинается на уровне отдельных пикселей.

Пиксель — наименьшая единица цифрового изображения — хранит данные о цвете и яркости в одной точке. Отслеживая изменения этих значений пикселей по всему изображению, компьютер может обнаруживать закономерности, раскрывающие важные детали.

В частности, обработка изображений использует данные пикселей, чтобы выделить основные признаки и убрать отвлекающие факторы. Один из распространенных методов обработки — обнаружение границ, которое определяет точки резкого изменения яркости или цвета для оконтуривания объектов, разметки границ и добавления структуры.

Это позволяет компьютерам разделять формы, измерять размеры и интерпретировать взаимосвязи между частями сцены. Обнаружение границ часто является первым шагом в продвинутом анализе изображений.

Рис. 1. Пример, показывающий исходное изображение и результаты, полученные с помощью различных методов обнаружения границ. (Источник)

В этой статье мы рассмотрим, что такое обнаружение границ, как оно работает и где применяется в реальности. Давай начнем!

Link to this sectionКонцепции обнаружения границ#

Обнаружение границ фокусируется на поиске мест в изображении, где яркость или цвет заметно меняются от одной точки к другой. Если изменение мало, область кажется гладкой. Если изменение резкое, оно часто отмечает границу между двумя разными областями.

Вот несколько причин, по которым происходят такие изменения пикселей:

• Разрывы нормали поверхности: когда две поверхности встречаются под углом, например, на углу стены или краю коробки, это резкое изменение ориентации создает четкую границу на изображении.
• Разрывы глубины: они появляются там, где объекты находятся на разном расстоянии от камеры, создавая видимое разделение, которое помогает системе их различать.
• Изменения цвета или текстуры поверхности: это происходит, когда одна область имеет другой цвет или текстуру по сравнению с соседней, что создает видимое разделение.
• Изменения освещения: это возникает из-за перемен в освещении, включая тени или блики на поверхностях, создавая видимые разделения, даже если сами поверхности гладкие или непрерывные.

Рис. 2. Различные типы разрывов границ на изображениях. (Источник)

Link to this sectionКак работает распознавание при обнаружении границ#

Обнаружение границ обычно начинается с преобразования цветного изображения в полутоновое, чтобы каждая точка показывала только яркость. Это упрощает алгоритму задачу фокусировки на различиях в светлых и темных участках вместо цвета.

Затем специальные фильтры сканируют изображение, чтобы найти места, где яркость меняется внезапно. Эти фильтры вычисляют крутизну изменения яркости, называемую градиентом. Более высокий градиент вызван большей разницей между соседними точками, что часто сигнализирует о границе.

После этого алгоритм продолжает уточнять изображение, удаляя мелкие детали и оставляя только самые важные линии и формы. Результатом является четкий контур и выходное изображение, которые можно использовать для дальнейшего анализа.

Link to this sectionЭволюция обнаружения границ и обработки изображений#

Прежде чем мы подробнее углубимся в обнаружение границ, давай обсудим, как оно развивалось со временем.

Обработка изображений началась с простых, основанных на правилах методов, таких как пороговая обработка и фильтрация, для очистки и улучшения снимков. В аналоговую эпоху это означало работу с фотографиями или пленкой с использованием оптических фильтров, увеличительных стекол или химической обработки для выявления деталей.

Такие методы, как регулировка контраста, подавление шума, настройка интенсивности изображения и базовое обнаружение границ, помогали сделать входные изображения более четкими и выделить формы и текстуры. В 1960-х и 70-х годах переход от аналоговой к цифровой обработке открыл путь для современного анализа в таких областях, как астрономия, медицинская визуализация и спутниковый мониторинг.

К 1980-м и 90-м годам более быстрые компьютеры позволили решать более сложные задачи, такие как извлечение признаков, обнаружение форм и базовое распознавание объектов. Алгоритмы, такие как оператор Собеля и алгоритм Кэнни, предложили более точное обнаружение границ, в то время как распознавание образов нашло применение везде — от промышленной автоматизации до чтения печатного текста с помощью оптического распознавания символов.

Link to this sectionОбнаружение границ и компьютерное зрение в XXI веке#

Сегодня постоянные технологические достижения привели к развитию компьютерного зрения. Vision AI, или компьютерное зрение, — это область ИИ, которая фокусируется на обучении машин интерпретации и пониманию визуальной информации.

В то время как традиционная обработка изображений, например двойная пороговая обработка (которая делает изображения более четкими, сохраняя сильные границы и удаляя слабые) и обнаружение границ, следовали фиксированным правилам и могли выполнять только специфические задачи, компьютерное зрение использует модели, управляемые данными, которые могут учиться на примерах и адаптироваться к новым ситуациям.

В наши дни системы визуализации выходят далеко за рамки простого улучшения изображений или обнаружения границ. Они могут распознавать объекты, отслеживать движение и понимать контекст целой сцены.

Один из ключевых методов, делающих это возможным, — свертка. Операция свертки — это процесс, при котором маленькие фильтры (также называемые ядрами) сканируют изображение для поиска важных паттернов, таких как границы, углы и текстуры. Эти паттерны становятся строительными блоками, которые модели компьютерного зрения используют для распознавания и понимания объектов.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, используют эти признаки, основанные на свертке, для выполнения продвинутых задач, таких как сегментация экземпляров. Это тесно связано с обнаружением границ, поскольку сегментация экземпляров требует точного оконтуривания границ каждого объекта на изображении.

В то время как обнаружение границ фокусируется на поиске изменений интенсивности в граничных пикселях для разметки краев объекта, сегментация экземпляров развивает эту идею, чтобы обнаруживать границы, классифицировать и разделять каждый объект на его собственную область.

Рис. 3. Взгляд на использование YOLO11 и сегментации экземпляров. (Источник)

Link to this sectionАлгоритмы и подходы к обнаружению границ#

Даже с ростом компьютерного зрения обработка изображений остается важной частью многих приложений. Это связано с тем, что компьютерное зрение часто строится на базовых этапах предварительной обработки изображений.

Перед обнаружением объектов или пониманием сцены системы обычно очищают изображение, снижают шум и находят границы, чтобы выделить ключевые детали. Эти шаги делают продвинутые модели более точными и эффективными.

Далее давай рассмотрим некоторые из наиболее распространенных алгоритмов обработки изображений, используемых для обнаружения границ, и то, как они работают.

Link to this sectionОбнаружение границ Собеля#

Обнаружение границ Собеля — это ключевой метод, используемый для поиска контуров объектов на изображении. Вместо анализа каждой детали сразу, он фокусируется на областях, где яркость резко меняется от одного пикселя к соседнему.

Эти внезапные сдвиги обычно отмечают точку, где один объект заканчивается и начинается другой, или где объект встречается с фоном. Выделяя эти границы, Собель преобразует сложное изображение в более чистый контур, который проще обрабатывать другим системам для таких задач, как отслеживание движения, обнаружение форм или распознавание объектов.

Ты можешь представить обнаружение границ Собеля как детектор градиента, который измеряет изменение интенсивности по изображению. По своей сути это работает через операцию свертки: сдвиг маленьких матриц, называемых ядрами, по изображению и вычисление взвешенных сумм значений соседних пикселей.

Эти ядра разработаны так, чтобы подчеркивать изменения яркости в горизонтальном и вертикальном направлениях. В отличие от моделей глубокого обучения, где ядра обучаются на данных, Собель использует фиксированные ядра для эффективного выделения границ без необходимости обучения.

Вот более детальный взгляд на то, как работает метод обнаружения границ Собеля:

• Использование двух фильтров 3×3: этот метод использует две крошечные сетки 3×3, называемые фильтрами. Думай о них как о трафаретах, которые скользят по изображению в горизонтальном (x-направление) и вертикальном направлениях (y-направление). Одна сетка предназначена для поиска горизонтальных границ, а другая — для вертикальных.
• Вычисление градиента: каждый фильтр находит скорость изменения яркости и направление градиента. Большое изменение означает возможную границу.
• Объединение результатов: результаты по горизонтали и вертикали объединяются для определения общей силы границы и направления в каждом пикселе.
• Обнаружение границ: пиксели с высокой величиной градиента помечаются как сильные границы.
• Очерчивание границ: эти границы помогают определить формы объектов и разделить различные области на изображении.

Рис. 4. Обнаружение границ Собеля может выделить основные контуры входного изображения и создать карту границ. (Источник)

Link to this sectionОбнаружение границ Кэнни#

Обнаружение границ Кэнни — еще один популярный метод поиска границ на изображении. Он известен созданием четких и точных контуров. В отличие от базовых методов обнаружения границ, он следует ряду тщательно разработанных шагов для фильтрации шума, заострения границ и фокусировки на наиболее важных краях.

Вот краткий обзор того, как работает детектор границ Кэнни:

• Сглаживание изображения: изображение сначала размывается с помощью фильтра Гаусса, метода сглаживания, который снижает шум и мелкие детали, которые можно принять за границы.
• Обнаружение изменений яркости: затем алгоритм сканирует изображение на наличие резких изменений яркости, используя вычисления градиента для измерения силы и направления этих изменений.
• Утончение границ: сохраняются только самые сильные точки вдоль каждой обнаруженной линии, а более слабые точки удаляются, что приводит к четким и чистым краям.
• Классификация границ: каждый пиксель помечается как сильный, слабый или не являющийся границей, основываясь на пороговых значениях изменения яркости.
• Финальная очистка: слабые границы, соединенные с сильными, сохраняются; все остальные отбрасываются, оставляя только четкие и связанные границы.

Рис. 5. Исходное изображение и соответствующее выходное изображение после использования детектора границ Кэнни. (Источник)

Поскольку он обеспечивает точные результаты, фильтруя шум, обнаружение границ Кэнни широко используется в областях, где важна точность. Например, он применяется в таких индустриях, как медицинская визуализация, спутниковое картографирование, сканирование документов и роботизированное зрение.

Link to this sectionГрадиентные методы против Гауссовых методов обнаружения границ#

Пока что двумя примерами обнаружения границ, которые мы рассмотрели, были Собель и Кэнни. Хотя оба они нацелены на поиск границ, они подходят к проблеме по-разному.

Градиентные методы (такие как Собель, Прюитт и Шарр) обнаруживают границы, ища резкие изменения яркости, известные как градиент. Они сканируют изображение и отмечают места, где это изменение наиболее сильное. Эти методы просты, быстры и хорошо работают с четкими изображениями. Однако они чувствительны к шуму — крошечные вариации яркости можно ошибочно принять за границы.

Гауссовы методы (такие как Кэнни или Лапласиан Гаусса) добавляют дополнительный шаг для решения этой проблемы: сначала размывают изображение. Это сглаживание, часто выполняемое с помощью фильтра Гаусса, уменьшает небольшие вариации, которые могут создать ложные границы. После сглаживания эти методы все равно ищут резкие изменения яркости, но результаты получаются более чистыми и точными для зашумленных изображений или изображений низкого качества.

Рис. 6. Градиентные методы против Гауссовых методов обнаружения границ. Изображение автора.

Link to this sectionРеальные применения обнаружения границ#

Получив лучшее понимание того, как работает обнаружение границ, давай исследуем, как оно применяется в реальных ситуациях.

Link to this sectionИспользование обнаружения границ для выявления трещин#

Инспекция крупных бетонных конструкций, таких как мосты и высотные здания, часто является сложной и опасной задачей. Эти сооружения могут простираться на большие расстояния или достигать значительной высоты, что делает традиционные инспекции медленными, дорогими и рискованными. Такие проверки также обычно требуют использования строительных лесов, промышленного альпинизма, ручных измерений вблизи или фотосъемки.

Интересный подход был исследован в 2019 году, когда исследователи протестировали более безопасный и быстрый метод с использованием дронов, оснащенных камерами высокого разрешения для захвата детальных входных изображений бетонных поверхностей. Затем эти изображения обрабатывались различными методами обнаружения границ для автоматического выявления трещин.

Исследование показало, что этот метод значительно снизил потребность в прямом доступе человека к опасным зонам и ускорил проверки. Однако точность все еще зависела от таких факторов, как условия освещения, четкость изображения и стабильность работы дрона. В некоторых случаях все еще требовался просмотр человеком для устранения ложноположительных результатов.

Link to this sectionПрименение обнаружения границ в медицинской визуализации#

Рентгеновские снимки и МРТ часто содержат визуальные помехи, известные как шум, которые могут затруднить рассмотрение мелких деталей. Это становится проблемой для врачей, когда они пытаются заметить края опухоли, проследить контур органа или отслеживать тонкие изменения во времени.

Недавнее исследование медицинской визуализации протестировало, насколько хорошо распространенные методы обнаружения границ, такие как Собель, Кэнни, Прюитт и Лапласиан, справляются с зашумленными изображениями. Исследователи добавили различные типы и уровни шума к изображениям и проверили, насколько точно каждый метод может очертить важные признаки.

Кэнни обычно создавал самые чистые границы, даже при сильном шуме, но он не был лучшим в каждом случае. Некоторые методы работали лучше с определенными типами шума, так что единого идеального решения нет.

Рис. 7. Кэнни (d–f) обеспечивает более четкие границы, чем Собель (g–i), по мере увеличения уровня шума. (Источник)

Это подчеркивает, почему такие технологии, как компьютерное зрение, так важны. Комбинируя продвинутые алгоритмы и модели ИИ компьютерного зрения, такие решения могут выйти за рамки базового обнаружения границ, чтобы обеспечить более точные и надежные результаты даже в сложных условиях.

Link to this sectionПлюсы обнаружения границ#

Вот некоторые из преимуществ использования обнаружения границ и обработки изображений:

• Лучшее сжатие данных: обнаружение границ позволяет представлять изображения только с помощью ключевых признаков, уменьшая размер файла при сохранении важной информации. Это делает хранение и передачу более эффективными.
• Более точная локализация объектов: точно определяя границы объектов, обнаружение границ улучшает способность систем находить и отслеживать объекты, что приносит пользу таким приложениям, как ИИ в робототехнике и автономные транспортные средства.
• Обнаружение признаков в разных масштабах: методы обнаружения границ могут анализировать изображения в разных масштабах, фиксируя как мелкие детали, так и более крупные формы. Эта гибкость полезна для широкого круга задач: от анализа текстур до понимания сцены.

Link to this sectionОграничения использования обработки изображений для обнаружения границ#

Хотя у обнаружения границ в обработке изображений есть много преимуществ, оно также сопряжено с рядом проблем. Вот ключевые ограничения, которые стоит учитывать:

• Проблемы со сложными текстурами: на изображениях со сложными или повторяющимися паттернами обнаружение границ часто выдает много ложных или неактуальных границ, что усложняет дальнейший анализ и снижает надежность.
• Чувствительность к освещению: колебания яркости, тени и блики могут привести к тому, что детекторы границ интерпретируют изменения освещения как границы объектов, что ведет к противоречивым результатам.
• Отсутствие идентификации объектов: хотя границы подсвечивают, где объекты начинаются и заканчиваются, они не показывают, что это за объекты. Требуется дополнительная обработка, чтобы присвоить обнаруженным границам смысл или метки.

Link to this sectionКогда компьютерное зрение может быть использовано для обнаружения границ#

Обнаружение границ вдохновлено тем, как наши глаза и мозг работают вместе, чтобы осмыслить мир. Что касается человеческого зрения, специализированные нейроны в зрительной коре высокочувствительны к границам, линиям и контурам.

Эти визуальные подсказки помогают нам быстро определять, где заканчивается один объект и начинается другой. Именно поэтому даже простой линейный рисунок мгновенно узнаваем — наш мозг сильно полагается на границы при идентификации форм и объектов.

Компьютерное зрение стремится имитировать эту способность, но идет еще дальше. Модели, такие как Ultralytics YOLO11, выходят за рамки простого подсвета границ и улучшения изображения. Они могут обнаруживать объекты, оконтуривать их с точностью и отслеживать движение в реальном времени. Этот более глубокий уровень понимания делает их необходимыми в сценариях, где одного обнаружения границ недостаточно.

Link to this sectionИспользование Ultralytics YOLO11 для более точного обнаружения границ#

Вот несколько ключевых задач компьютерного зрения, поддерживаемых YOLO11, которые развивают обнаружение границ и выходят за его рамки:

• Обнаружение объектов: система идентифицирует и локализует множество объектов на изображении или видео, рисуя ограничивающие рамки (bounding boxes) вокруг каждого из них, давая четкое представление о том, что присутствует и где расположен каждый объект.
• Сегментация экземпляров: это включает разбивку объектов до уровня пикселей, создание четких и точных контуров даже в тех случаях, когда объекты перекрываются или имеют нерегулярные формы.
• Оценка позы: твоя цель здесь — определить положение, ориентацию или позу объекта или человека, что помогает в отслеживании движений или обнаружении структурных изменений с течением времени.
• Отслеживание объектов: эта задача позволяет следить за объектом по мере его перемещения между кадрами видео, обеспечивая его последовательную идентификацию для точного долгосрочного наблюдения.
• Классификация изображений: она присваивает метки объектам или целым изображениям на основе их визуальных характеристик, что упрощает организацию и интерпретацию больших наборов данных.

Link to this sectionОбнаружение границ в инфраструктуре с помощью компьютерного зрения#

Хорошим примером того, как компьютерное зрение улучшает приложения, традиционно полагавшиеся на обнаружение границ, является выявление трещин в инфраструктуре и промышленных объектах. Модели компьютерного зрения, такие как YOLO11, можно обучить точно распознавать трещины на дорогах, мостах и трубопроводах. Эту же технику можно применять при техническом обслуживании воздушных судов, проверке зданий и контроле качества на производстве, что помогает ускорить проверки и повысить безопасность.

Рис. 8. Пример использования YOLO11 для сегментации трещин. (Источник)

Link to this sectionОсновные выводы#

Обнаружение границ прошло долгий путь — от простых ранних методов до передовых технологий, способных заметить даже едва заметные контуры на сложных изображениях. Это помогает проявить важные детали, выделить ключевые области и подготовить изображения к более глубокому анализу, что делает этот процесс основой обработки изображений.

В компьютерном зрении обнаружение границ играет важную роль в определении форм, разделении объектов и извлечении полезной информации. Оно используется во многих областях, таких как медицинская визуализация, промышленные инспекции, автономное вождение и системы безопасности, обеспечивая точное и надежное понимание визуальных данных.

Присоединяйся к нашему сообществу и изучи наш репозиторий GitHub, чтобы узнать больше об ИИ. Если ты хочешь начать свой собственный проект в области компьютерного зрения, ознакомься с нашими вариантами лицензирования. Узнай больше о таких направлениях, как ИИ в здравоохранении и ИИ в ритейле, посетив страницы наших решений.