Что такое пороговая обработка в компьютерном зрении?

Чтобы наглядно ознакомиться с концепциями, описанными в этой статье, посмотри видео ниже.

Мы, люди, воспринимаем изображения как связные и осмысленные картинки, в то время как компьютеры видят их как сетки крошечных пикселей — мельчайших компонентов цифрового изображения. В процессе, называемом обработкой изображений, эти пиксели можно настраивать или анализировать для улучшения изображения и извлечения полезной информации.

Распространенным методом обработки изображений является пороговая обработка. Этот метод преобразует изображения в градациях серого (где каждый пиксель представляет собой оттенок серого) в черно-белые путем сравнения каждого пикселя с заданным значением. Это создает четкое разделение между важными областями и фоном.

Пороговая обработка часто используется в сегментации изображений — методе, который разделяет изображение на значимые области для облегчения анализа. Обычно это один из первых шагов, помогающих машинам интерпретировать визуальные данные. В этой статье мы рассмотрим, что такое пороговая обработка, как она работает и где применяется в реальных сценариях. Давай начнем!

Link to this sectionОсновные термины пороговой обработки изображений#

Прежде чем мы погрузимся в то, как работает пороговая обработка, давай сначала подробнее рассмотрим базовые идеи, лежащие в ее основе, и то, как она используется в обработке изображений.

Link to this sectionПорог бинарного изображения#

Допустим, ты работаешь с изображением и хочешь отделить объекты на нем от фона. Один из способов сделать это — пороговая обработка. Она упрощает изображение так, что каждый пиксель становится либо полностью черным, либо полностью белым. Результатом является бинарное изображение, где каждый пиксель имеет значение 0 (черный) или 255 (белый). Этот шаг часто полезен при обработке изображений, потому что он позволяет четко выделить важные части изображения.

Рис. 1. Изображение в градациях серого и его бинарный результат после пороговой обработки. (Источник: blog.devops.dev)

Link to this sectionГистограмма#

Аналогично, если ты хочешь понять, как значения яркости распределены по изображению, поможет гистограмма. Это график, показывающий, как часто встречается каждая интенсивность пикселя, от черного (0) до белого (255).

Глядя на гистограмму, ты можешь увидеть, является ли изображение темным, ярким или чем-то средним. Это облегчает выбор хорошего порогового значения при переводе изображения в черно-белый формат, так как ты можешь с первого взгляда заметить закономерности и уровни контрастности.

Link to this sectionПередний план и фон#

После того как к изображению применена пороговая обработка, оно делится на две части: передний план и фон. Передний план, обычно отображаемый белым цветом, выделяет важные элементы, такие как текст, фигуры или объекты, которые ты хочешь обнаружить. Фон, отображаемый черным, — это все остальное. Такое разделение помогает машинам сосредоточиться на том, что важно на изображении.

Link to this sectionСегментация#

Как упоминалось ранее, сегментация делит изображение на значимые области на основе таких характеристик, как яркость или текстура. Пороговая обработка — это простой способ сделать это, и она часто является одним из первых шагов в конвейере компьютерного зрения.

Компьютерное зрение — это область ИИ, которая позволяет машинам обрабатывать и интерпретировать визуальные данные так же, как это делают люди. Используя пороговую обработку на раннем этапе, системы компьютерного зрения могут отделять объекты от фона, облегчая точное выполнение последующих шагов, таких как обнаружение или распознавание.

Link to this sectionГлобальная пороговая обработка#

Теперь, когда у нас есть лучшее понимание того, что такое пороговая обработка, давай разберем, как порогово обработать изображение, и изучим различные типы пороговой обработки в обработке изображений.

Например, глобальная пороговая обработка — один из самых простых способов создания бинарного изображения. Она применяет единое значение интенсивности ко всему изображению. Пиксели, которые ярче этого порога, становятся белыми, а более темные — черными. Это помогает отделить объект от фона.

Это лучше всего работает, когда изображение имеет равномерное освещение и высокий контраст. Однако при неравномерном освещении или в областях с низким контрастом один порог может упустить детали или размыть края.

Для решения этой проблемы используются методы, такие как пороговая обработка Оцу. Вместо того чтобы устанавливать значение вручную, метод Оцу для пороговой обработки анализирует гистограмму изображения и выбирает порог, который наилучшим образом разделяет интенсивности пикселей на передний план и фон.

Рис. 2. Изображение Сатурна до и после применения пороговой обработки Оцу. (Источник)

Link to this sectionЛокальная (адаптивная) пороговая обработка#

В отличие от глобальной, адаптивная или локальная пороговая обработка вычисляет пороговое значение отдельно для разных частей изображения. Это делает ее более эффективной для изображений с неравномерным освещением, таких как отсканированные документы с тенями или текстурированными поверхностями.

Она работает путем разделения изображения на небольшие области и вычисления локального порога для каждого блока, что помогает поддерживать контраст между передним планом и фоном. Этот подход широко используется в таких задачах, как распознавание текста, медицинская визуализация и проверка поверхностей, где освещение варьируется по всему изображению.

Некоторые распространенные подходы к адаптивной пороговой обработке включают адаптивную пороговую обработку по среднему значению и адаптивную пороговую обработку по Гауссу. В адаптивной пороговой обработке по среднему значению в качестве порога для центрального пикселя используется средняя интенсивность пикселей в локальной окрестности. Адаптивная пороговая обработка по Гауссу, с другой стороны, использует взвешенное среднее с гауссовым окном, придавая большее значение пикселям, расположенным ближе к центру.

Link to this sectionРеальные применения пороговой обработки в обработке изображений#

Далее давай рассмотрим, где пороговая обработка изображений используется в реальных приложениях.

Link to this sectionПороговая обработка изображений для бинаризации документов и OCR#

Старые книги и рукописные письма часто сканируют для их сохранения или преобразования в цифровой текст с помощью OCR (оптического распознавания символов) — технологии, которая читает печатные или рукописные символы. Перед тем как текст можно будет извлечь, документ обычно нуждается в очистке или предварительной обработке. Отсканированные изображения часто имеют тени, выцветшие чернила или неравномерное освещение, что может затруднить распознавание символов.

Для улучшения четкости используется пороговая обработка, чтобы преобразовать изображения в градациях серого в бинарный формат, помогая изолировать текст от фона. Более темные области, такие как буквы, становятся черными, а более светлый фон превращается в белый, что значительно облегчает чтение текста для систем OCR.

Рис. 3. Пример исторического документа и его порогово обработанного изображения. (Источник)

Link to this sectionИспользование пороговой обработки в медицинской обработке изображений#

Аналогично, в медицинской визуализации пороговая обработка обычно используется для изоляции конкретных структур на сканах, таких как кости или легкие на рентгеновских снимках. Преобразуя изображения в градациях серого в бинарный формат, становится проще отделить интересующие области от окружающих тканей и подготовить изображение для дальнейшего анализа. В более сложных случаях можно применить многоуровневую пороговую обработку, чтобы разделить изображение на несколько различных областей, позволяя одновременно идентифицировать разные типы тканей или структур.

Рис. 4. Использование методов многоуровневой пороговой обработки на рентгеновских снимках грудной клетки. (Источник: sciencedirect.com)

Link to this sectionПлюсы и минусы пороговой обработки в обработке изображений#

Вот некоторые из ключевых преимуществ использования пороговой обработки в обработке изображений:

• Экономия ресурсов: Пороговая обработка хорошо работает на устройствах с низким энергопотреблением и не требует доступа к облаку или высокопроизводительному оборудованию, что делает ее подходящей для встраиваемых систем и автономных установок.
• Легкость интерпретации: Простая логика делает результаты пороговой обработки понятными и легкими для отладки, что крайне важно в таких областях, как здравоохранение или обработка документов, где важна прозрачность.
• Быстрое тестирование: Пороговая обработка позволяет командам быстро исследовать идеи сегментации на ранних этапах проектов, прежде чем переходить к более сложным моделям.

Хотя пороговая обработка изображений полезна во многих сценариях, она также имеет определенные ограничения. Вот некоторые связанные с ней проблемы, которые стоит учитывать:

• Отсутствие адаптивности: Пороговая обработка следует фиксированным правилам и не подстраивается под новые условия освещения или изменения в данных без ручной настройки.
• Чувствительность к шуму: Небольшие изменения яркости из-за теней или бликов могут исказить результаты, особенно при работе с детализированными или текстурированными изображениями.
• Статичность и ориентация на правила: В отличие от ИИ-моделей, пороговая обработка не обучается на данных и не улучшается со временем. Она работает только в узких условиях, для которых была разработана.

Link to this sectionЗа пределами пороговой обработки: Когда компьютерное зрение является подходящим инструментом#

Пороговая обработка хорошо работает для простых задач сегментации в контролируемых условиях. Однако она часто сталкивается с трудностями при работе со сложными изображениями, имеющими несколько объектов или фоновый шум. Поскольку она опирается на фиксированные правила, пороговой обработке не хватает гибкости, необходимой для большинства реальных приложений.

Чтобы выйти за рамки этих ограничений, многие передовые системы сейчас используют компьютерное зрение. В отличие от пороговой обработки, Vision AI модели обучаются обнаруживать сложные закономерности и признаки, что делает их гораздо более точными и адаптируемыми.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, могут обнаруживать объекты и сегментировать изображения в реальном времени. Это делает их идеальными для таких задач, как распознавание дорожных сигналов в автономных транспортных средствах или выявление проблем с урожаем в сельском хозяйстве.

В частности, YOLO11 поддерживает ряд задач компьютерного зрения, таких как сегментация экземпляров, где каждый объект на изображении сегментируется отдельно. Она также может выполнять другие задачи на основе зрения, включая оценку позы (определение положения или осанки объекта) и отслеживание объектов (сопровождение объекта по мере его перемещения между кадрами видео).

Рис. 5. YOLO11 упрощает обнаружение и сегментацию объектов. (Источник)

Хотя пороговая обработка хорошо подходит для простых задач или тестирования ранних идей, приложения, требующие скорости, точности и гибкости, обычно лучше обрабатываются с помощью компьютерного зрения.

Link to this sectionОсновные выводы#

Пороговая обработка является важным инструментом в обработке изображений, потому что она быстрая и простая в использовании для отделения объектов от фона. Она хорошо работает с отсканированными документами, медицинскими изображениями и проверкой дефектов продукции на фабриках.

Однако, по мере того как изображения и видео становятся более сложными, базовые методы обработки изображений, такие как пороговая обработка, могут не справляться. Именно здесь на помощь приходят продвинутые модели компьютерного зрения. Модели, такие как YOLO11, могут понимать и выполнять больше задач, обнаруживать много объектов одновременно и работать в реальном времени, что делает их полезными для многих случаев использования.

Хочешь узнать больше об ИИ? Загляни в наше сообщество и репозиторий GitHub. Изучи наши страницы решений, чтобы узнать об ИИ в робототехнике и компьютерном зрении в сельском хозяйстве. Ознакомься с нашими вариантами лицензирования и начни создавать решения с помощью компьютерного зрения уже сегодня!