Использование самообучения для шумоподавления изображений

Изображения — это часть нашей повседневной жизни, от фотографий, которые мы делаем, до видео, записанных камерами в общественных местах. Они содержат важную информацию, а передовые технологии позволяют анализировать и интерпретировать эти данные.

В частности, computer vision, ветвь искусственного интеллекта (ИИ), позволяет машинам обрабатывать визуальную информацию и понимать то, что они видят, во многом так же, как это делают люди. Однако в реальных приложениях изображения часто далеки от совершенства.

Шум на изображении, вызванный дождем, пылью, слабым освещением или ограничениями сенсора, может скрывать важные детали, затрудняя для Vision AI models обнаружение объектов или точную интерпретацию сцен. Шумоподавление изображений помогает уменьшить этот шум, позволяя моделям Vision AI видеть детали более четко и делать лучшие предсказания.

Рис. 1. Пример шумоподавления изображения. (Source)

Традиционно шумоподавление опиралось на обучение с учителем, где модели тренируются на парах зашумленных и чистых изображений, чтобы научиться удалять шум. Однако сбор идеально чистых эталонных изображений не всегда практичен.

Для решения этой задачи исследователи разработали self-supervised средства шумоподавления изображений. Они стремятся обучить модели ИИ учиться непосредственно на данных, создавая собственные сигналы обучения для удаления шума и сохранения важных деталей без необходимости в чистых эталонных изображениях.

В этой статье мы подробно рассмотрим самообучающиеся шумоподавители, принцип их работы, основные техники, лежащие в их основе, и примеры применения в реальности. Давай начнем!

Что такое самообучающееся шумоподавление изображений?#

Зашумленные изображения могут затруднить интерпретацию содержимого снимка для моделей Vision AI. Например, фотография, сделанная в условиях слабого освещения, может выглядеть зернистой или размытой, скрывая тонкие особенности, которые помогают модели точно определять объекты.

При шумоподавлении на основе supervised learning модели обучаются с использованием пар изображений (одно с шумом и одно чистое), чтобы научиться удалять нежелательный шум. Хотя этот подход работает хорошо, сбор абсолютно чистых эталонных данных часто отнимает много времени и сложен в реальных сценариях.

Именно поэтому исследователи обратились к самообучающемуся шумоподавлению. Этот метод базируется на концепции самообучения (self-supervised learning), где модели обучаются самостоятельно, создавая свои собственные сигналы обучения из имеющихся данных.

Поскольку этот метод не зависит от больших наборов размеченных данных, самообучающееся шумоподавление быстрее, лучше масштабируется и его проще применять в таких областях, как ночная фотосъемка, медицинская визуализация и анализ спутниковых снимков, где чистые эталонные изображения часто недоступны.

Вместо того чтобы полагаться на чистые эталонные изображения, этот подход тренируется непосредственно на зашумленных данных, предсказывая замаскированные пиксели или восстанавливая недостающие части. В процессе обучения модель учится отличать значимые детали изображения от случайного шума, что приводит к более четким и точным результатам.

Хотя это может казаться похожим на unsupervised learning, обучение с самоконтролем на самом деле является его частным случаем. Ключевое отличие заключается в том, что при обучении с самоконтролем модель создает собственные метки или обучающие сигналы из данных для решения конкретной задачи. В отличие от этого, неконтролируемое обучение фокусируется на поиске скрытых закономерностей или структур в данных без какой-либо явной задачи или предопределенной цели.

Стратегии обучения в самообучающемся шумоподавлении#

В контексте самообучающегося шумоподавления существует несколько способов организации обучения. Некоторые модели заполняют замаскированные или отсутствующие пиксели, в то время как другие сравнивают несколько зашумленных версий одного и того же изображения для поиска согласованных деталей.

Например, популярный метод, известный как «обучение со слепыми зонами» (blind-spot learning), фокусируется на тренировке модели шумоподавления таким образом, чтобы она игнорировала пиксель, который реконструирует, и опиралась на окружающий контекст. Со временем модель восстанавливает высококачественные изображения, сохраняя при этом важные текстуры, края и цвета.

Как работает самообучение для удаления шума#

Далее мы разберем процесс того, как самообучение удаляет шум.

Процесс самообучающегося шумоподавления обычно начинается с подачи зашумленных изображений в модель. Модель анализирует соседние пиксели, чтобы оценить, как должен выглядеть каждый неясный или замаскированный пиксель, постепенно учась различать шум и реальные визуальные детали.

Представь себе изображение темного зернистого неба. Модель анализирует соседние звезды и окружающие узоры, чтобы предсказать, как должен выглядеть каждый зашумленный фрагмент без шума. Повторяя этот процесс по всему изображению, она учится отделять случайный шум от значимых особенностей, создавая более четкий и точный результат.

Другими словами, модель предсказывает более чистую версию изображения на основе контекста, не нуждаясь в идеально чистом эталоне. Этот процесс может быть реализован с использованием различных типов моделей, каждая из которых имеет свои уникальные сильные стороны в борьбе с шумом.

Типы моделей, используемых для самообучающегося подавления шума#

Вот краткий обзор типов моделей, обычно используемых для самообучающегося шумоподавления:

• Convolutional Neural Networks (CNNs): СвН — это модели глубокого обучения, предназначенные для распознавания образов в небольших областях изображения. Они сканируют изображения с помощью фильтров для обнаружения границ, форм и текстур. При шумоподавлении с самоконтролем они часто используют методы слепых зон, где целевой пиксель исключается из входных данных, чтобы модель предсказывала его значение только на основе окружающих пикселей. Это помогает модели избегать копирования шума и вместо этого выводить более чистые детали.
• Автокодировщики: Автокодировщики — это нейронные сети, которые учатся сжимать и реконструировать данные. Сначала они сжимают изображение в более компактное представление (кодирование), а затем восстанавливают его (декодирование). В процессе они учатся захватывать важные визуальные признаки, такие как фигуры и текстуры, отфильтровывая при этом случайный шум и нерелевантные детали.
• Модели на базе Transformer: Трансформеры — это модели, изначально разработанные для обработки естественного языка, но сейчас широко используемые для задач зрения. Они обрабатывают все изображение сразу, изучая взаимосвязи между различными областями. Эта глобальная перспектива позволяет им сохранять тонкие детали и структурную согласованность даже на сложных изображениях или изображениях высокого разрешения.

Рис. 2. Обзор архитектуры на основе CNN, используемой для шумоподавления изображений с самоконтролем. (Source)

Обучение этих моделей на изображениях, сделанных при разном освещении и настройках ISO, помогает им эффективно работать во многих реальных ситуациях. В цифровых камерах настройки ISO регулируют, насколько сильно камера осветляет изображение, усиливая принимаемый сигнал.

Более высокое значение ISO делает фотографии ярче в темных местах, но также увеличивает шум и снижает детализацию. Учась на изображениях, снятых при разных уровнях ISO, модели лучше отличают реальные детали от шума, что приводит к более четким и точным результатам.

Как шумоподавитель узнает, что является шумом, а что — реальностью?#

Шумоподавители учатся отличать шум от реальных деталей изображения с помощью различных методов обучения, которые отделены от типов моделей. Типы моделей, такие как CNN, автокодировщики и трансформеры, описывают структуру сети и то, как она обрабатывает визуальную информацию.

Методы обучения, с другой стороны, определяют, как именно модель обучается. Некоторые методы используют контекстное предсказание, где модель заполняет отсутствующие или замаскированные пиксели, используя информацию из соседних областей.

Другие используют обучение на основе реконструкции, где модель сжимает изображение в более простую форму, а затем восстанавливает его, помогая ей распознавать значимые структуры, такие как края и текстуры, отфильтровывая при этом случайный шум.

В совокупности тип модели и метод обучения определяют, насколько эффективно шумоподавитель справляется с очисткой изображений. Комбинируя подходящую архитектуру с верным подходом к обучению, самообучающиеся шумоподавители могут адаптироваться ко многим видам шума и создавать более четкие и точные изображения даже без чистых эталонных данных.

Ключевые техники самообучающегося шумоподавления с ИИ#

Вот некоторые из наиболее широко используемых методов обучения, которые обеспечивают эффективное самообучающееся шумоподавление:

• Noise2Noise: Этот метод тренирует модель с использованием двух зашумленных версий одного и того же изображения. Поскольку шум в каждой версии случаен, модель учится фокусироваться на согласованных деталях, представляющих реальное изображение, и игнорировать шум. Это работает лучше всего, когда доступны несколько зашумленных снимков одной и той же сцены, например, при серийной фотосъемке или в медицинской и научной визуализации.
• Noise2Void или Noise2Self: Эти техники обучаются на одном зашумленном изображении путем скрытия (маскирования) пикселя и запроса к модели предсказать его значение на основе окружающих пикселей. Это предотвращает простое копирование шумных данных и помогает модели изучить естественную структуру изображений. Они особенно полезны, когда доступно только одно зашумленное изображение, например, в микроскопии, астрономии или при съемке в условиях низкой освещенности.
• Сети со слепыми зонами (Blind-spot networks): Они специально спроектированы так, чтобы модель не видела пиксель, который она реконструирует. Вместо этого она опирается на информацию из окружающей области, чтобы оценить, как должен выглядеть этот пиксель. Это делает удаление шума более точным и объективным, и их часто сочетают с методами Noise2Void или Noise2Self в задачах попиксельного шумоподавления.
• Masked Autoencoders (MAE): В этом подходе части изображения скрываются, и модель учится восстанавливать недостающие области. Благодаря этому она изучает как тонкие детали, так и общую структуру, помогая ей отличать реальный контент от шума. Маскированные автокодировщики особенно эффективны для изображений высокого разрешения или сложных сцен, где понимание более широкого контекста улучшает восстановление.

Оценка систем шумоподавления#

Шумоподавление — это тонкий баланс между двумя целями: уменьшением шума и сохранением мелких деталей. Слишком сильное шумоподавление может сделать изображение мягким или размытым, а слишком слабое может оставить нежелательное зерно или артефакты.

Чтобы понять, насколько хорошо модель находит этот баланс, исследователи используют метрики оценки, которые измеряют как четкость изображения, так и сохранение деталей. Эти показатели демонстрируют, насколько эффективно модель очищает изображение, не теряя при этом важную визуальную информацию.

Вот распространенные метрики оценки, которые помогают измерить качество изображения и эффективность шумоподавления:

• Среднеквадратическая ошибка (MSE): Она измеряет среднюю квадратичную разницу между исходным и очищенным изображениями. Она подчеркивает, насколько результат близок к оригиналу на уровне пикселей. Более низкие значения MSE означают меньше ошибок и более точный результат.
• Пиковое отношение сигнала к шуму (PSNR): Эта метрика сравнивает мощность сигнала исходного изображения с остаточным шумом, выраженную в децибелах. Она используется для проверки того, какая часть исходных деталей была сохранена после шумоподавления. Более высокие значения PSNR означают более четкие и качественные изображения.
• Индекс структурного сходства (SSIM): SSIM оценивает структуру, яркость и контрастность для оценки сходства между очищенным изображением и оригиналом. Она фокусируется на том, как изображения воспринимают люди, а не только на «сухих» числах. Более высокие баллы SSIM означают, что изображение выглядит более естественным и соответствует оригиналу.
• Метрики перцептивного качества: Эти метрики используют модели deep learning, чтобы оценивать, насколько реалистично и естественно выглядит изображение. Вместо сравнения отдельных пикселей они фокусируются на общем внешнем виде, текстуре и визуальном сходстве. В большинстве случаев более низкие оценки означают, что изображение выглядит ближе к оригиналу и более приятно для восприятия человеком.

Применение самообучающегося шумоподавления#

Теперь, когда у нас есть лучшее понимание того, что такое шумоподавление, давай рассмотрим, как самообучающееся шумоподавление применяется в реальных сценариях.

Использование самообучающегося шумоподавления в астрофотографии#

Сделать четкие фотографии звезд и галактик непросто. Ночное небо темное, поэтому камерам часто требуются длительные выдержки, что может привести к появлению нежелательного шума. Этот шум может размыть тонкие космические детали и сделать слабые сигналы трудными для обнаружения.

Традиционные инструменты шумоподавления могут помочь уменьшить шум, но они часто удаляют вместе с ним и важные детали. Самообучающееся шумоподавление предлагает более умную альтернативу. Учась непосредственно на зашумленных изображениях, модель ИИ может распознавать паттерны, представляющие реальные объекты, и отделять их от случайного шума.

Результатом являются гораздо более четкие изображения небесных объектов, таких как звезды, галактики и Солнце, раскрывающие тонкие детали, которые иначе могли бы остаться незамеченными. Это также позволяет улучшить мелкие астрономические особенности, повышая четкость изображения и делая данные более полезными для научных исследований.

Рис. 3. Шумоподавление изображений может улучшить снимки астрофотографии. (Source)

Самообучающееся шумоподавление для медицинской визуализации#

Медицинские сканы, такие как МРТ, КТ и микроскопические изображения, часто содержат шум, из-за которого мелкие детали становится труднее разглядеть. Это может стать проблемой, когда врачам нужно заметить ранние признаки заболевания или отследить изменения с течением времени.

Шум на изображении может возникнуть из-за движения пациента, низкого уровня сигнала или ограничений по дозе излучения. Чтобы сделать медицинские сканы более четкими, исследователи изучили методы самообучающегося шумоподавления, такие как Noise2Self и другие подобные подходы.

Эти модели тренируются непосредственно на зашумленных МРТ-сканах мозга, самостоятельно изучая паттерны шума и очищая их без необходимости в идеально чистых примерах. Обработанные изображения демонстрировали более четкие текстуры и улучшенную контрастность, что облегчает идентификацию мелких структур. Такие ИИ-шумоподавители оптимизируют рабочий процесс в диагностической визуализации и повышают эффективность анализа в реальном времени.

Рис. 4. Использование различных методов шумоподавления с самоконтролем на МРТ-сканах головного мозга. (Source)

Улучшение систем компьютерного зрения с помощью самообучающегося шумоподавления#

В большинстве случаев шумоподавление оказывает значительное влияние на широкий спектр приложений компьютерного зрения. Удаляя нежелательный шум и искажения, оно создает более чистые и стабильные входные данные для моделей Vision AI.

Более четкие изображения приводят к улучшению производительности в computer vision tasks, таких как обнаружение объектов, сегментация экземпляров и распознавание изображений. Вот несколько примеров приложений, где модели Vision AI, такие как Ultralytics YOLO11 и Ultralytics YOLO26, могут извлечь пользу из шумоподавления:

• Промышленная инспекция: Шумоподавление обеспечивает более точное обнаружение дефектов поверхности или аномалий в производственных условиях, что ведет к улучшению контроля качества.
• Автономное вождение и навигация: Это повышает точность обнаружения объектов и препятствий в сложных условиях, таких как слабое освещение, дождь или туман, повышая общую безопасность и надежность.
• Наблюдение и безопасность: Шумоподавление улучшает качество изображения в видеопотоках при низком освещении или сильном сжатии, позволяя лучше идентифицировать и отслеживать объекты или людей.
• Underwater imaging: Шумоподавление уменьшает рассеивание и искажение света, улучшая видимость и распознавание объектов в мутных подводных условиях.

Плюсы и минусы самообучающегося шумоподавления#

Вот несколько ключевых преимуществ использования самообучающегося шумоподавления в системах обработки изображений:

• Адаптивность к шуму: Методы самообучающегося шумоподавления могут обучаться непосредственно на зашумленных данных без необходимости использования парных чистых эталонов. Это делает их высокоадаптивными к широкому спектру реальных уровней и типов шума, таких как шум датчика, размытие при движении или воздействие внешней среды.
• Сохранение деталей: При хорошем проектировании эти модели сохраняют мелкие текстуры и края, которые необходимы для точной интерпретации изображения. Подходы, такие как сети со слепыми зонами и обучение на основе маскирования, помогают поддерживать структурную информацию, одновременно снижая уровень шума.
• Меньше предобработки: Учась отображать зашумленные входные данные в чистые представления, используя только доступные данные, модель минимизирует необходимость в ручной фильтрации, алгоритмах шумоподавления ручной работы или специально подобранных наборах данных.

Несмотря на свои преимущества, самообучающееся шумоподавление также имеет определенные ограничения. Вот несколько факторов, которые следует учитывать:

• Вычислительные требования: Глубокие нейронные архитектуры, используемые для шумоподавления с самоконтролем, особенно модели на базе трансформеров, могут требовать значительных computational power и ресурсов памяти по сравнению с традиционными методами фильтрации.
• Сложность проектирования моделей: Достижение оптимальных результатов требует тщательного выбора параметров модели, таких как стратегия маскирования и функция потерь, которые могут варьироваться в зависимости от типа шума.
• Проблемы оценки: Стандартные метрики качества изображения не всегда соответствуют тому, насколько естественным или реалистичным выглядит очищенное изображение, поэтому часто требуются визуальные проверки или тесты, специфичные для конкретной задачи.

Основные выводы#

Самообучающееся шумоподавление помогает моделям ИИ учиться непосредственно на зашумленных изображениях, создавая более четкие результаты при сохранении мелких деталей. Оно эффективно работает в самых разных сложных сценариях, таких как низкое освещение, высокие значения ISO и детальные изображения. По мере эволюции ИИ такие методы, вероятно, будут играть важную роль во многих приложениях компьютерного зрения.

Присоединяйся к our community и изучай наш GitHub repository, чтобы узнать больше об ИИ. Если ты хочешь создать собственный проект Vision AI, ознакомься с нашими licensing options. Узнай больше о таких приложениях, как AI in healthcare и Vision AI in retail, посетив страницы наших решений.