Использование самообучения для шумоподавления изображений

Изображения — это часть нашей повседневной жизни, от фотографий, которые мы делаем, до видео, записанных камерами в общественных местах. Они содержат важную информацию, а передовые технологии позволяют анализировать и интерпретировать эти данные.

В частности, computer vision, раздел искусственного интеллекта (ИИ), позволяет машинам обрабатывать визуальную информацию и понимать то, что они видят, подобно тому, как это делают люди. Однако в реальных задачах изображения часто далеки от идеала.

Шум на изображениях, вызванный дождем, пылью, недостаточным освещением или ограничениями датчиков, может скрывать важные детали, затрудняя для Vision AI models точное обнаружение объектов или интерпретацию сцен. Шумоподавление помогает уменьшить этот шум, позволяя моделям лучше видеть детали и делать более точные прогнозы.

Рис 1. Пример шумоподавления изображения. (Источник)

Традиционно шумоподавление опиралось на обучение с учителем, где модели тренируются на парах зашумленных и чистых изображений, чтобы научиться удалять шум. Однако сбор идеально чистых эталонных изображений не всегда практичен.

Чтобы справиться с этой задачей, исследователи разработали self-supervised шумоподавители. Их цель — обучить модели ИИ учиться непосредственно на самих данных, создавая собственные сигналы обучения для удаления шума и сохранения важных деталей без необходимости использования чистых эталонных изображений.

В этой статье мы подробно рассмотрим самообучающиеся шумоподавители, принцип их работы, основные техники, лежащие в их основе, и примеры применения в реальности. Давай начнем!

Link to this sectionЧто такое самообучающееся шумоподавление изображений?#

Зашумленные изображения могут затруднить интерпретацию содержимого снимка для моделей Vision AI. Например, фотография, сделанная в условиях слабого освещения, может выглядеть зернистой или размытой, скрывая тонкие особенности, которые помогают модели точно определять объекты.

При шумоподавлении на основе supervised learning модели обучаются на парах изображений, где одно является зашумленным, а другое чистым. Хотя этот подход работает хорошо, сбор идеально чистых эталонных данных часто требует много времени и сложен в реальных сценариях.

Именно поэтому исследователи обратились к самообучающемуся шумоподавлению. Этот метод базируется на концепции самообучения (self-supervised learning), где модели обучаются самостоятельно, создавая свои собственные сигналы обучения из имеющихся данных.

Поскольку этот метод не зависит от больших наборов размеченных данных, самообучающееся шумоподавление быстрее, лучше масштабируется и его проще применять в таких областях, как ночная фотосъемка, медицинская визуализация и анализ спутниковых снимков, где чистые эталонные изображения часто недоступны.

Вместо того чтобы полагаться на чистые эталонные изображения, этот подход тренируется непосредственно на зашумленных данных, предсказывая замаскированные пиксели или восстанавливая недостающие части. В процессе обучения модель учится отличать значимые детали изображения от случайного шума, что приводит к более четким и точным результатам.

Хотя это может показаться похожим на unsupervised learning, самообучение на самом деле является его частным случаем. Главное отличие заключается в том, что при самообучении модель создает свои собственные метки или сигналы обучения из данных для выполнения конкретной задачи. Напротив, обучение без учителя фокусируется на поиске скрытых паттернов или структур в данных без явной задачи или заранее определенной цели.

Link to this sectionСтратегии обучения в самообучающемся шумоподавлении#

В контексте самообучающегося шумоподавления существует несколько способов организации обучения. Некоторые модели заполняют замаскированные или отсутствующие пиксели, в то время как другие сравнивают несколько зашумленных версий одного и того же изображения для поиска согласованных деталей.

Например, популярный метод, известный как «обучение со слепыми зонами» (blind-spot learning), фокусируется на тренировке модели шумоподавления таким образом, чтобы она игнорировала пиксель, который реконструирует, и опиралась на окружающий контекст. Со временем модель восстанавливает высококачественные изображения, сохраняя при этом важные текстуры, края и цвета.

Link to this sectionКак работает самообучение для удаления шума#

Далее мы разберем процесс того, как самообучение удаляет шум.

Процесс самообучающегося шумоподавления обычно начинается с подачи зашумленных изображений в модель. Модель анализирует соседние пиксели, чтобы оценить, как должен выглядеть каждый неясный или замаскированный пиксель, постепенно учась различать шум и реальные визуальные детали.

Представь себе изображение темного зернистого неба. Модель анализирует соседние звезды и окружающие узоры, чтобы предсказать, как должен выглядеть каждый зашумленный фрагмент без шума. Повторяя этот процесс по всему изображению, она учится отделять случайный шум от значимых особенностей, создавая более четкий и точный результат.

Другими словами, модель предсказывает более чистую версию изображения на основе контекста, не нуждаясь в идеально чистом эталоне. Этот процесс может быть реализован с использованием различных типов моделей, каждая из которых имеет свои уникальные сильные стороны в борьбе с шумом.

Link to this sectionТипы моделей, используемых для самообучающегося подавления шума#

Вот краткий обзор типов моделей, обычно используемых для самообучающегося шумоподавления:

• Convolutional Neural Networks (CNNs): CNN — это модели глубокого обучения, предназначенные для распознавания паттернов в небольших областях изображения. Они сканируют изображения с помощью фильтров для обнаружения краев, фигур и текстур. В самообучающемся шумоподавлении они часто используют методы со слепыми зонами, где целевой пиксель исключается из входных данных, чтобы модель предсказывала его значение только на основе окружающих пикселей. Это помогает модели не копировать шум, а вместо этого выводить более чистые детали.
• Автокодировщики: Автокодировщики — это нейронные сети, которые учатся сжимать и реконструировать данные. Сначала они сжимают изображение в более компактное представление (кодирование), а затем восстанавливают его (декодирование). В процессе они учатся захватывать важные визуальные признаки, такие как фигуры и текстуры, отфильтровывая при этом случайный шум и нерелевантные детали.
• Модели на базе Transformer: Трансформеры — это модели, изначально разработанные для обработки естественного языка, но сейчас широко используемые для задач зрения. Они обрабатывают все изображение сразу, изучая взаимосвязи между различными областями. Эта глобальная перспектива позволяет им сохранять тонкие детали и структурную согласованность даже на сложных изображениях или изображениях высокого разрешения.

Рис 2. Обзор CNN-архитектуры, используемой для самообучающегося шумоподавления. (Источник)

Обучение этих моделей на изображениях, сделанных при разном освещении и настройках ISO, помогает им эффективно работать во многих реальных ситуациях. В цифровых камерах настройки ISO регулируют, насколько сильно камера осветляет изображение, усиливая принимаемый сигнал.

Более высокое значение ISO делает фотографии ярче в темных местах, но также увеличивает шум и снижает детализацию. Учась на изображениях, снятых при разных уровнях ISO, модели лучше отличают реальные детали от шума, что приводит к более четким и точным результатам.

Link to this sectionКак шумоподавитель узнает, что является шумом, а что — реальностью?#

Шумоподавители учатся отличать шум от реальных деталей изображения с помощью различных методов обучения, которые отделены от типов моделей. Типы моделей, такие как CNN, автокодировщики и трансформеры, описывают структуру сети и то, как она обрабатывает визуальную информацию.

Методы обучения, с другой стороны, определяют, как именно модель обучается. Некоторые методы используют контекстное предсказание, где модель заполняет отсутствующие или замаскированные пиксели, используя информацию из соседних областей.

Другие используют обучение на основе реконструкции, где модель сжимает изображение в более простую форму, а затем восстанавливает его, помогая ей распознавать значимые структуры, такие как края и текстуры, отфильтровывая при этом случайный шум.

В совокупности тип модели и метод обучения определяют, насколько эффективно шумоподавитель справляется с очисткой изображений. Комбинируя подходящую архитектуру с верным подходом к обучению, самообучающиеся шумоподавители могут адаптироваться ко многим видам шума и создавать более четкие и точные изображения даже без чистых эталонных данных.

Link to this sectionКлючевые техники самообучающегося шумоподавления с ИИ#

Вот некоторые из наиболее широко используемых методов обучения, которые обеспечивают эффективное самообучающееся шумоподавление:

• Noise2Noise: Этот метод тренирует модель с использованием двух зашумленных версий одного и того же изображения. Поскольку шум в каждой версии случаен, модель учится фокусироваться на согласованных деталях, представляющих реальное изображение, и игнорировать шум. Это работает лучше всего, когда доступны несколько зашумленных снимков одной и той же сцены, например, при серийной фотосъемке или в медицинской и научной визуализации.
• Noise2Void или Noise2Self: Эти техники обучаются на одном зашумленном изображении путем скрытия (маскирования) пикселя и запроса к модели предсказать его значение на основе окружающих пикселей. Это предотвращает простое копирование шумных данных и помогает модели изучить естественную структуру изображений. Они особенно полезны, когда доступно только одно зашумленное изображение, например, в микроскопии, астрономии или при съемке в условиях низкой освещенности.
• Сети со слепыми зонами (Blind-spot networks): Они специально спроектированы так, чтобы модель не видела пиксель, который она реконструирует. Вместо этого она опирается на информацию из окружающей области, чтобы оценить, как должен выглядеть этот пиксель. Это делает удаление шума более точным и объективным, и их часто сочетают с методами Noise2Void или Noise2Self в задачах попиксельного шумоподавления.
• Masked Autoencoders (MAE): В этом подходе части изображения скрываются, и модель учится восстанавливать недостающие области. Благодаря этому она изучает как тонкие детали, так и общую структуру, помогая ей отличать реальный контент от шума. Маскированные автокодировщики особенно эффективны для изображений высокого разрешения или сложных сцен, где понимание более широкого контекста улучшает восстановление.

Link to this sectionОценка систем шумоподавления#

Шумоподавление — это тонкий баланс между двумя целями: уменьшением шума и сохранением мелких деталей. Слишком сильное шумоподавление может сделать изображение мягким или размытым, а слишком слабое может оставить нежелательное зерно или артефакты.

Чтобы понять, насколько хорошо модель находит этот баланс, исследователи используют метрики оценки, которые измеряют как четкость изображения, так и сохранение деталей. Эти показатели демонстрируют, насколько эффективно модель очищает изображение, не теряя при этом важную визуальную информацию.

Вот распространенные метрики оценки, которые помогают измерить качество изображения и эффективность шумоподавления:

• Среднеквадратическая ошибка (MSE): Она измеряет среднюю квадратичную разницу между исходным и очищенным изображениями. Она подчеркивает, насколько результат близок к оригиналу на уровне пикселей. Более низкие значения MSE означают меньше ошибок и более точный результат.
• Пиковое отношение сигнала к шуму (PSNR): Эта метрика сравнивает мощность сигнала исходного изображения с остаточным шумом, выраженную в децибелах. Она используется для проверки того, какая часть исходных деталей была сохранена после шумоподавления. Более высокие значения PSNR означают более четкие и качественные изображения.
• Индекс структурного сходства (SSIM): SSIM оценивает структуру, яркость и контрастность для оценки сходства между очищенным изображением и оригиналом. Она фокусируется на том, как изображения воспринимают люди, а не только на «сухих» числах. Более высокие баллы SSIM означают, что изображение выглядит более естественным и соответствует оригиналу.
• Перцептивные метрики: Эти метрики используют модели deep learning для оценки того, насколько реалистичным и естественным выглядит изображение. Вместо сравнения отдельных пикселей они фокусируются на общем внешнем виде, текстуре и визуальном сходстве. В большинстве случаев более низкие баллы означают, что изображение выглядит ближе к оригиналу и более приятно для человеческого глаза.

Link to this sectionПрименение самообучающегося шумоподавления#

Теперь, когда у нас есть лучшее понимание того, что такое шумоподавление, давай рассмотрим, как самообучающееся шумоподавление применяется в реальных сценариях.

Link to this sectionИспользование самообучающегося шумоподавления в астрофотографии#

Сделать четкие фотографии звезд и галактик непросто. Ночное небо темное, поэтому камерам часто требуются длительные выдержки, что может привести к появлению нежелательного шума. Этот шум может размыть тонкие космические детали и сделать слабые сигналы трудными для обнаружения.

Традиционные инструменты шумоподавления могут помочь уменьшить шум, но они часто удаляют вместе с ним и важные детали. Самообучающееся шумоподавление предлагает более умную альтернативу. Учась непосредственно на зашумленных изображениях, модель ИИ может распознавать паттерны, представляющие реальные объекты, и отделять их от случайного шума.

Результатом являются гораздо более четкие изображения небесных объектов, таких как звезды, галактики и Солнце, раскрывающие тонкие детали, которые иначе могли бы остаться незамеченными. Это также позволяет улучшить мелкие астрономические особенности, повышая четкость изображения и делая данные более полезными для научных исследований.

Рис 3. Шумоподавление может улучшить снимки в астрофотографии. (Источник)

Link to this sectionСамообучающееся шумоподавление для медицинской визуализации#

Медицинские сканы, такие как МРТ, КТ и микроскопические изображения, часто содержат шум, из-за которого мелкие детали становится труднее разглядеть. Это может стать проблемой, когда врачам нужно заметить ранние признаки заболевания или отследить изменения с течением времени.

Шум на изображении может возникнуть из-за движения пациента, низкого уровня сигнала или ограничений по дозе излучения. Чтобы сделать медицинские сканы более четкими, исследователи изучили методы самообучающегося шумоподавления, такие как Noise2Self и другие подобные подходы.

Эти модели тренируются непосредственно на зашумленных МРТ-сканах мозга, самостоятельно изучая паттерны шума и очищая их без необходимости в идеально чистых примерах. Обработанные изображения демонстрировали более четкие текстуры и улучшенную контрастность, что облегчает идентификацию мелких структур. Такие ИИ-шумоподавители оптимизируют рабочий процесс в диагностической визуализации и повышают эффективность анализа в реальном времени.

Рис 4. Использование различных методов самообучающегося шумоподавления на МРТ-сканах мозга. (Источник)

Link to this sectionУлучшение систем компьютерного зрения с помощью самообучающегося шумоподавления#

В большинстве случаев шумоподавление оказывает значительное влияние на широкий спектр приложений компьютерного зрения. Удаляя нежелательный шум и искажения, оно создает более чистые и стабильные входные данные для моделей Vision AI.

Более четкие изображения ведут к улучшению производительности в computer vision tasks, таких как обнаружение объектов, сегментация экземпляров и распознавание изображений. Вот несколько примеров областей, где модели Vision AI, такие как Ultralytics YOLO11 и Ultralytics YOLO26, могут извлечь выгоду из шумоподавления:

• Промышленная инспекция: Шумоподавление обеспечивает более точное обнаружение дефектов поверхности или аномалий в производственных условиях, что ведет к улучшению контроля качества.
• Автономное вождение и навигация: Это повышает точность обнаружения объектов и препятствий в сложных условиях, таких как слабое освещение, дождь или туман, повышая общую безопасность и надежность.
• Наблюдение и безопасность: Шумоподавление улучшает качество изображения в видеопотоках при низком освещении или сильном сжатии, позволяя лучше идентифицировать и отслеживать объекты или людей.
• Underwater imaging: Шумоподавление уменьшает рассеивание и световые искажения, улучшая видимость и распознавание объектов в мутных подводных условиях.

Link to this sectionПлюсы и минусы самообучающегося шумоподавления#

Вот несколько ключевых преимуществ использования самообучающегося шумоподавления в системах обработки изображений:

• Адаптивность к шуму: Методы самообучающегося шумоподавления могут обучаться непосредственно на зашумленных данных без необходимости использования парных чистых эталонов. Это делает их высокоадаптивными к широкому спектру реальных уровней и типов шума, таких как шум датчика, размытие при движении или воздействие внешней среды.
• Сохранение деталей: При хорошем проектировании эти модели сохраняют мелкие текстуры и края, которые необходимы для точной интерпретации изображения. Подходы, такие как сети со слепыми зонами и обучение на основе маскирования, помогают поддерживать структурную информацию, одновременно снижая уровень шума.
• Меньше предобработки: Учась отображать зашумленные входные данные в чистые представления, используя только доступные данные, модель минимизирует необходимость в ручной фильтрации, алгоритмах шумоподавления ручной работы или специально подобранных наборах данных.

Несмотря на свои преимущества, самообучающееся шумоподавление также имеет определенные ограничения. Вот несколько факторов, которые следует учитывать:

• Вычислительные требования: Глубокие нейронные архитектуры, используемые для самообучающегося шумоподавления, особенно модели на основе трансформеров, могут требовать значительных computational power и ресурсов памяти по сравнению с традиционными методами фильтрации.
• Сложность проектирования моделей: Достижение оптимальных результатов требует тщательного выбора параметров модели, таких как стратегия маскирования и функция потерь, которые могут варьироваться в зависимости от типа шума.
• Проблемы оценки: Стандартные метрики качества изображения не всегда соответствуют тому, насколько естественным или реалистичным выглядит очищенное изображение, поэтому часто требуются визуальные проверки или тесты, специфичные для конкретной задачи.

Link to this sectionОсновные выводы#

Самообучающееся шумоподавление помогает моделям ИИ учиться непосредственно на зашумленных изображениях, создавая более четкие результаты при сохранении мелких деталей. Оно эффективно работает в самых разных сложных сценариях, таких как низкое освещение, высокие значения ISO и детальные изображения. По мере эволюции ИИ такие методы, вероятно, будут играть важную роль во многих приложениях компьютерного зрения.

Присоединяйся к нашему сообществу и исследуй наш GitHub repository, чтобы узнать больше об ИИ. Если ты хочешь создать собственный проект в области Vision AI, ознакомься с нашими licensing options. Узнай больше о применении ИИ в таких областях, как AI в здравоохранении и Vision AI в розничной торговле, посетив наши страницы с решениями.