Использование самообучения без учителя для устранения шума на изображениях

Изображения стали частью нашей повседневной жизни: от фотографий, которые мы делаем, до видео, записанных камерами в общественных местах. Они содержат ценную информацию, а передовые технологии позволяют анализировать и интерпретировать эти данные.

В частности, компьютерное зрение — отрасль искусственного интеллекта (AI), которая позволяет машинам обрабатывать визуальную информацию и понимать то, что они видят, подобно человеку. Однако в реальных приложениях изображения часто далеки от идеала.

Шум на изображениях, вызванный дождём, пылью, слабым освещением или ограничениями сенсора, может скрывать важные детали, из-за чего моделям Vision AI сложнее точно обнаруживать объекты или интерпретировать сцены. Удаление шума из изображений помогает уменьшить этот шум, благодаря чему модели Vision AI могут лучше видеть детали и делать более точные прогнозы.

Рис. 1. Пример удаления шума из изображения. (Источник)

Традиционно для удаления шума из изображений применялось обучение с учителем: модели обучались на парах зашумленных и чистых изображений, чтобы научиться удалять шум. Однако сбор идеально чистых эталонных изображений не всегда практичен.

Чтобы решить эту проблему, исследователи разработали самоконтролируемые модели для удаления шума из изображений. Они предназначены для обучения моделей искусственного интеллекта непосредственно на данных: модели сами создают обучающие сигналы, чтобы удалять шум и сохранять важные детали без чистых эталонных изображений.

В этой статье мы подробнее рассмотрим самоконтролируемые модели для удаления шума из изображений, принципы их работы, ключевые методы и реальные применения. Давай начнём!

Что такое самоконтролируемое удаление шума из изображений?#

Зашумленные изображения могут затруднять интерпретацию содержимого фотографий моделями Vision AI. Например, фотография, сделанная при слабом освещении, может выглядеть зернистой или размытой, скрывая малозаметные признаки, которые помогают модели точно идентифицировать объекты.

При удалении шума на основе обучения с учителем модели обучаются на парах изображений — одном зашумленном и одном чистом, — чтобы научиться удалять нежелательный шум. Хотя этот подход хорошо работает, сбор идеально чистых эталонных данных в реальных условиях часто требует много времени и представляет сложности.

Поэтому исследователи обратились к самоконтролируемому удалению шума из изображений. Этот подход основан на концепции самоконтролируемого обучения, при котором модели обучаются самостоятельно, создавая собственные обучающие сигналы на основе данных.

Поскольку этот метод не зависит от больших размеченных наборов данных, самоконтролируемое удаление шума выполняется быстрее, лучше масштабируется и проще применяется в таких областях, как фотография при слабом освещении, медицинская визуализация и анализ спутниковых изображений, где чистые эталонные изображения часто недоступны.

Вместо использования чистых эталонных изображений этот подход обучается непосредственно на зашумленных данных, предсказывая замаскированные пиксели или восстанавливая отсутствующие части. Благодаря этому процессу модель учится отличать значимые детали изображения от случайного шума, создавая более четкие и точные результаты.

Хотя самоконтролируемое обучение может показаться похожим на обучение без учителя, на самом деле оно является его частным случаем. Ключевое отличие заключается в том, что при самоконтролируемом обучении модель сама создает метки или обучающие сигналы из данных для решения конкретной задачи. Обучение без учителя, напротив, сосредоточено на поиске скрытых закономерностей или структур в данных без явно заданной задачи или заранее определенной цели.

Стратегии обучения при самоконтролируемом удалении шума#

При самоконтролируемом удалении шума обучение может происходить несколькими способами. Одни самоконтролируемые модели заполняют замаскированные или отсутствующие пиксели, а другие сравнивают несколько зашумленных версий одного изображения, чтобы найти согласующиеся детали.

Например, популярный метод, известный как обучение по слепой зоне, направлен на обучение модели удаления шума игнорировать восстанавливаемый пиксель и вместо этого использовать окружающий контекст. Со временем модель восстанавливает изображения высокого качества, сохраняя важные текстуры, границы и цвета.

Как самоконтролируемое обучение удаляет шум#

Далее мы рассмотрим процесс удаления шума с помощью самоконтролируемого обучения.

Процесс самоконтролируемого удаления шума обычно начинается с подачи зашумленных изображений на вход модели удаления шума. Модель анализирует соседние пиксели, чтобы оценить, как должен выглядеть каждый нечеткий или замаскированный пиксель, постепенно учась отличать шум от настоящих визуальных деталей.

Рассмотрим изображение темного, зернистого неба. Модель анализирует близлежащие звезды и окружающие закономерности, чтобы предсказать, как должна выглядеть каждая зашумленная область без шума. Повторяя этот процесс для всего изображения, она учится отделять случайный шум от значимых признаков, создавая более четкий и точный результат.

Иными словами, модель предсказывает более чистую версию изображения на основе контекста, не используя идеально чистый эталон. Этот процесс можно реализовать с помощью разных типов моделей, каждый из которых имеет свои преимущества при работе с шумом.

Типы моделей, используемых для самоконтролируемого уменьшения шума на изображениях#

Кратко рассмотрим типы моделей, которые обычно применяются для самоконтролируемого удаления шума из изображений:

• Сверточные нейронные сети (CNNs): CNNs — это модели глубокого обучения, предназначенные для распознавания закономерностей в небольших областях изображения. Они сканируют изображения с помощью фильтров, обнаруживая границы, формы и текстуры. При самоконтролируемом удалении шума они часто используют методы слепой зоны, при которых целевой пиксель исключается из входных данных, чтобы модель предсказывала его значение только на основе соседних пикселей. Это помогает модели не копировать шум, а восстанавливать более чистые детали.
• Автокодировщики: Автокодировщики — это нейронные сети, которые учатся сжимать и восстанавливать данные. Сначала они преобразуют изображение в компактное представление (кодирование), а затем восстанавливают его (декодирование). В процессе они учатся выделять важные визуальные признаки, такие как формы и текстуры, отфильтровывая случайный шум и несущественные детали.
• Модели на основе Transformer: Transformer — это модели, изначально разработанные для обработки естественного языка, но теперь широко используемые в задачах компьютерного зрения. Они обрабатывают всё изображение целиком, обучаясь тому, как разные области связаны друг с другом. Такой глобальный взгляд позволяет им сохранять мелкие детали и структурную согласованность даже в сложных изображениях или изображениях высокого разрешения.

Рис. 2. Архитектура на основе CNN, используемая для самоконтролируемого удаления шума из изображений. (Источник)

Обучение этих моделей на изображениях, полученных при разном освещении и разных значениях ISO, помогает им хорошо работать во множестве реальных ситуаций. В цифровых камерах настройки ISO определяют, насколько камера осветляет изображение, усиливая принимаемый сигнал.

Более высокое значение ISO делает фотографии ярче в темных местах, но также увеличивает шум и уменьшает количество деталей. Обучаясь на изображениях, снятых при разных уровнях ISO, модели лучше отделяют настоящие детали от шума, создавая более четкие и точные результаты.

Как модель удаления шума учится отличать шум от настоящих деталей?#

Модели удаления шума учатся отличать шум от настоящих деталей изображения с помощью различных методов обучения, которые не зависят от типов моделей, используемых для удаления шума. Такие типы моделей, как CNNs, автокодировщики и Transformer, описывают структуру сети и способ обработки визуальной информации.

Методы обучения, напротив, определяют, как модель учится. В некоторых методах используется контекстное предсказание: модель заполняет отсутствующие или замаскированные пиксели на основе информации из соседних областей.

В других используется обучение на основе реконструкции: модель сжимает изображение в более простую форму, а затем восстанавливает его, учась распознавать значимые структуры, такие как границы и текстуры, и отфильтровывать случайный шум.

Тип модели и метод обучения вместе определяют, насколько эффективно модель удаления шума очищает изображения. Сочетая подходящую архитектуру с правильным подходом к обучению, самоконтролируемые модели удаления шума могут адаптироваться к разным типам шума и создавать более четкие и точные изображения даже без чистых эталонных данных.

Ключевые методы самоконтролируемого удаления шума из изображений с помощью AI#

Вот несколько наиболее распространенных методов обучения, обеспечивающих эффективное самоконтролируемое удаление шума из изображений:

• Noise2Noise: Этот метод обучает модель на двух зашумленных версиях одного изображения. Поскольку шум в каждой версии случаен, модель учится сосредотачиваться на согласующихся деталях, которые отражают исходное изображение, и игнорировать шум. Метод лучше всего работает, когда доступны несколько зашумленных снимков одной сцены, например при серийной съемке или медицинской и научной визуализации.
• Noise2Void или Noise2Self: Эти методы обучаются на одном зашумленном изображении: один пиксель скрывается (маскируется), а модель должна предсказать его значение на основе соседних пикселей. Это не позволяет модели просто копировать зашумленные данные и помогает ей изучать естественную структуру изображений. Они особенно полезны, когда доступно только одно зашумленное изображение, например в микроскопии, астрономии или фотографии при слабом освещении.
• Сети слепой зоны: Они специально устроены так, чтобы модель не видела восстанавливаемый пиксель. Вместо этого она использует информацию из окружающей области, чтобы оценить, как должен выглядеть этот пиксель. Это делает удаление шума более точным и непредвзятым; такие сети часто комбинируются с методами Noise2Void или Noise2Self в задачах попиксельного удаления шума.
• Маскированные автокодировщики (MAE): В этом подходе части изображения скрываются, а модель учится восстанавливать отсутствующие области. Благодаря этому она изучает как мелкие детали, так и общую структуру, что помогает отличать содержимое изображения от шума. Маскированные автокодировщики особенно эффективны для изображений высокого разрешения или сложных изображений, где понимание более широкого контекста улучшает восстановление.

Оценка систем удаления шума из изображений#

Удаление шума из изображений требует тщательного баланса между двумя целями: уменьшением шума и сохранением мелких деталей. Чрезмерное удаление шума может сделать изображение мягким или размытым, а недостаточное — оставить нежелательную зернистость или артефакты.

Чтобы понять, насколько хорошо модель соблюдает этот баланс, исследователи используют метрики оценки, измеряющие как четкость изображения, так и сохранение деталей. Эти метрики показывают, насколько хорошо модель очищает изображение, не теряя важную визуальную информацию.

Вот распространенные метрики оценки, которые помогают измерить качество изображения и эффективность удаления шума:

• Среднеквадратичная ошибка (MSE): Она измеряет среднюю квадратичную разницу между исходным изображением и изображением после удаления шума. Метрика показывает, насколько результат близок к исходному изображению на уровне пикселей. Более низкие значения MSE означают меньше ошибок и более точный результат.
• Пиковое отношение сигнала к шуму (PSNR): Эта метрика сравнивает силу сигнала исходного изображения с оставшимся шумом и выражается в децибелах. Она используется для оценки того, какая часть исходных деталей сохранилась после удаления шума. Более высокие значения PSNR означают более четкие изображения высокого качества.
• Индекс структурного сходства (SSIM): SSIM оценивает структуру, яркость и контраст, чтобы определить сходство изображения после удаления шума с исходным. Метрика ориентируется на то, как люди видят изображения, а не только на числовые значения. Более высокие показатели SSIM означают, что изображение выглядит естественнее и ближе к исходному.
• Перцептивные метрики: Эти метрики используют модели глубокого обучения, чтобы оценить, насколько реалистично и естественно выглядит изображение. Вместо сравнения отдельных пикселей они учитывают общий вид, текстуру и визуальное сходство. В большинстве случаев более низкие значения означают, что изображение ближе к исходному и приятнее для восприятия человеком.

Применение самоконтролируемого удаления шума#

Теперь, когда мы лучше понимаем, что такое удаление шума, давай рассмотрим, как самоконтролируемое удаление шума из изображений применяется в реальных сценариях.

Использование самоконтролируемого удаления шума в астрофотографии#

Снимать четкие фотографии звезд и галактик непросто. Ночное небо темное, поэтому камерам часто требуется длительная выдержка, которая может создавать нежелательный шум. Этот шум способен размывать мелкие космические детали и затруднять обнаружение слабых сигналов.

Традиционные инструменты удаления шума могут помочь уменьшить шум, но часто вместе с ним удаляют и важные детали. Самоконтролируемое удаление шума предлагает более эффективную альтернативу. Обучаясь непосредственно на зашумленных изображениях, модель AI может распознавать закономерности, отражающие реальные признаки, и отделять их от случайного шума.

В результате изображения небесных объектов, таких как звезды, галактики и Солнце, становятся значительно четче, раскрывая слабые детали, которые в противном случае могли бы остаться незамеченными. Этот метод также может усиливать малозаметные астрономические признаки, улучшая четкость изображений и делая данные более полезными для научных исследований.

Рис. 3. Удаление шума из изображений может улучшить астрофотографии. (Источник)

Самоконтролируемое удаление шума для медицинской визуализации#

Медицинские сканы, такие как MRI, CT и микроскопические изображения, часто содержат шум, из-за которого мелкие детали сложнее рассмотреть. Это может стать проблемой, когда врачам нужно обнаружить ранние признаки заболевания или отслеживать изменения с течением времени.

Шум на изображениях может возникать из-за движений пациента, слабого сигнала или ограничений на допустимую дозу излучения. Чтобы сделать медицинские сканы четче, исследователи изучали методы самоконтролируемого удаления шума, такие как Noise2Self, и другие аналогичные подходы.

Эти модели обучаются непосредственно на зашумленных изображениях мозга, самостоятельно изучая закономерности шума и очищая изображения без идеально четких примеров. Обработанные изображения демонстрировали более резкие текстуры и лучший контраст, благодаря чему мелкие структуры было проще идентифицировать. Такие модели удаления шума на основе AI упрощают рабочие процессы диагностической визуализации и повышают эффективность анализа в реальном времени.

Рис. 4. Применение различных методов самоконтролируемого удаления шума к MRI-сканам мозга. (Источник)

Улучшение систем компьютерного зрения с помощью самоконтролируемого удаления шума#

В большинстве случаев удаление шума существенно влияет на широкий спектр приложений компьютерного зрения. Удаляя нежелательный шум и искажения, оно создает более чистые и согласованные входные данные для обработки моделями Vision AI.

Более четкие изображения повышают эффективность выполнения задач компьютерного зрения, таких как обнаружение объектов, сегментация экземпляров и распознавание изображений. Вот несколько примеров приложений, в которых моделям Vision AI, таким как Ultralytics YOLO11 и Ultralytics YOLO26, может помочь удаление шума:

• Промышленный контроль: Удаление шума повышает точность обнаружения поверхностных дефектов и аномалий в производственной среде, улучшая контроль качества.
• Автономное вождение и навигация: Оно улучшает обнаружение объектов и препятствий в сложных условиях, таких как слабое освещение, дождь или туман, повышая общую безопасность и надежность.
• Видеонаблюдение и безопасность: Удаление шума повышает качество изображений в видеопотоках при слабом освещении или сильном сжатии, обеспечивая более точную идентификацию и отслеживание объектов или людей.
• Подводная визуализация: Удаление шума уменьшает рассеяние и искажение света, улучшая видимость и распознавание объектов в мутной подводной среде.

Плюсы и минусы самоконтролируемого удаления шума#

Вот несколько ключевых преимуществ использования самоконтролируемого удаления шума в системах визуализации:

• Адаптивность к шуму: Методы самоконтролируемого удаления шума могут обучаться непосредственно на зашумленных данных без парных чистых эталонов. Благодаря этому они хорошо адаптируются к широкому диапазону уровней и типов шума в реальных условиях, включая шум сенсора, размытие в движении и внешние помехи.
• Сохранение деталей: При грамотной разработке эти модели сохраняют мелкие текстуры и границы, необходимые для точной интерпретации изображений. Такие подходы, как сети слепой зоны и обучение на основе маскирования, помогают сохранять структурную информацию и одновременно уменьшать шум.
• Меньше предварительной обработки: Обучаясь преобразовывать зашумленные входные данные в чистые представления только на основе доступных данных, модель уменьшает необходимость в ручной фильтрации, специально разработанных алгоритмах удаления шума и тщательно отобранных наборах данных для обучения.

Несмотря на преимущества, самоконтролируемое удаление шума имеет и определенные ограничения. Вот несколько факторов, которые стоит учитывать:

• Вычислительные требования: Глубокие нейронные архитектуры, используемые для самоконтролируемого удаления шума, особенно модели на основе Transformer, могут требовать значительно больше вычислительных ресурсов и памяти по сравнению с традиционными методами фильтрации.
• Сложность проектирования модели: Для достижения оптимальных результатов требуется тщательно выбирать настройки модели, такие как стратегия маскирования и функция потерь, которые могут различаться для разных типов шума.
• Сложности оценки: Распространенные метрики качества изображений не всегда соответствуют тому, насколько естественно или реалистично выглядит изображение после удаления шума, поэтому часто необходимы визуальные проверки или проверки с учетом конкретной задачи.

Основные выводы#

Самоконтролируемое удаление шума помогает моделям AI обучаться непосредственно на зашумленных изображениях, создавая более четкие результаты и сохраняя мелкие детали. Оно эффективно работает в различных сложных сценариях, таких как слабое освещение, высокие значения ISO и изображения с большим количеством деталей. По мере развития AI такие методы, вероятно, будут играть важную роль в различных приложениях компьютерного зрения.

Присоединяйся к нашему сообществу и изучай наш репозиторий GitHub, чтобы узнать больше об AI. Если ты хочешь создать собственный проект Vision AI, ознакомься с нашими вариантами лицензирования. Узнай больше о таких приложениях, как AI в здравоохранении и Vision AI в розничной торговле, на страницах наших решений.