Использование самоконтролируемого обучения для обесцвечивания изображений

Изображения - это часть нашей повседневной жизни, начиная с фотографий, которые мы делаем, и заканчивая видео, снятыми камерами в общественных местах. Они содержат важную информацию, а передовые технологии позволяют анализировать и интерпретировать эти данные. 

В частности, компьютерное зрение, направление искусственного интеллекта (ИИ), позволяет машинам обрабатывать визуальную информацию и понимать увиденное, как это делают люди. Однако в реальных приложениях изображения зачастую далеки от совершенства. 

Шум на изображении, вызванный дождем, пылью, низкой освещенностью или ограничениями сенсора, может скрывать важные детали, затрудняя обнаружение объектов и точную интерпретацию сцен моделями Vision AI. Уменьшение шума изображения позволяет моделям искусственного интеллекта более четко видеть детали и делать более точные прогнозы.

‍

‍

Традиционно для обесцвечивания изображений используется метод контролируемого обучения, когда модели обучаются на парах зашумленных и чистых изображений, чтобы научиться удалять шум. Однако сбор идеально чистых эталонных изображений не всегда целесообразен.

Чтобы решить эту проблему, исследователи разработали самоконтролируемые денуазаторы изображений. Их цель - обучить модели искусственного интеллекта учиться непосредственно на данных, создавая собственные обучающие сигналы для удаления шума и сохранения важных деталей без необходимости использования чистых эталонных изображений.

В этой статье мы подробно рассмотрим самоконтролируемые денуазеры изображений, принцип их работы, ключевые техники, лежащие в их основе, и их реальное применение. Давайте начнем!

Что такое самоконтролируемая очистка изображений?

Зашумленные изображения могут затруднить работу моделей искусственного интеллекта, интерпретирующих изображение. Например, фотография, сделанная в условиях недостаточной освещенности, может выглядеть зернистой или размытой, скрывая тонкие особенности, которые помогают модели точно идентифицировать объекты.

В системах денуазинга, основанных на контролируемом обучении, модели обучаются на парах изображений - зашумленных и чистых, - чтобы научиться удалять нежелательные шумы. Хотя этот подход хорошо работает, сбор идеально чистых эталонных данных часто занимает много времени и затруднен в реальных условиях.

Именно поэтому исследователи обратились к самоконтролируемому обесцвечиванию изображений. Самоконтролируемое размывание изображений основано на концепции самоконтролируемого обучения, когда модели обучаются сами, создавая собственные сигналы обучения на основе данных.  

Поскольку этот метод не зависит от больших наборов данных с метками, самоконтролируемая денуазизация быстрее, масштабируемее и легче применима в таких областях, как фотография в условиях недостаточной освещенности, медицинская визуализация и анализ спутниковых изображений, где чистые эталонные изображения часто недоступны.

Вместо того чтобы полагаться на чистые эталонные изображения, этот подход обучается непосредственно на зашумленных данных, предсказывая замаскированные пиксели или восстанавливая недостающие части. В ходе этого процесса модель учится отличать значимые детали изображения от случайного шума, что приводит к более четким и точным результатам. 

Хотя может показаться, что это похоже на несамостоятельное обучение, на самом деле самоконтролируемое обучение является его частным случаем. Ключевое различие заключается в том, что в самоконтролируемом обучении модель сама создает метки или обучающие сигналы из данных, чтобы научиться выполнять конкретную задачу. В отличие от этого, несамостоятельное обучение фокусируется на поиске скрытых паттернов или структур в данных без какой-либо явной задачи или заранее определенной цели.

Стратегии обучения при самоконтролируемом обесцвечивании

Что касается самоконтролируемого обесцвечивания, то существует несколько способов обучения. Некоторые модели самоконтролируемой денуазификации заполняют маски или недостающие пиксели, другие сравнивают несколько зашумленных версий одного и того же изображения, чтобы найти совпадающие детали. 

Например, популярный метод, известный как обучение по слепым пятнам, направлен на обучение модели денуайзера игнорировать восстанавливаемый пиксель и полагаться на окружающий контекст. Со временем модель перестраивает высококачественные изображения, сохраняя важные текстуры, края и цвета.

Как работает самоконтролируемое обучение для удаления шума

Далее мы рассмотрим, как самоконтролируемое обучение устраняет шумы. 

Процесс самоконтролируемой денуации обычно начинается с подачи зашумленных изображений в модель денуации. Модель анализирует соседние пиксели, чтобы оценить, как должен выглядеть каждый неясный или замаскированный пиксель, постепенно обучаясь отличать шум от реальных визуальных деталей.

Рассмотрим изображение темного, зернистого неба. Модель смотрит на близлежащие звезды и окружающие узоры, чтобы предсказать, как должен выглядеть каждый зашумленный участок без шума. Повторяя этот процесс по всему изображению, она учится отделять случайный шум от значимых особенностей, получая более четкий и точный результат.

Другими словами, модель предсказывает более чистую версию изображения на основе контекста, не нуждаясь в идеально чистом эталоне. Этот процесс может быть реализован с помощью различных типов моделей, каждая из которых обладает уникальными преимуществами в работе с шумом. 

Типы моделей, используемых для самоконтролируемого подавления шума на изображениях

Вот краткий обзор типов моделей, обычно используемых для самоконтролируемой обработки изображений:

• Конволюционные нейронные сети (CNN): CNN - это модели глубокого обучения, предназначенные для распознавания паттернов в небольших областях изображения. Они сканируют изображения, используя фильтры для обнаружения краев, форм и текстур. При самоконтролируемом обесцвечивании они часто используют технику "слепых пятен", когда целевой пиксель исключается из входных данных, и модель предсказывает его значение, основываясь только на окружающих пикселях. Это помогает модели избежать копирования шума и вместо этого получить более чистые детали.
• Автокодировщики: Автокодировщики - это нейронные сети, которые учатся сжимать и восстанавливать данные. Сначала они уменьшают изображение до меньшего размера (кодирование), а затем восстанавливают его (декодирование). В процессе они учатся улавливать важные визуальные особенности, такие как формы и текстуры, отсеивая при этом случайный шум и несущественные детали.
• Модели на основе трансформеров: Трансформеры - это модели, изначально разработанные для обработки естественного языка, но теперь широко используемые для задач зрения. Они обрабатывают все изображение сразу, изучая, как различные области соотносятся друг с другом. Такая глобальная перспектива позволяет им сохранять мелкие детали и структурную целостность даже в сложных изображениях с высоким разрешением.

‍

Тренировка этих моделей на изображениях, сделанных при различном освещении и настройках ISO, помогает им хорошо работать во многих реальных ситуациях. В цифровых камерах настройки ISO определяют, насколько сильно камера осветляет изображение, усиливая получаемый сигнал. 

Более высокий ISO делает фотографии ярче в темных местах, но при этом увеличивает шум и снижает детализацию. Обучаясь на снимках, сделанных при разных уровнях ISO, модели лучше различают реальные детали и шум, что позволяет получить более четкие и точные результаты.

Как денуайзер узнает, что является шумом, а что - реальностью?

Денуазеры учатся отличать шум от реальных деталей изображения с помощью различных методов обучения, которые не зависят от типов моделей, используемых для денуазинга. Такие типы моделей, как CNN, автоэнкодеры и трансформаторы, описывают структуру сети и то, как она обрабатывает визуальную информацию.

Методы обучения, с другой стороны, определяют, как модель обучается. Некоторые методы используют предсказание на основе контекста, когда модель заполняет недостающие или замаскированные пиксели, используя информацию из соседних областей. 

Другие используют обучение на основе реконструкции, когда модель сжимает изображение в более простую форму, а затем восстанавливает его, помогая распознать значимые структуры, такие как края и текстуры, отфильтровывая при этом случайный шум.

Тип модели и методика обучения в совокупности определяют, насколько эффективно денойзер может очищать изображения. Сочетая правильную архитектуру с правильным подходом к обучению, самоконтролируемые денуазеры могут адаптироваться ко многим типам шума и создавать более четкие и точные изображения даже без чистых эталонных данных.

Ключевые методы самоконтролируемого ИИ-обесцвечивания изображений

Вот некоторые из наиболее распространенных методов обучения, которые позволяют эффективно выполнять самоконтролируемую денуаризацию изображений:

• Noise2Noise: Этот метод обучает модель, используя две зашумленные версии одного и того же изображения. Поскольку шум в каждой версии является случайным, модель учится фокусироваться на последовательных деталях, которые представляют реальное изображение, и игнорировать шум. Этот метод лучше всего работает при наличии нескольких зашумленных снимков одной и той же сцены, например при серийной съемке или при создании медицинских и научных изображений.
• Noise2Void или Noise2Self: эти методы обучают на одном зашумленном изображении, скрывая (маскируя) пиксель и предлагая модели предсказать его значение на основе окружающих пикселей. Это не позволяет модели просто копировать зашумленные данные и помогает ей изучить естественную структуру изображений. Они особенно полезны, когда доступно только одно зашумленное изображение, например в микроскопии, астрономии или при съемке в условиях недостаточной освещенности.
• Сети со слепыми пятнами: Они специально разработаны таким образом, чтобы модель не могла видеть пиксель, который она восстанавливает. Вместо этого она полагается на информацию из окружающей области, чтобы оценить, как должен выглядеть этот пиксель. Это делает удаление шумов более точным и беспристрастным, и их часто комбинируют с методами Noise2Void или Noise2Self в задачах попиксельного обесцвечивания.
• Автоэнкодеры с маской (MAE): В этом подходе части изображения скрыты, и модель учится восстанавливать недостающие области. При этом она изучает как мелкие детали, так и общую структуру, что помогает ей отличать реальное содержимое от шума. Автоэнкодеры с маской особенно эффективны для изображений высокого разрешения или сложных изображений, где понимание более широкого контекста улучшает восстановление.

Оценка систем коррекции изображений

Обесцвечивание изображения - это тщательный баланс между двумя целями: уменьшением шума и сохранением мелких деталей. Слишком сильное размытие может сделать изображение мягким или размытым, а слишком слабое - оставить нежелательную зернистость или артефакты.

Чтобы понять, насколько хорошо модель соблюдает этот баланс, исследователи используют оценочные метрики, которые измеряют как четкость изображения, так и сохранение деталей. Эти метрики показывают, насколько хорошо модель очищает изображение без потери важной визуальной информации. 

Вот общие показатели оценки, которые помогают определить качество изображения и эффективность денуазинга:

• Средняя квадратичная ошибка (MSE): Измеряет среднюю квадратичную разницу между исходным и деноизированным изображениями. Он показывает, насколько близко полученное изображение к оригиналу на уровне пикселей. Более низкие значения MSE означают меньшее количество ошибок и более точный результат.
  
• Пиковое отношение сигнала к шуму (PSNR): эта метрика сравнивает силу сигнала исходного изображения с оставшимся шумом, выраженную в децибелах. Он используется для определения того, сколько деталей сохранилось после денуазинга. Более высокие значения PSNR означают более четкие и качественные изображения.
  
• Измерение индекса структурного сходства (SSIM): SSIM оценивает структуру, яркость и контрастность, чтобы определить сходство между обесцвеченным изображением и оригиналом. Он ориентирован на то, как человек видит изображения, а не просто на сырые числа. Более высокие показатели SSIM означают, что изображение выглядит более естественно и соответствует оригиналу.
  
• Метрики восприятия: Эти метрики используют модели глубокого обучения, чтобы оценить, насколько реалистично и естественно выглядит изображение. Вместо сравнения отдельных пикселей они обращают внимание на общий вид, текстуру и визуальное сходство. В большинстве случаев более низкие оценки означают, что изображение ближе к оригиналу и визуально приятнее для человека.

Области применения самоконтролируемого обесцвечивания

Теперь, когда мы лучше понимаем, что такое денуазинг, давайте рассмотрим, как самоконтролируемый денуазинг изображений применяется в реальных сценариях.

Использование самоконтролируемого обесцвечивания в астрофотографии

Сделать четкие фотографии звезд и галактик не так-то просто. Ночное небо темное, поэтому камеры часто требуют длительной выдержки, что может привести к появлению нежелательного шума. Этот шум может размывать мелкие космические детали и затруднять обнаружение слабых сигналов.

Традиционные инструменты денуазинга могут помочь уменьшить шум, но часто вместе с ним удаляются важные детали. Самоконтролируемый денуазинг предлагает более разумную альтернативу. Обучаясь непосредственно на зашумленных изображениях, модель искусственного интеллекта может распознавать паттерны, представляющие реальные особенности, и отделять их от случайного шума.

В результате получаются гораздо более четкие изображения небесных объектов - звезд, галактик и Солнца, - раскрывающие слабые детали, которые иначе могли бы остаться незамеченными. Кроме того, он может усилить тонкие астрономические особенности, повышая четкость изображения и делая данные более полезными для научных исследований.

‍

‍

Самоконтролируемое обесцвечивание для медицинской визуализации

Медицинские сканы, такие как МРТ, КТ и микроскопические снимки, часто содержат шумы, из-за которых трудно разглядеть мелкие детали. Это может стать проблемой, когда врачам необходимо выявить ранние признаки заболевания или отследить изменения с течением времени. 

Шумы на снимках могут возникать из-за движения пациента, низкого уровня сигнала или ограничений на использование излучения. Чтобы сделать медицинские снимки более четкими, исследователи изучили методы самоконтролируемой денуации, такие как Noise2Self и другие подобные подходы. 

Эти модели обучаются непосредственно на зашумленных МРТ-изображениях мозга, самостоятельно изучая шумовые паттерны и очищая их, не нуждаясь в идеально четких примерах. На обработанных изображениях более четкие текстуры и лучший контраст, что облегчает выявление мелких структур. Такие денуазеры на базе ИИ упрощают рабочий процесс в диагностической визуализации и повышают эффективность анализа в реальном времени.

‍

‍

Улучшение систем технического зрения с помощью самоконтролируемой денуации

В большинстве случаев денуазинг оказывает значительное влияние на широкий спектр приложений компьютерного зрения. Удаляя нежелательные шумы и искажения, она позволяет получить более чистые и согласованные входные данные для обработки моделями искусственного интеллекта.

Более четкие изображения позволяют повысить производительность в задачах компьютерного зрения, таких как обнаружение объектов, сегментация объектов и распознавание изображений. Вот несколько примеров приложений, в которых модели Vision AI, такие как Ultralytics YOLO11 и Ultralytics YOLO26, могут выиграть от денуазинга:

• Промышленный контроль: Денуазинг позволяет более точно обнаруживать дефекты поверхности или аномалии в производственных условиях, что ведет к улучшению контроля качества.
• Автономное вождение и навигация: Улучшает обнаружение объектов и препятствий в сложных условиях, таких как слабое освещение, дождь или туман, повышая общую безопасность и надежность.
• Наблюдение и безопасность: Денуазинг улучшает качество изображения при низкой освещенности или высокой компрессии видеопотока, позволяя лучше идентифицировать и отслеживать объекты или людей.
• Подводная съемка: Уменьшение рассеивания и искажения света, что улучшает видимость и распознавание объектов в мутных подводных условиях.

Плюсы и минусы самоконтролируемого обесцвечивания

Вот некоторые ключевые преимущества использования самоконтролируемой денуации в системах обработки изображений:

• Адаптация к шуму: Методы самоконтроля могут обучаться непосредственно на зашумленных данных, не требуя парных чистых эталонов. Это делает их легко адаптируемыми к широкому диапазону уровней и типов шумов в реальном мире, таких как шум датчика, размытость движения или помехи окружающей среды.
• Сохранение деталей: При правильной разработке эти модели сохраняют тонкие текстуры и края, которые необходимы для точной интерпретации изображений. Такие подходы, как сети слепых пятен и обучение на основе маскировки, помогают сохранить структурную информацию и снизить уровень шума.
• Меньше предварительной обработки: Обучаясь преобразовывать зашумленные входные данные в чистые представления, используя только имеющиеся данные, модель сводит к минимуму необходимость в ручной фильтрации, ручных алгоритмах размывания или контролируемых наборах данных для обучения.

Несмотря на свои преимущества, самоконтролируемый деноазинг имеет и определенные ограничения. Вот несколько факторов, которые следует учитывать:

• Вычислительные требования: Глубокие нейронные архитектуры, используемые для самоконтролируемого обесцвечивания, особенно модели на основе трансформаторов, могут требовать значительных вычислительных мощностей и ресурсов памяти по сравнению с традиционными методами фильтрации.
• Сложность разработки модели: Достижение оптимальных результатов требует тщательного выбора параметров модели, таких как стратегия маскировки и функция потерь, которые могут варьироваться в зависимости от типа шума.
• Проблемы оценки: Обычные показатели качества изображения не всегда соответствуют тому, насколько естественно или реалистично выглядит обесцвеченное изображение, поэтому часто требуются визуальные или специфические для конкретной задачи проверки.

Основные выводы

Самоконтролируемый денуайзинг помогает моделям искусственного интеллекта обучаться непосредственно на зашумленных изображениях, получая более четкие результаты и сохраняя мелкие детали. Она эффективно работает в различных сложных сценариях, таких как низкая освещенность, высокое ISO и детализированные изображения. По мере развития ИИ такие методы, вероятно, будут играть важную роль в различных приложениях компьютерного зрения. 

Присоединяйтесь к нашему сообществу и изучайте наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте. Если вы хотите создать свой собственный проект Vision AI, ознакомьтесь с нашими возможностями лицензирования. Посетите страницы наших решений и узнайте больше о таких областях применения, как ИИ в здравоохранении и ИИ в розничной торговле.