Motion Deblurring

Устранение смаза движения — это восстановление более четкого изображения из фотографии или видеокадра, смазанного из-за движения во время экспозиции. Дрожание камеры или движущийся объект распределяют визуальные детали по соседним пикселям, превращая края в полосы. Алгоритм устранения смаза оценивает характер этого размытия и восстанавливает исходные структуры, делая изображения полезнее для машинного зрения, в том числе для обнаружения объектов и оптического распознавания символов. «Устранение смаза движения» — другое название той же операции.

Как возникает смаз движения#

Во время экспозиции камера накапливает свет. Движение в этот промежуток времени объединяет разные положения сцены в одно изображение. Ядро размытия, также называемое функцией рассеяния точки (PSF), описывает, как свет от отдельной точки распределяется по изображению. Прямолинейное движение с постоянной скоростью формирует ядро примерно линейной формы; вращение камеры и независимо движущиеся объекты вызывают пространственно меняющееся размытие. Распространённая математическая модель представляет размытое изображение как результат свёртки резкого изображения с ядром и добавления шума.

Устранение смаза движения относится к восстановлению изображений. Повышение резкости усиливает локальный контраст краев, тогда как устранение смаза позволяет оценить изображение до размытия. Устранение размытия дефокусировки исправляет смаз, вызванный неправильной фокусировкой; сверхразрешение восстанавливает изображение с более высоким пространственным разрешением. Эти задачи могут сочетаться в конвейерах восстановления.

Классические и нейросетевые подходы#

Неблиндовое устранение размытия использует заданное ядро размытия. Слепое устранение размытия оценивает неизвестное размытие одновременно с четким изображением. Классические методы применяют деконволюцию, чтобы обратить процесс размытия. Фильтрация Винера балансирует восстановление деталей и усиление шума с помощью регуляризации — ограничения, которое помогает получать устойчивые оценки изображения.

Нейронная сеть может научиться восстановлению на парах размытых и четких изображений с помощью обучения с учителем. В 2016 году Аян Чакраборти представил работу A Neural Approach to Blind Motion Deblurring: в ней предсказываются фильтры восстановления для перекрывающихся фрагментов изображения, объединяются результаты их применения, оценивается глобальное ядро размытия и выполняется неблиндовая деконволюция. Этот подход связывает изученную структуру изображения с явной моделью смаза движения.

Рабочий пример деконволюции#

Установи scikit-image и scipy с помощью pip install scikit-image scipy. Этот пример добавляет горизонтальное размытие движения к изображению из комплекта, а затем применяет деконволюцию Винера — Ханта с известным ядром.

import numpy as np
from scipy.signal import convolve2d
from skimage import data, img_as_float, restoration
from skimage.metrics import peak_signal_noise_ratio

image = img_as_float(data.camera())

# Model uniform horizontal movement over 15 pixels.
psf = np.zeros((15, 15))
psf[7, :] = 1 / 15
blurred = convolve2d(image, psf, mode="same", boundary="wrap")

restored = restoration.wiener(blurred, psf, balance=0.005)
before = peak_signal_noise_ratio(image, blurred, data_range=1)
after = peak_signal_noise_ratio(image, restored, data_range=1)
print(f"PSNR: {before:.2f} dB blurred -> {after:.2f} dB restored")

В результатах сравнивается качество восстановления до и после устранения смаза. Пиковое отношение сигнала к шуму (PSNR) измеряет совпадение пикселей с исходным изображением: чем выше значение, тем меньше ошибка восстановления.

Применение и данные для обучения#

• Обработка документов: устранение размытия восстанавливает штрихи символов на сфотографированном тексте. В 2014 году Цзиньшань Пань, Чжэ Ху, Чжисюнь Су и Мин-Сюань Ян представили метод устранения размытия текста, который использует характеристики яркости и краев для оценки размытия и восстановления границ текста.
• Фотосъемка динамичных сцен: датасет GoPro deblurring dataset, представленный Сынджуном На, Тхэ Хёном Кимом и Кён У Ли в 2017 году, содержит пары четких кадров и размытых изображений, полученных усреднением кадров высокоскоростного видео. Эти пары служат данными для обучения восстановлению изображения с учетом движения камеры и объектов.

Смаз движения влияет и на обнаружение объектов с помощью Ultralytics YOLO26: из-за размытого изображения модель может пропускать объекты в режиме предсказания, а кадры, восстановленные отдельным этапом устранения размытия, можно подавать модели как любые другие изображения. На тестовом изображении Ultralytics bus.jpg горизонтальное размытие движения шириной 61 пиксель снизило число обнаруженных YOLO26n людей с четырех до двух.

Качество реконструкции и артефакты#

Качество устранения размытия определяется точностью краев, сохранением текстуры и стабильностью результатов между видеокадрами. Временная согласованность описывает стабильность от кадра к кадру. В видеометодах соседние кадры могут служить дополнительными данными для восстановления.

Деконволюция может усиливать шум или создавать звон, заметный в виде чередующихся светлых и темных полос рядом с краями. При восстановлении на основе преобразования Фурье резкое несовпадение противоположных границ изображения порождает искусственные высокочастотные компоненты и звон по краям; сглаживание границ уменьшает этот разрыв перед деконволюцией.