Motion Deblurring

Khử nhòe chuyển động là quá trình tái tạo hình ảnh sắc nét hơn từ ảnh chụp hoặc khung hình video bị nhòe do chuyển động trong lúc phơi sáng. Rung camera hoặc chủ thể chuyển động làm lan chi tiết hình ảnh sang các pixel lân cận, khiến các cạnh biến thành vệt. Khử nhòe ước tính cách hiện tượng lan này xảy ra và khôi phục cấu trúc ban đầu, giúp hình ảnh hữu ích hơn cho thị giác máy tính, bao gồm phát hiện đối tượng và nhận dạng ký tự quang học. “Khử nhòe chuyển động” là một tên gọi khác của cùng thao tác này.

Cách hình thành nhòe chuyển động#

Camera thu nhận ánh sáng trong suốt thời gian phơi sáng. Chuyển động trong khoảng thời gian đó hòa trộn các vị trí khác nhau của cảnh vào một hình ảnh. Kernel làm nhòe, còn gọi là hàm tán xạ điểm (PSF), mô tả cách một điểm đơn lẻ bị lan rộng. Chuyển động thẳng với tốc độ không đổi tạo ra kernel có dạng gần như đường thẳng; chuyển động xoay camera và các vật thể chuyển động độc lập tạo ra hiện tượng nhòe thay đổi theo không gian. Một mô hình toán học phổ biến biểu diễn ảnh bị nhòe là ảnh sắc nét được kết hợp với kernel thông qua phép tích chập, cộng thêm nhiễu.

Khử nhòe chuyển động thuộc lĩnh vực phục hồi ảnh. Làm sắc nét tăng độ tương phản cục bộ ở các cạnh, còn khử nhòe ước tính hình ảnh trước khi hiện tượng lan rộng xảy ra. Khử nhòe do mất nét xử lý hiện tượng nhòe do lấy nét sai; siêu phân giải tái tạo hình ảnh ở độ phân giải không gian cao hơn. Các tác vụ này có thể xuất hiện cùng nhau trong pipeline phục hồi ảnh.

Các phương pháp cổ điển và mạng nơ-ron#

Khử nhòe không mù sử dụng kernel làm nhòe được cung cấp. Khử nhòe mù ước tính cả hiện tượng nhòe chưa biết lẫn hình ảnh sắc nét. Các phương pháp cổ điển dùng phép giải chập để đảo ngược hiện tượng lan rộng. Bộ lọc Wiener cân bằng giữa khôi phục chi tiết và khuếch đại nhiễu bằng cách sử dụng điều chuẩn—một ràng buộc ưu tiên các ước tính hình ảnh ổn định.

Mạng nơ-ron có thể học cách phục hồi từ các cặp ảnh bị nhòe và ảnh sắc nét thông qua học có giám sát. Năm 2016, Ayan Chakrabarti giới thiệu Phương pháp mạng nơ-ron để khử nhòe chuyển động mù, phương pháp dự đoán các bộ lọc phục hồi cho những vùng ảnh chồng lấn, kết hợp đầu ra của chúng, ước tính kernel làm nhòe toàn cục và thực hiện giải chập không mù. Phương pháp này kết nối cấu trúc ảnh được học với mô hình tường minh về nhòe chuyển động.

Ví dụ giải chập có thể chạy#

Cài đặt scikit-image và scipy bằng pip install scikit-image scipy. Ví dụ này áp dụng hiệu ứng nhòe chuyển động theo chiều ngang lên một hình ảnh đi kèm, sau đó dùng giải chập Wiener–Hunt với kernel đã biết.

import numpy as np
from scipy.signal import convolve2d
from skimage import data, img_as_float, restoration
from skimage.metrics import peak_signal_noise_ratio

image = img_as_float(data.camera())

# Model uniform horizontal movement over 15 pixels.
psf = np.zeros((15, 15))
psf[7, :] = 1 / 15
blurred = convolve2d(image, psf, mode="same", boundary="wrap")

restored = restoration.wiener(blurred, psf, balance=0.005)
before = peak_signal_noise_ratio(image, blurred, data_range=1)
after = peak_signal_noise_ratio(image, restored, data_range=1)
print(f"PSNR: {before:.2f} dB blurred -> {after:.2f} dB restored")

Đầu ra so sánh chất lượng tái tạo trước và sau khi khử nhòe. Tỷ số tín hiệu trên nhiễu đỉnh (PSNR) đo mức độ trùng khớp pixel với ảnh gốc; giá trị cao hơn cho biết sai số tái tạo thấp hơn.

Ứng dụng và dữ liệu huấn luyện#

• Xử lý tài liệu: Khử nhòe tái tạo nét chữ trong văn bản được chụp ảnh. Năm 2014, Jinshan Pan, Zhe Hu, Zhixun Su và Ming-Hsuan Yang giới thiệu phương pháp khử nhòe chuyên biệt cho văn bản, sử dụng đặc tính cường độ và cạnh để ước tính độ nhòe và khôi phục đường biên của văn bản.
• Chụp ảnh cảnh động: Dataset khử nhòe GoPro, được Seungjun Nah, Tae Hyun Kim và Kyoung Mu Lee giới thiệu năm 2017, ghép các khung hình sắc nét với ảnh bị nhòe được tạo bằng cách lấy trung bình các khung hình video tốc độ cao. Những cặp ảnh này cung cấp dữ liệu huấn luyện để học cách phục hồi chuyển động của camera và vật thể.

Nhòe chuyển động cũng ảnh hưởng đến khả năng phát hiện của Ultralytics YOLO26: đầu vào bị nhòe có thể khiến model bỏ sót đối tượng trong chế độ predict, còn các khung hình được phục hồi bằng một bước khử nhòe riêng có thể được đưa vào model như mọi hình ảnh khác. Trên hình ảnh mẫu bus.jpg của Ultralytics, hiện tượng nhòe chuyển động ngang 61 pixel khiến số người YOLO26n phát hiện giảm từ bốn xuống còn hai.

Chất lượng tái tạo và hiện tượng giả#

Chất lượng khử nhòe được đánh giá qua cạnh trung thực, kết cấu được bảo toàn và kết quả ổn định giữa các khung hình video. Tính nhất quán theo thời gian mô tả mức độ ổn định đó giữa các khung hình. Các phương pháp xử lý video có thể dùng những khung hình lân cận làm bằng chứng bổ sung cho quá trình phục hồi.

Phép giải chập có thể khuếch đại nhiễu hoặc tạo ra hiện tượng ringing, có thể quan sát dưới dạng các dải sáng tối xen kẽ gần cạnh. Trong phục hồi dựa trên Fourier, sự không khớp đột ngột giữa hai biên đối diện của ảnh tạo ra nội dung tần số cao giả và gây ringing ở biên; làm mờ biên giúp giảm độ gián đoạn này trước khi giải chập.