Image Registration

Đăng ký ảnh là quá trình căn chỉnh hai hoặc nhiều ảnh để cùng một vị trí trong cảnh tương ứng với các tọa độ tương ứng. Hãy tưởng tượng đặt một ảnh vệ tinh chụp vào tháng 6 lên ảnh chụp vào tháng 1: nếu góc hoặc vị trí camera thay đổi, một con đường có thể trông như bị dịch chuyển dù thực tế không hề di chuyển. Đăng ký ảnh khắc phục sự sai lệch hình học đó trước khi hệ thống thị giác máy tính so sánh các ảnh hoặc kết hợp thông tin của chúng.

Cách thức đăng ký ảnh hoạt động#

Quy trình đăng ký chọn một ảnh làm ảnh cố định, xác định hệ tọa độ đích, và một ảnh khác làm ảnh di động, cần được căn chỉnh theo ảnh cố định. Hệ thống ước tính một phép biến đổi không gian, sau đó lấy mẫu lại ảnh di động—tính giá trị pixel tại các vị trí mới. Có thể kiểm tra kết quả dưới dạng ảnh chồng lớp: các cấu trúc ổn định phải trùng khớp, trong khi những thay đổi thực sự vẫn hiển thị. Tổng quan về đăng ký ảnh của ImageJ minh họa mối liên hệ giữa các điểm tương ứng, phép biến đổi và ảnh đã căn chỉnh.

Có hai cách phổ biến để ước tính phép biến đổi. Đăng ký dựa trên đặc trưng xác định các vị trí dễ nhận biết, chẳng hạn như góc, trong cả hai ảnh rồi ghép các điểm biểu thị cùng một vị trí. Sau đó, phương pháp này khớp một phép biến đổi với các cặp điểm tương ứng đó, đồng thời loại bỏ các cặp không khớp khi có thể; hướng dẫn về ghép đặc trưng và phép biến đổi homography của OpenCV trình bày cách thực hiện. Đăng ký dựa trên cường độ thay vào đó điều chỉnh phép biến đổi để cải thiện một thước đo độ tương đồng giữa các giá trị pixel của ảnh. Thước đo đó và quy trình tìm kiếm, gọi là bộ tối ưu hóa, là những thành phần cốt lõi của quy trình đăng ký dựa trên cường độ.

Chọn phép biến đổi#

Phép biến đổi phù hợp phụ thuộc vào lý do khiến các ảnh khác nhau. Phép tịnh tiến xử lý dịch chuyển đơn giản theo chiều ngang hoặc chiều dọc. Phép biến đổi cứng cũng cho phép xoay nhưng vẫn bảo toàn khoảng cách. Đăng ký affine còn xử lý được co giãn và độ xiên, nhưng áp dụng một phép biến đổi duy nhất trên toàn bộ ảnh. Phép biến đổi phối cảnh, hay homography, có thể tính đến khác biệt về phối cảnh khi cảnh được ghép tương ứng gần như phẳng. Các loại phép biến đổi hình học được MathWorks giải thích cung cấp những minh họa trực quan hữu ích để phân biệt các loại này.

Một số cảnh cần đăng ký biến dạng, cho phép các vùng khác nhau dịch chuyển ở mức độ khác nhau—ví dụ, khi hình dạng giải phẫu thay đổi giữa các lần chụp. Tính linh hoạt này có thể cải thiện căn chỉnh cục bộ, nhưng phép biến dạng không hợp lý có thể che khuất khác biệt thực sự. Vì vậy, các công cụ xử lý ảnh y tế như framework đăng ký của SimpleITK hiển thị rõ phép biến đổi, thước đo độ tương đồng, bộ tối ưu hóa và phương pháp nội suy.

Đăng ký ảnh và các tác vụ thị giác liên quan#

Đăng ký ảnh tập trung vào hệ tọa độ chung, chứ không chỉ đơn thuần là sự giống nhau về hình ảnh. Ghép ảnh tìm nội dung hình ảnh tương ứng và có thể cung cấp các cặp điểm cần thiết cho việc đăng ký; đăng ký ảnh tiến xa hơn bằng cách ước tính và áp dụng căn chỉnh không gian. Keypoint có thể làm điểm tương ứng, dù các điểm trên người hoặc phương tiện đang di chuyển thường là mốc neo kém phù hợp để căn chỉnh phông nền tĩnh.

Tương tự, luồng quang học ước tính chuyển động biểu kiến giữa các khung hình. Các ước tính chuyển động này có thể hỗ trợ đăng ký khung hình, như minh họa trong ví dụ đăng ký bằng luồng quang học của scikit-image, nhưng bản thân luồng quang học không đảm bảo căn chỉnh chính xác. Theo dõi đối tượng có mục tiêu khác: duy trì danh tính của đối tượng theo thời gian. Bộ theo dõi có thể sử dụng ước tính chuyển động của phông nền để tránh nhầm lẫn chuyển động camera với chuyển động của đối tượng.

Vai trò trong các ứng dụng AI#

Trong phát hiện thay đổi trên ảnh vệ tinh, chuyên viên phân tích có thể so sánh ảnh đất nông nghiệp được chụp cách nhau vài tháng để xác định các khu vực mới được khai quang. Đăng ký ảnh đưa các cánh đồng, con đường và ranh giới về cùng vị trí pixel trước khi model phát hiện thay đổi so sánh chúng. Nếu không, ranh giới cánh đồng bị dịch chuyển có thể trông như thay đổi lớp phủ đất. Sau khi căn chỉnh, vẫn cần lưu ý đến khác biệt về mùa, điều kiện chiếu sáng hoặc loại cảm biến. Đây là vấn đề thường gặp trong phân tích ảnh vệ tinh.

Trong phân tích ảnh y tế, bác sĩ có thể so sánh các lần chụp ở những lần khám khác nhau để đánh giá liệu tổn thương có thay đổi hay không. Căn chỉnh ảnh giúp việc so sánh cùng một vùng giải phẫu hoặc đưa vùng đó vào model phân đoạn trở nên dễ dàng hơn. Do giải phẫu có thể biến dạng và các phương pháp chụp ảnh có thể tạo ra những mẫu độ sáng khác nhau, đăng ký ảnh tốt phải bảo toàn các khác biệt có ý nghĩa lâm sàng thay vì ép mọi vùng trông giống nhau.

Đăng ký ảnh và kiểm định trong thực tế#

Bắt đầu với phép biến đổi đơn giản nhất có thể giải thích hợp lý sự sai lệch. Xác nhận rằng các ảnh có đủ nội dung hiển thị chung, tính đến sự khác biệt về độ phân giải và kiểm tra căn chỉnh tại nhiều vị trí—không chỉ ở nơi khớp tốt nhất. Lưu phép biến đổi đã ước tính nếu cần ánh xạ các dự đoán hoặc chú thích về ảnh gốc sau này. Hướng dẫn về phép biến đổi hình học của OpenCV giải thích cách biến dạng ảnh định vị các pixel đã biến đổi.

Ví dụ độc lập sau đây sử dụng quy trình tương quan pha của scikit-image để ước tính phép tịnh tiến. Cài đặt các phần phụ thuộc bằng pip install scikit-image scipy.

import numpy as np
from scipy.ndimage import shift
from skimage import data
from skimage.io import imsave
from skimage.registration import phase_cross_correlation

# Tạo ảnh tham chiếu và một bản sao bị dịch chuyển của cùng ảnh đó.
fixed = data.camera()
moving = np.roll(fixed, shift=(12, -8), axis=(0, 1))

# Ước tính độ dịch chuyển cần thiết để căn chỉnh ảnh di động với ảnh cố định.
estimated_shift, _, _ = phase_cross_correlation(fixed, moving)
aligned = shift(moving, estimated_shift, order=0, mode="grid-wrap")

imsave("registered.png", aligned)
print(estimated_shift)

Các giá trị được in ra mô tả hiệu chỉnh, còn registered.png hiển thị ảnh đã căn chỉnh. Đây là ví dụ chỉ dùng phép tịnh tiến; ví dụ này không xử lý phép xoay, biến dạng hoặc ảnh từ các cảm biến khác nhau. Trong pipeline video dùng camera di động, theo dõi bằng Ultralytics YOLO là một ứng dụng liên quan: tính năng bù chuyển động camera ước tính phép biến đổi giữa các khung hình để giúp giữ cho vị trí đối tượng được theo dõi nhất quán. Thao tác theo dõi đó hỗ trợ liên kết đối tượng giữa các khung hình, thay vì tạo ra ảnh đã đăng ký dùng cho mục đích tổng quát.