Image Stitching
Ghép ảnh căn chỉnh và hòa trộn các ảnh chồng lấp để tạo thành ảnh toàn cảnh hoặc ảnh ghép liên tục bằng cách khớp đặc trưng, biến dạng hình học và hòa trộn đường nối.
Ghép ảnh, còn gọi là ghép ảnh chụp, căn chỉnh và kết hợp hai hoặc nhiều ảnh chồng lấp thành một khung hình liên tục. Phần chồng lấp cho phần mềm biết các ảnh khớp với nhau ở đâu: một địa danh gần mép phải của ảnh này có thể xuất hiện gần giữa ảnh tiếp theo. Căn chỉnh hai vị trí xuất hiện đó giúp ảnh tổng hợp bao quát được nhiều cảnh hơn so với từng ảnh riêng lẻ. Một số trình chỉnh sửa ảnh cũng dùng thuật ngữ "ghép ảnh chụp" để chỉ việc sắp xếp các ảnh riêng biệt cạnh nhau thành ảnh ghép.
Cách ghép ảnh hoạt động#
Đăng ký ảnh ước tính vị trí của từng ảnh trong một hệ tọa độ chung. Quá trình này thường bắt đầu bằng khớp ảnh. Một phương pháp như Phép biến đổi đặc trưng bất biến theo tỷ lệ (SIFT) tìm các điểm đặc trưng riêng biệt và mô tả các pixel xung quanh chúng để có thể nhận diện những chi tiết giống nhau trong một góc nhìn khác. Trong phương pháp tạo ảnh toàn cảnh tự động năm 2007 của Matthew Brown và David Lowe, đồng thuận mẫu ngẫu nhiên (RANSAC) khớp các phép biến đổi ứng viên từ những tập con nhỏ của các điểm khớp và tìm phép khớp có nhiều điểm khớp nhất nhất quán về mặt hình học. Ghép ảnh cổ điển không cần huấn luyện model. Một bộ khớp đã học như LoFTR cũng có thể tìm các điểm tương ứng ở những khu vực mà bộ phát hiện điểm khóa truyền thống tìm được quá ít điểm.
Phép chiếu đồng nhất có thể căn chỉnh các góc nhìn của một bề mặt phẳng hoặc các góc nhìn thu được khi xoay camera quanh tâm quang học. Phép biến đổi affine có thể xử lý những thay đổi đơn giản hơn, chẳng hạn như dịch chuyển và xoay giữa các bản quét phẳng. Với nhiều góc nhìn, hiệu chỉnh bó đồng thời tinh chỉnh căn chỉnh của chúng, giảm độ trôi có thể tích lũy khi mỗi ảnh chỉ được căn chỉnh với ảnh liền kề. Phép biến dạng hình học áp dụng căn chỉnh đã ước tính để đặt các ảnh lên cùng một canvas.
Quá trình ghép tiếp tục sau bước đăng ký. Bù phơi sáng giảm chênh lệch độ sáng, chọn đường nối xác định vị trí chuyển tiếp giữa các góc nhìn, còn hòa trộn làm mượt phần chuyển tiếp. Hòa trộn đa băng tần sử dụng vùng chuyển tiếp rộng hơn cho những thay đổi sắc độ từ từ và vùng hẹp hơn cho các chi tiết nhỏ.
Cách ghép hai ảnh với nhau#
Bắt đầu với hai ảnh có chung các chi tiết cảnh dễ nhận diện. Trong Photoshop, Tệp > Tự động hóa > Photomerge căn chỉnh các ảnh chụp chồng lấp và dùng layer mask để hòa trộn chúng. Trong Python, OpenCV Stitcher ước tính căn chỉnh và tổng hợp kết quả. Khi đã cài đặt opencv-python, ví dụ bên dưới sẽ ghép hai phần ảnh cắt chồng lấp từ ảnh chụp xe buýt. Chế độ SCANS sử dụng model affine, phù hợp với độ dịch ngang giữa hai phần ảnh cắt.
from urllib.request import urlretrieve
import cv2
path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]
# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()
stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)Đầu ra, stitched_bus.jpg, kết hợp các phần rìa của cả hai ảnh cắt trên cùng một canvas. Phần giữa chung chỉ xuất hiện một lần thay vì hai lần như khi đặt hai ảnh cắt cạnh nhau.
Vì sao ghép ảnh bị lỗi#
Không có tỷ lệ chồng lấp nào phù hợp với mọi trường hợp. Kết cấu và độ phân bố của các điểm khớp đều quan trọng: một dải trời trống có ít địa điểm nhận diện, trong khi các cửa sổ lặp lại có thể khiến bộ ghép căn chỉnh sai các phần của mặt tiền. Khi camera dịch chuyển ngang, các vật thể ở gần sẽ dịch chuyển tương đối so với hậu cảnh. Độ dịch chuyển phụ thuộc vào độ sâu này, gọi là thị sai, có thể khiến đường viền tiền cảnh bị nhân đôi ngay cả khi hậu cảnh đã khớp. Chủ thể chuyển động cũng có thể xuất hiện hai lần nếu đi qua vùng chồng lấp giữa các lần phơi sáng. Một bước nhảy độ sáng dọc theo đường nối vốn đã được căn chỉnh cho thấy có thể cần điều chỉnh bù phơi sáng hoặc hòa trộn. Những lỗi này có thể xuất hiện đồng thời.
Ứng dụng của ghép ảnh#
- Nhiếp ảnh toàn cảnh: Các góc nhìn liên tiếp ghi lại góc rộng hơn so với một lần phơi sáng. Phép chiếu trụ hoặc hình cầu phù hợp với trường nhìn rộng, vốn sẽ bị kéo giãn ở các cạnh nếu dùng phép chiếu phẳng.
- Kính hiển vi: Plugin ghép ảnh của Fiji căn chỉnh các ô ảnh kính hiển vi chồng lấp thành một góc nhìn lớn hơn về mẫu vật mà không cần chụp ở độ phóng đại thấp hơn.
- Lập bản đồ trên không: OpenDroneMap kết hợp các ảnh chụp trên không chồng lấp thành một bản đồ trực ảnh. Trên ảnh ghép hoàn chỉnh, tính năng phân ô ảnh độ phân giải cao của Ultralytics YOLO chạy phát hiện đối tượng trên các ảnh cắt có vị trí đã biết, bảo toàn chi tiết của vật thể nhỏ mà việc thay đổi kích thước toàn ảnh có thể làm mất. Bản đồ trực ảnh có tỷ lệ bản đồ đồng nhất vì hình học của ảnh đã được hiệu chỉnh theo độ nghiêng camera và độ lồi lõm địa hình, cho phép đo khoảng cách trên mặt đất.










