Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Image Stitching

Ghép ảnh căn chỉnh và hòa trộn các ảnh chồng lấp để tạo thành ảnh toàn cảnh hoặc ảnh ghép liên tục bằng cách khớp đặc trưng, biến dạng hình học và hòa trộn đường nối.

Ghép ảnh, còn gọi là ghép ảnh chụp, căn chỉnh và kết hợp hai hoặc nhiều ảnh chồng lấp thành một khung hình liên tục. Phần chồng lấp cho phần mềm biết các ảnh khớp với nhau ở đâu: một địa danh gần mép phải của ảnh này có thể xuất hiện gần giữa ảnh tiếp theo. Căn chỉnh hai vị trí xuất hiện đó giúp ảnh tổng hợp bao quát được nhiều cảnh hơn so với từng ảnh riêng lẻ. Một số trình chỉnh sửa ảnh cũng dùng thuật ngữ "ghép ảnh chụp" để chỉ việc sắp xếp các ảnh riêng biệt cạnh nhau thành ảnh ghép.

Cách ghép ảnh hoạt động#

Đăng ký ảnh ước tính vị trí của từng ảnh trong một hệ tọa độ chung. Quá trình này thường bắt đầu bằng khớp ảnh. Một phương pháp như Phép biến đổi đặc trưng bất biến theo tỷ lệ (SIFT) tìm các điểm đặc trưng riêng biệt và mô tả các pixel xung quanh chúng để có thể nhận diện những chi tiết giống nhau trong một góc nhìn khác. Trong phương pháp tạo ảnh toàn cảnh tự động năm 2007 của Matthew Brown và David Lowe, đồng thuận mẫu ngẫu nhiên (RANSAC) khớp các phép biến đổi ứng viên từ những tập con nhỏ của các điểm khớp và tìm phép khớp có nhiều điểm khớp nhất nhất quán về mặt hình học. Ghép ảnh cổ điển không cần huấn luyện model. Một bộ khớp đã học như LoFTR cũng có thể tìm các điểm tương ứng ở những khu vực mà bộ phát hiện điểm khóa truyền thống tìm được quá ít điểm.

Phép chiếu đồng nhất có thể căn chỉnh các góc nhìn của một bề mặt phẳng hoặc các góc nhìn thu được khi xoay camera quanh tâm quang học. Phép biến đổi affine có thể xử lý những thay đổi đơn giản hơn, chẳng hạn như dịch chuyển và xoay giữa các bản quét phẳng. Với nhiều góc nhìn, hiệu chỉnh bó đồng thời tinh chỉnh căn chỉnh của chúng, giảm độ trôi có thể tích lũy khi mỗi ảnh chỉ được căn chỉnh với ảnh liền kề. Phép biến dạng hình học áp dụng căn chỉnh đã ước tính để đặt các ảnh lên cùng một canvas.

Quá trình ghép tiếp tục sau bước đăng ký. Bù phơi sáng giảm chênh lệch độ sáng, chọn đường nối xác định vị trí chuyển tiếp giữa các góc nhìn, còn hòa trộn làm mượt phần chuyển tiếp. Hòa trộn đa băng tần sử dụng vùng chuyển tiếp rộng hơn cho những thay đổi sắc độ từ từ và vùng hẹp hơn cho các chi tiết nhỏ.

Cách ghép hai ảnh với nhau#

Bắt đầu với hai ảnh có chung các chi tiết cảnh dễ nhận diện. Trong Photoshop, Tệp > Tự động hóa > Photomerge căn chỉnh các ảnh chụp chồng lấp và dùng layer mask để hòa trộn chúng. Trong Python, OpenCV Stitcher ước tính căn chỉnh và tổng hợp kết quả. Khi đã cài đặt opencv-python, ví dụ bên dưới sẽ ghép hai phần ảnh cắt chồng lấp từ ảnh chụp xe buýt. Chế độ SCANS sử dụng model affine, phù hợp với độ dịch ngang giữa hai phần ảnh cắt.

from urllib.request import urlretrieve

import cv2

path, _ = urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = cv2.imread(path)
width = image.shape[1]

# Create two views with a shared center region.
left = image[:, : 4 * width // 5].copy()
right = image[:, width // 5 :].copy()

stitcher = cv2.Stitcher_create(cv2.Stitcher_SCANS)
status, stitched = stitcher.stitch([left, right])
if status != cv2.Stitcher_OK:
    raise RuntimeError(f"Stitching failed with status {status}")
cv2.imwrite("stitched_bus.jpg", stitched)

Đầu ra, stitched_bus.jpg, kết hợp các phần rìa của cả hai ảnh cắt trên cùng một canvas. Phần giữa chung chỉ xuất hiện một lần thay vì hai lần như khi đặt hai ảnh cắt cạnh nhau.

Vì sao ghép ảnh bị lỗi#

Không có tỷ lệ chồng lấp nào phù hợp với mọi trường hợp. Kết cấu và độ phân bố của các điểm khớp đều quan trọng: một dải trời trống có ít địa điểm nhận diện, trong khi các cửa sổ lặp lại có thể khiến bộ ghép căn chỉnh sai các phần của mặt tiền. Khi camera dịch chuyển ngang, các vật thể ở gần sẽ dịch chuyển tương đối so với hậu cảnh. Độ dịch chuyển phụ thuộc vào độ sâu này, gọi là thị sai, có thể khiến đường viền tiền cảnh bị nhân đôi ngay cả khi hậu cảnh đã khớp. Chủ thể chuyển động cũng có thể xuất hiện hai lần nếu đi qua vùng chồng lấp giữa các lần phơi sáng. Một bước nhảy độ sáng dọc theo đường nối vốn đã được căn chỉnh cho thấy có thể cần điều chỉnh bù phơi sáng hoặc hòa trộn. Những lỗi này có thể xuất hiện đồng thời.

Ứng dụng của ghép ảnh#

  • Nhiếp ảnh toàn cảnh: Các góc nhìn liên tiếp ghi lại góc rộng hơn so với một lần phơi sáng. Phép chiếu trụ hoặc hình cầu phù hợp với trường nhìn rộng, vốn sẽ bị kéo giãn ở các cạnh nếu dùng phép chiếu phẳng.
  • Kính hiển vi: Plugin ghép ảnh của Fiji căn chỉnh các ô ảnh kính hiển vi chồng lấp thành một góc nhìn lớn hơn về mẫu vật mà không cần chụp ở độ phóng đại thấp hơn.
  • Lập bản đồ trên không: OpenDroneMap kết hợp các ảnh chụp trên không chồng lấp thành một bản đồ trực ảnh. Trên ảnh ghép hoàn chỉnh, tính năng phân ô ảnh độ phân giải cao của Ultralytics YOLO chạy phát hiện đối tượng trên các ảnh cắt có vị trí đã biết, bảo toàn chi tiết của vật thể nhỏ mà việc thay đổi kích thước toàn ảnh có thể làm mất. Bản đồ trực ảnh có tỷ lệ bản đồ đồng nhất vì hình học của ảnh đã được hiệu chỉnh theo độ nghiêng camera và độ lồi lõm địa hình, cho phép đo khoảng cách trên mặt đất.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning