Ghép ảnh trong vision AI là gì? Giới thiệu nhanh

Khi nhìn vào hai bức ảnh của cùng một vật thể, chẳng hạn như một bức tranh và một bức ảnh chụp chiếc xe, chúng ta dễ dàng nhận ra những điểm chung. Tuy nhiên, với máy móc, việc này không hề đơn giản.

Để thực hiện những phép so sánh như vậy, máy móc dựa vào thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI) giúp chúng diễn giải và hiểu thông tin hình ảnh. Thị giác máy tính cho phép hệ thống phát hiện đối tượng, hiểu cảnh vật và trích xuất mẫu từ hình ảnh hoặc video.

Cụ thể, một số tác vụ hình ảnh không chỉ dừng ở việc phân tích một ảnh đơn lẻ. Chúng bao gồm việc so sánh ảnh để tìm điểm tương đồng, nhận diện khác biệt hoặc theo dõi thay đổi theo thời gian.

Vision AI bao gồm nhiều kỹ thuật, trong đó đối sánh ảnh là một năng lực thiết yếu tập trung vào việc xác định điểm tương đồng giữa các ảnh, ngay cả khi ánh sáng, góc chụp hoặc phông nền khác nhau. Kỹ thuật này có thể được ứng dụng trong nhiều lĩnh vực, bao gồm robot, thực tế tăng cường và lập bản đồ địa lý.

Trong bài viết này, chúng ta sẽ tìm hiểu ghép ảnh là gì, các kỹ thuật cốt lõi và một số ứng dụng thực tế của phương pháp này.

Đối sánh ảnh là gì?#

Đối sánh ảnh giúp hệ thống máy tính xác định hai ảnh có chứa nội dung tương tự hay không. Con người có thể làm điều này một cách trực quan bằng cách nhận biết hình dạng, màu sắc và mẫu.

Ngược lại, máy tính dựa vào dữ liệu số. Máy tính phân tích ảnh bằng cách kiểm tra từng pixel, đơn vị nhỏ nhất của ảnh kỹ thuật số.

Mỗi ảnh được lưu dưới dạng một lưới pixel, trong đó mỗi pixel thường chứa các giá trị màu đỏ, xanh lá và xanh dương (RGB). Những giá trị này có thể thay đổi khi ảnh được xoay, thay đổi kích thước, nhìn từ góc khác hoặc chụp trong điều kiện ánh sáng khác nhau. Do những biến thiên này, việc so sánh ảnh theo từng pixel thường không đáng tin cậy.

Để việc so sánh nhất quán hơn, ghép ảnh tập trung vào các đặc trưng cục bộ như góc, cạnh và vùng có kết cấu, vốn thường ổn định ngay cả khi ảnh thay đổi đôi chút. Bằng cách phát hiện các đặc trưng này, hay điểm đặc trưng, trong nhiều ảnh, hệ thống có thể so sánh chúng với độ chính xác cao hơn nhiều.

Quy trình này được ứng dụng rộng rãi trong các trường hợp như dẫn đường, định vị, thực tế tăng cường, lập bản đồ, tái tạo 3D và tìm kiếm bằng hình ảnh. Khi hệ thống xác định cùng một điểm trên các ảnh khác nhau hoặc nhiều khung hình, hệ thống có thể theo dõi chuyển động, hiểu cấu trúc cảnh và đưa ra quyết định đáng tin cậy trong môi trường biến động.

Hình 1. Ví dụ về đối sánh ảnh xe hơi, trong đó các keypoint tương tự được xác định. (Nguồn)

Tìm hiểu cách thức hoạt động của đối sánh ảnh#

Đối sánh ảnh gồm một số bước chính giúp hệ thống xác định và so sánh các vùng tương tự trong ảnh. Mỗi bước đều cải thiện độ chính xác, tính nhất quán và độ bền vững trong những điều kiện khác nhau.

Dưới đây là từng bước trong quy trình đối sánh ảnh:

• Phát hiện đặc trưng: Trước tiên, hệ thống xác định các điểm đặc trưng riêng biệt trong ảnh, vẫn có thể nhận dạng được ngay cả khi ánh sáng, tỷ lệ hoặc góc nhìn thay đổi. Các điểm này đánh dấu những vùng nổi bật về mặt thị giác như góc, cạnh hoặc vùng có kết cấu.
• Mô tả đặc trưng: Sau đó, mỗi keypoint được chuyển thành một descriptor, tức vector số gọn nhẹ ghi lại mẫu hình ảnh xung quanh điểm đó. Các descriptor này cung cấp phương thức đáng tin cậy để so sánh đặc trưng giữa các ảnh khác nhau.
• Đối sánh đặc trưng: Các descriptor từ hai ảnh được so sánh bằng thuật toán đối sánh để tính mức độ tương đồng. Bước này ghép các keypoint có vẻ tương ứng với nhau và loại bỏ những kết quả đối sánh yếu hoặc không đáng tin cậy.
• Xác minh hình học: Cuối cùng, hệ thống kiểm tra xem các keypoint được đối sánh có tạo thành mối quan hệ hình học hợp lý hay không. Hệ thống loại bỏ các kết quả đối sánh sai (gọi là ngoại lệ) bằng phương pháp RANSAC (Đồng thuận mẫu ngẫu nhiên), đảm bảo chỉ giữ lại các cặp điểm đáng tin cậy. Sau khi xác định được các kết quả đối sánh tốt, hệ thống ước tính phép biến đổi thể hiện tốt nhất mối quan hệ giữa hai ảnh. Phép biến đổi này thường là biến đổi affine, điều chỉnh những thay đổi như co giãn, xoay và dịch chuyển, hoặc phép biến đổi homography, cũng có thể xử lý thay đổi phối cảnh. Sử dụng các phép biến đổi này giúp hệ thống căn chỉnh ảnh chính xác, ngay cả khi ảnh được chụp từ các góc nhìn hơi khác nhau.

Hình 2. (a) Trích xuất điểm đặc trưng và (b) ghép cặp đặc trưng. (Nguồn)

Các kỹ thuật cốt lõi trong ghép ảnh#

Trước khi tìm hiểu các ứng dụng thực tế của ghép ảnh, hãy cùng xem kỹ hơn những kỹ thuật ghép ảnh được sử dụng trong các hệ thống thị giác máy tính.

Ghép ảnh dựa trên so khớp mẫu#

Ghép mẫu là một trong những phương pháp ghép ảnh đơn giản nhất. Phương pháp này thường được xem là một kỹ thuật xử lý ảnh thay vì phương pháp thị giác máy tính hiện đại, vì dựa trên so sánh trực tiếp các pixel và không trích xuất những đặc trưng hình ảnh sâu hơn.

Phương pháp này được dùng để xác định vị trí của một ảnh tham chiếu nhỏ hơn, hay mẫu, bên trong một cảnh lớn hơn. Phương pháp hoạt động bằng cách sử dụng thuật toán trượt mẫu trên ảnh chính và tính điểm tương đồng tại mỗi vị trí để đo mức độ khớp giữa hai vùng. Vùng có điểm cao nhất được xem là vùng khớp tốt nhất, cho biết vị trí mà đối tượng nhiều khả năng xuất hiện trong cảnh.

Hình 3. Minh họa sử dụng so khớp mẫu. (Nguồn)

Kỹ thuật này hoạt động hiệu quả khi tỷ lệ, góc xoay và điều kiện ánh sáng của đối tượng không đổi, nên phù hợp với môi trường được kiểm soát hoặc dùng để so sánh làm mốc. Tuy nhiên, hiệu suất giảm khi đối tượng trông khác với mẫu, chẳng hạn như khi kích thước thay đổi, bị xoay, bị che khuất một phần hoặc xuất hiện trên nền nhiễu hay phức tạp.

Các kỹ thuật ghép ảnh cổ điển dựa trên đặc trưng#

Trước khi học sâu được ứng dụng rộng rãi, việc ghép ảnh chủ yếu dựa vào các thuật toán thị giác máy tính cổ điển để phát hiện các điểm đặc trưng riêng biệt trong ảnh. Thay vì so sánh mọi pixel, các phương pháp này phân tích gradient ảnh, tức các biến đổi về cường độ, để làm nổi bật những góc, cạnh và vùng có kết cấu dễ nhận biết.

Mỗi điểm đặc trưng được phát hiện sau đó được biểu diễn bằng một bản tóm tắt số gọn nhẹ gọi là descriptor. Khi so sánh hai ảnh, bộ ghép cặp đánh giá các descriptor này để tìm những cặp tương đồng nhất.

Điểm tương đồng cao thường cho biết cùng một điểm vật lý xuất hiện trong cả hai ảnh. Bộ ghép cặp cũng sử dụng các độ đo khoảng cách hoặc quy tắc chấm điểm cụ thể để đánh giá mức độ căn chỉnh của các đặc trưng, qua đó cải thiện độ tin cậy tổng thể.

Dưới đây là một số thuật toán thị giác máy tính cổ điển quan trọng được dùng để ghép ảnh:

• SIFT (Biến đổi đặc trưng bất biến tỷ lệ): Thuật toán này xác định các điểm đặc trưng bằng cách phân tích gradient cường độ ảnh, giúp các điểm vẫn có thể nhận diện được khi ảnh được phóng to, thu nhỏ hoặc xoay.
• SURF (Đặc trưng mạnh mẽ tăng tốc): Thuật toán này tương tự SIFT nhưng được tối ưu về tốc độ. Thuật toán sử dụng các phép xấp xỉ nhanh cho những phép toán dựa trên gradient, phù hợp với các ứng dụng đòi hỏi thời gian phản hồi nhanh.
• ORB (FAST định hướng và BRIEF xoay): Thuật toán này kết hợp hai thuật toán có tên FAST và BRIEF. FAST nhanh chóng tìm các điểm dạng góc trong ảnh, còn BRIEF tạo mô tả gọn nhẹ cho từng điểm để có thể ghép cặp giữa các ảnh. ORB cũng cải tiến cả hai bước bằng cách bổ sung khả năng xử lý góc xoay, giúp thuật toán nhanh và đáng tin cậy.

Hình 4. Các điểm đặc trưng SURF được trích xuất và ghép cặp giữa hai ảnh. (Nguồn)

Các kỹ thuật ghép ảnh dựa trên học sâu#

Không giống các phương pháp cổ điển dựa vào những quy tắc cụ thể, học sâu tự động học đặc trưng từ các tập dữ liệu lớn, tức tập hợp dữ liệu thị giác mà các model AI dùng để học các mẫu. Những model này thường chạy trên GPU (bộ xử lý đồ họa), cung cấp năng lực tính toán cao cần thiết để xử lý các batch ảnh lớn và huấn luyện mạng nơ-ron phức tạp một cách hiệu quả.

Nhờ đó, model AI có thể xử lý các thay đổi trong thực tế như ánh sáng, góc camera và hiện tượng che khuất. Một số model cũng kết hợp mọi bước vào một quy trình duy nhất, giúp duy trì hiệu suất mạnh mẽ trong các điều kiện khó khăn.

Dưới đây là một số phương pháp học sâu để trích xuất và ghép đặc trưng ảnh:

• Trích xuất đặc trưng dựa trên CNN: Các model này tự động học những mẫu thị giác quan trọng từ các tập dữ liệu lớn. Chúng nhận diện các đặc trưng ít có khả năng thay đổi, giúp ghép đối tượng giữa các cảnh khác nhau một cách đáng tin cậy.
• Ghép dựa trên embedding: Thay vì so sánh trực tiếp các pixel, phương pháp này chuyển ảnh thành các biểu diễn số gọn nhẹ gọi là embedding. Sau đó, bộ ghép so sánh các embedding này để tìm hình ảnh tương tự. Các model như FaceNet, tạo embedding để nhận dạng và so sánh khuôn mặt, và CLIP, ánh xạ ảnh và văn bản vào cùng một không gian để thực hiện các tác vụ như tìm kiếm hình ảnh và ghép ngữ nghĩa, đều áp dụng phương pháp này.
• Pipeline ghép end-to-end: Các hệ thống deep learning hiện đại thường kết hợp phát hiện điểm đặc trưng, mô tả và ghép thành một quy trình thống nhất. Các model như SuperPoint và D2-Net học trực tiếp cả điểm đặc trưng lẫn descriptor từ feature map của CNN, trong khi SuperGlue hoạt động như một bộ ghép đã được học để ghép các descriptor này đáng tin cậy hơn các phương pháp truyền thống. Kết hợp lại, các thành phần này tạo thành pipeline end-to-end có độ chính xác và độ bền vững cao hơn trong điều kiện khó khăn so với các phương pháp cổ điển dựa trên đặc trưng.
• Ghép cặp dựa trên Transformer: Phương pháp này sử dụng cơ chế attention để liên kết các vùng tương ứng giữa hai ảnh, cho phép căn chỉnh các patch ngay cả khi góc nhìn, ánh sáng hoặc kết cấu thay đổi đáng kể. Các model như LoFTR (Transformer đặc trưng cục bộ) đạt độ chính xác cao hơn nhiều vì receptive field toàn cục của Transformer cho phép ghép cặp đáng tin cậy ở những vùng ít kết cấu, bị mờ hoặc lặp lại, nơi các bộ phát hiện truyền thống thường thất bại. LoFTR tạo ra các điểm ghép bán dày đặc với độ tin cậy cao và vượt xa các phương pháp tiên tiến trước đây trên cả benchmark trong nhà lẫn ngoài trời.
• Model chú trọng hiệu quả: Các model ghép ảnh mới hơn hướng đến độ chính xác cao đồng thời chạy nhanh hơn. Các model như LightGlue được thiết kế để hoạt động hiệu quả trên thiết bị có năng lực tính toán hạn chế mà vẫn duy trì chất lượng ghép cặp tốt.

Các ứng dụng thực tế của ghép ảnh#

Giờ đây, khi đã hiểu rõ hơn cách ghép ảnh hoạt động, hãy cùng xem một số ứng dụng thực tế mà kỹ thuật này đóng vai trò quan trọng.

Robot thông minh hơn nhờ ghép ảnh#

Robot thường hoạt động trong những môi trường đông đúc và luôn thay đổi, nơi chúng cần hiểu những đối tượng nào đang hiện diện và vị trí của chúng. Ghép ảnh có thể giúp robot hiểu các đối tượng mà robot nhìn thấy bằng cách so sánh chúng với ảnh tham chiếu hoặc ảnh đã lưu. Nhờ đó, robot dễ nhận diện đối tượng, theo dõi chuyển động và thích nghi hơn ngay cả khi ánh sáng hoặc góc camera thay đổi.

Ví dụ, trong nhà kho, một hệ thống gắp và đặt bằng robot có thể dùng ghép ảnh để nhận diện và xử lý nhiều mặt hàng khác nhau. Trước tiên, robot gắp một vật thể, sau đó so sánh ảnh của vật thể đó với các ảnh mẫu để nhận diện.

Hình 5. Robot nhận diện và gắp vật thể bằng cách ghép chúng với ảnh tham chiếu. (Nguồn)

Sau khi tìm được kết quả khớp, robot biết cách phân loại hoặc đặt vật thể đúng vị trí. Phương pháp này cho phép robot nhận diện cả vật thể quen thuộc lẫn vật thể mới mà không cần huấn luyện lại toàn bộ hệ thống. Phương pháp này cũng giúp robot đưa ra quyết định theo thời gian thực tốt hơn, chẳng hạn như sắp xếp kệ hàng, lắp ráp linh kiện hoặc sắp xếp lại các mặt hàng.

Cải thiện tái tạo 3D nhờ ghép ảnh tốt hơn#

Trong các lĩnh vực như lập bản đồ bằng drone, thực tế ảo và kiểm tra công trình, hệ thống thường cần tái tạo model 3D từ nhiều ảnh 2D. Để thực hiện việc này, hệ thống dựa vào ghép ảnh để xác định các điểm đặc trưng chung, chẳng hạn như góc hoặc vùng có kết cấu, xuất hiện trong nhiều ảnh.

Các điểm chung này giúp hệ thống hiểu mối liên hệ giữa những ảnh đó trong không gian 3D. Ý tưởng này có liên quan chặt chẽ đến Structure from Motion (SfM), một kỹ thuật xây dựng cấu trúc 3D bằng cách xác định và ghép các điểm đặc trưng giữa những ảnh được chụp từ các góc nhìn khác nhau.

Nếu việc ghép ảnh không chính xác, model 3D tạo ra có thể bị biến dạng hoặc không hoàn chỉnh. Vì vậy, các nhà nghiên cứu đang tìm cách cải thiện độ tin cậy của ghép ảnh trong tái tạo 3D, và những tiến bộ gần đây đã cho thấy kết quả đầy hứa hẹn.

Một ví dụ đáng chú ý là HashMatch, một thuật toán ghép ảnh nhanh và mạnh mẽ hơn. HashMatch chuyển đổi các chi tiết trong ảnh thành những mẫu gọn nhẹ gọi là mã hash, giúp dễ xác định các kết quả ghép chính xác và loại bỏ ngoại lệ, ngay cả khi ánh sáng hoặc góc nhìn thay đổi.

Khi được thử nghiệm trên các tập dữ liệu quy mô lớn, HashMatch tạo ra các model tái tạo 3D rõ nét và chân thực hơn với ít lỗi căn chỉnh hơn. Điều này khiến thuật toán đặc biệt hữu ích cho các ứng dụng như lập bản đồ bằng drone, hệ thống AR và bảo tồn di sản văn hóa, nơi độ chính xác là yếu tố then chốt.

Vai trò của ghép ảnh trong thực tế tăng cường#

Trong thực tế tăng cường (AR), việc giữ cho các đối tượng ảo căn chỉnh với thế giới thực thường là một thách thức. Môi trường ngoài trời có thể thay đổi liên tục tùy thuộc vào điều kiện môi trường như ánh nắng và thời tiết. Những khác biệt nhỏ trong thế giới thực có thể khiến các thành phần ảo trông không ổn định hoặc hơi lệch vị trí.

Để giải quyết vấn đề này, hệ thống AR sử dụng ghép ảnh để diễn giải môi trường xung quanh. Bằng cách so sánh các khung hình trực tiếp từ camera với ảnh tham chiếu đã lưu, hệ thống có thể xác định vị trí của người dùng và những thay đổi của cảnh.

Hình 6. Các điểm đặc trưng được ghép cặp giữa hai ảnh. (Nguồn: theijes.com)

Ví dụ, trong một nghiên cứu về huấn luyện AR ngoài trời theo phong cách quân sự bằng kính XR (thực tế mở rộng), các nhà nghiên cứu đã sử dụng SIFT và những phương pháp dựa trên đặc trưng khác để ghép các chi tiết thị giác giữa ảnh thực và ảnh tham chiếu. Các kết quả ghép chính xác giúp giữ các thành phần ảo căn chỉnh đúng với thế giới thực, ngay cả khi người dùng di chuyển nhanh hoặc ánh sáng thay đổi.

Điểm chính cần ghi nhớ#

Ghép ảnh là thành phần cốt lõi của thị giác máy tính, giúp hệ thống hiểu mối liên hệ giữa các ảnh khác nhau hoặc cách một cảnh thay đổi theo thời gian. Kỹ thuật này đóng vai trò quan trọng trong robot, thực tế tăng cường, tái tạo 3D, điều hướng tự động và nhiều ứng dụng thực tế khác đòi hỏi độ chính xác và tính ổn định.

Nhờ các model AI tiên tiến như SuperPoint và LoFTR, các hệ thống hiện nay đang trở nên mạnh mẽ hơn nhiều so với những phương pháp trước đây. Khi các kỹ thuật machine learning, module thị giác chuyên dụng, mạng nơ-ron và tập dữ liệu tiếp tục phát triển, ghép ảnh có thể sẽ nhanh hơn, chính xác hơn và thích ứng tốt hơn.

Tham gia cộng đồng ngày càng lớn mạnh của chúng tôi và khám phá repository GitHub để tiếp cận các tài nguyên AI thực hành. Để bắt đầu xây dựng với AI thị giác ngay hôm nay, hãy khám phá các tùy chọn cấp phép. Tìm hiểu cách AI trong nông nghiệp đang chuyển đổi hoạt động canh tác và cách AI thị giác trong chăm sóc sức khỏe đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.