Đối sánh hình ảnh trong vision AI là gì? Giới thiệu nhanh

Khi nhìn vào hai bức ảnh của cùng một vật thể, chẳng hạn như một bức tranh và một bức ảnh chụp ô tô, bạn dễ dàng nhận ra những điểm chung giữa chúng. Tuy nhiên, với máy móc, việc này không đơn giản như vậy.

Để thực hiện những phép so sánh như vậy, máy móc dựa vào thị giác máy tính, một nhánh của trí tuệ nhân tạo (AI) giúp chúng diễn giải và hiểu thông tin hình ảnh. Thị giác máy tính cho phép các hệ thống phát hiện vật thể, hiểu cảnh và trích xuất mẫu từ hình ảnh hoặc video.

Đặc biệt, một số tác vụ thị giác không chỉ dừng ở việc phân tích một hình ảnh đơn lẻ. Chúng bao gồm việc so sánh các hình ảnh để tìm điểm tương đồng, phát hiện khác biệt hoặc theo dõi thay đổi theo thời gian.

Vision AI bao quát nhiều nhóm kỹ thuật, trong đó image matching là một năng lực thiết yếu, tập trung vào việc xác định điểm tương đồng giữa các hình ảnh, ngay cả khi điều kiện chiếu sáng, góc nhìn hoặc nền thay đổi. Kỹ thuật này có thể được sử dụng trong nhiều ứng dụng khác nhau, bao gồm robotics, thực tế tăng cường và lập bản đồ địa lý.

Trong bài viết này, chúng ta sẽ tìm hiểu image matching là gì, các kỹ thuật cốt lõi của nó và một số ứng dụng thực tế. Hãy bắt đầu!

Image matching là gì?#

Image matching giúp một hệ thống máy tính hiểu liệu hai hình ảnh có chứa nội dung tương tự hay không. Con người có thể thực hiện việc này một cách trực giác bằng cách nhận biết hình dạng, màu sắc và mẫu.

Mặt khác, máy tính dựa vào dữ liệu số. Chúng phân tích hình ảnh bằng cách kiểm tra từng pixel, đơn vị nhỏ nhất của một hình ảnh số.

Mỗi hình ảnh được lưu dưới dạng một lưới pixel, trong đó mỗi pixel thường chứa các giá trị cho màu đỏ, xanh lục và xanh lam (RGB). Những giá trị này có thể thay đổi khi hình ảnh bị xoay, thay đổi kích thước, được nhìn từ một góc khác hoặc được chụp trong điều kiện chiếu sáng khác nhau. Do những biến thể này, việc so sánh hình ảnh theo từng pixel thường không đáng tin cậy.

Để việc so sánh nhất quán hơn, image matching tập trung vào các đặc trưng cục bộ như góc, cạnh và vùng có kết cấu, vốn có xu hướng ổn định ngay cả khi hình ảnh thay đổi nhẹ. Bằng cách phát hiện các đặc trưng này, hay keypoint, trên nhiều hình ảnh, hệ thống có thể so sánh chúng với độ chính xác cao hơn nhiều.

Quy trình này được sử dụng rộng rãi trong các use case như điều hướng, định vị, thực tế tăng cường, lập bản đồ, tái dựng 3D và tìm kiếm trực quan. Khi các hệ thống xác định được những điểm giống nhau giữa các hình ảnh khác nhau hoặc nhiều frame, chúng có thể theo dõi chuyển động, hiểu cấu trúc cảnh và đưa ra quyết định đáng tin cậy trong các môi trường năng động.

Hình 1. Ví dụ về image matching ô tô trong đó các keypoint tương tự được xác định. (Nguồn)

Tìm hiểu cách image matching hoạt động#

Image matching bao gồm một số bước chính giúp các hệ thống xác định và so sánh những vùng tương tự trong hình ảnh. Mỗi bước cải thiện độ chính xác, tính nhất quán và độ bền vững trong các điều kiện khác nhau.

Dưới đây là các bước hoạt động của image matching:

• Phát hiện đặc trưng: Trước tiên, hệ thống xác định các keypoint đặc trưng trong một hình ảnh, những điểm vẫn cố định ngay cả khi điều kiện chiếu sáng, tỷ lệ hoặc góc nhìn thay đổi. Các điểm này làm nổi bật những vùng như góc, cạnh hoặc vùng có kết cấu nổi bật về mặt thị giác.
• Mô tả đặc trưng: Sau đó, mỗi keypoint được chuyển đổi thành một descriptor, tức một vector số nhỏ gọn nắm bắt mẫu hình ảnh xung quanh điểm đó. Các descriptor này cung cấp một cách đáng tin cậy để so sánh đặc trưng giữa những hình ảnh khác nhau.
• So khớp đặc trưng: Các descriptor từ hai hình ảnh được so sánh bằng các thuật toán matching để tính toán mức độ tương đồng. Bước này ghép các keypoint có vẻ tương ứng với nhau và lọc bỏ những kết quả matching yếu hoặc không đáng tin cậy.
• Xác minh hình học: Cuối cùng, hệ thống kiểm tra xem các keypoint được matching có tạo thành một mối quan hệ hình học thực tế hay không. Hệ thống loại bỏ các kết quả matching sai (gọi là outlier) bằng một phương pháp có tên RANSAC (Đồng thuận mẫu ngẫu nhiên), đảm bảo chỉ giữ lại các cặp điểm đáng tin cậy. Sau khi xác định được các kết quả matching tốt, hệ thống ước tính phép biến đổi mô tả tốt nhất mối quan hệ giữa hai hình ảnh. Đây thường là phép biến đổi affine, điều chỉnh các thay đổi như co giãn, xoay và dịch chuyển, hoặc phép đồng dạng phối cảnh (homography), cũng có thể xử lý các thay đổi về phối cảnh. Việc sử dụng các phép biến đổi này cho phép hệ thống căn chỉnh hình ảnh chính xác, ngay cả khi chúng được chụp từ những góc nhìn hơi khác nhau.

Hình 2. (a) Trích xuất điểm đặc trưng và (b) matching đặc trưng. (Nguồn)

Các kỹ thuật cốt lõi trong image matching#

Trước khi tìm hiểu các ứng dụng thực tế của image matching, hãy cùng xem xét kỹ hơn những kỹ thuật image matching được sử dụng trong các hệ thống thị giác máy tính.

Image matching dựa trên template matching#

Template matching là một trong những phương pháp image matching đơn giản nhất. Phương pháp này thường được xem là một kỹ thuật xử lý ảnh thay vì phương pháp thị giác máy tính hiện đại, vì nó dựa trên việc so sánh trực tiếp các pixel và không trích xuất những đặc trưng hình ảnh ở mức sâu hơn.

Phương pháp này được sử dụng để định vị một hình ảnh tham chiếu nhỏ hơn, hay template, bên trong một cảnh lớn hơn. Nó hoạt động bằng một thuật toán trượt template trên hình ảnh chính và tính điểm tương đồng tại mỗi vị trí để đo mức độ khớp giữa hai vùng. Vùng có điểm cao nhất được xem là kết quả matching tốt nhất, cho biết vị trí vật thể có khả năng xuất hiện cao nhất trong cảnh.

Hình 3. Minh họa việc sử dụng template matching. (Nguồn)

Kỹ thuật này hoạt động tốt khi tỷ lệ, góc xoay và điều kiện chiếu sáng của vật thể được giữ nhất quán, vì vậy phù hợp với các môi trường được kiểm soát hoặc việc so sánh làm baseline. Tuy nhiên, hiệu năng giảm khi vật thể có diện mạo khác với template, chẳng hạn khi kích thước thay đổi, bị xoay, bị che khuất một phần hoặc xuất hiện trên nền nhiễu hay phức tạp.

Các kỹ thuật image matching dựa trên đặc trưng cổ điển#

Trước khi deep learning được áp dụng rộng rãi, image matching chủ yếu dựa vào các thuật toán thị giác máy tính cổ điển để phát hiện những keypoint đặc trưng trong hình ảnh. Thay vì so sánh từng pixel, các phương pháp này phân tích gradient hình ảnh, hay những thay đổi về cường độ, để làm nổi bật các góc, cạnh và vùng có kết cấu nổi bật.

Mỗi keypoint được phát hiện sau đó được biểu diễn bằng một bản tóm tắt số nhỏ gọn gọi là descriptor. Khi so sánh hai hình ảnh, bộ matching đánh giá các descriptor này để tìm ra những cặp tương đồng nhất.

Điểm tương đồng cao thường cho thấy cùng một điểm vật lý xuất hiện trong cả hai hình ảnh. Bộ matching cũng sử dụng các metric khoảng cách hoặc quy tắc tính điểm cụ thể để đánh giá mức độ căn chỉnh của các đặc trưng, qua đó cải thiện độ tin cậy tổng thể.

Dưới đây là một số thuật toán thị giác máy tính cổ điển chủ chốt được sử dụng cho image matching:

• SIFT (Biến đổi đặc trưng bất biến theo tỷ lệ): Thuật toán này xác định các keypoint bằng cách phân tích gradient cường độ hình ảnh, giúp chúng vẫn có thể nhận diện được khi hình ảnh được phóng to, thu nhỏ hoặc xoay.

• SURF (Đặc trưng mạnh mẽ được tăng tốc): Thuật toán này tương tự SIFT nhưng được tối ưu về tốc độ. Nó sử dụng các phép xấp xỉ nhanh cho những phép toán dựa trên gradient, phù hợp với các ứng dụng yêu cầu thời gian phản hồi nhanh.

• ORB (FAST định hướng và BRIEF xoay): Thuật toán này kết hợp hai thuật toán có tên FAST và BRIEF. FAST nhanh chóng tìm các điểm giống góc trong hình ảnh, trong khi BRIEF tạo ra mô tả nhỏ gọn cho từng điểm để chúng có thể được matching giữa các hình ảnh. ORB cũng cải tiến cả hai bước bằng cách bổ sung khả năng xử lý phép xoay, giúp thuật toán nhanh và đáng tin cậy.

Hình 4. Các điểm đặc trưng SURF được trích xuất và matching giữa hai hình ảnh. (Nguồn)

Các kỹ thuật image matching dựa trên deep learning#

Không giống các phương pháp cổ điển dựa trên những quy tắc cụ thể, deep learning tự động học các đặc trưng từ những dataset lớn, tức các tập hợp dữ liệu hình ảnh mà từ đó các model AI học các mẫu. Những model này thường chạy trên GPU (Bộ xử lý đồ họa), cung cấp năng lực tính toán cao cần thiết để xử lý các batch hình ảnh lớn và huấn luyện hiệu quả các neural network phức tạp.

Điều này giúp các model AI có khả năng xử lý những thay đổi trong thực tế như điều kiện chiếu sáng, góc camera và hiện tượng che khuất. Một số model cũng kết hợp tất cả các bước vào một workflow duy nhất, hỗ trợ hiệu năng mạnh mẽ trong những điều kiện đầy thách thức.

Dưới đây là một số phương pháp dựa trên deep learning để trích xuất và matching đặc trưng hình ảnh:

• Trích xuất đặc trưng dựa trên CNN: Các model này tự động học những mẫu hình ảnh quan trọng từ các dataset lớn. Chúng nhận diện các đặc trưng khó thay đổi, nhờ đó đáng tin cậy khi matching vật thể giữa những cảnh khác nhau.

• Matching dựa trên embedding: Thay vì so sánh trực tiếp các pixel, phương pháp này chuyển hình ảnh thành các biểu diễn số nhỏ gọn gọi là embedding. Sau đó, bộ matching so sánh các embedding này để tìm những hình ảnh tương tự. Các model như FaceNet, tạo embedding để nhận diện và so sánh khuôn mặt, và CLIP, ánh xạ hình ảnh cùng văn bản vào một không gian chung cho các tác vụ như tìm kiếm hình ảnh và matching ngữ nghĩa, đều áp dụng phương pháp này.

• Pipeline matching end-to-end: Các hệ thống deep learning tiên tiến thường kết hợp việc phát hiện keypoint, mô tả và matching vào một workflow thống nhất. Các model như SuperPoint và D2-Net học trực tiếp cả keypoint lẫn descriptor từ các feature map CNN, trong khi SuperGlue hoạt động như một bộ matching đã được học, ghép các descriptor này đáng tin cậy hơn các phương pháp truyền thống. Các thành phần này cùng tạo nên một pipeline end-to-end mang lại độ chính xác cao hơn và độ bền vững tốt hơn trong những điều kiện đầy thách thức so với các phương pháp dựa trên đặc trưng cổ điển.

• Matching dựa trên Transformer: Phương pháp này sử dụng các cơ chế attention để liên kết những vùng tương ứng giữa hai hình ảnh, cho phép căn chỉnh các patch ngay cả khi góc nhìn, điều kiện chiếu sáng hoặc kết cấu thay đổi mạnh. Các model như LoFTR (Transformer đặc trưng cục bộ) đạt độ chính xác cao hơn nhiều vì receptive field toàn cục của Transformer cho phép matching đáng tin cậy trong các vùng ít kết cấu, mờ hoặc lặp lại, nơi các detector truyền thống thất bại. LoFTR tạo ra các kết quả matching bán dày đặc, có độ tin cậy cao và vượt trội đáng kể so với các phương pháp state-of-the-art trước đây trên cả benchmark trong nhà lẫn ngoài trời.

• Các model tập trung vào hiệu năng: Những model image matching mới hơn hướng đến độ chính xác cao trong khi vẫn chạy nhanh hơn. Các model như LightGlue được thiết kế để hoạt động hiệu quả trên những thiết bị có năng lực tính toán hạn chế mà vẫn duy trì chất lượng matching tốt.

Các ứng dụng thực tế của image matching#

Giờ đây, khi đã hiểu rõ hơn về cách image matching hoạt động, hãy cùng xem xét một số ứng dụng thực tế mà kỹ thuật này đóng vai trò quan trọng.

Robotics thông minh hơn nhờ image matching#

Robot thường hoạt động trong các môi trường đông đúc và thay đổi, nơi chúng cần hiểu những vật thể nào đang hiện diện và chúng được bố trí ra sao. Image matching có thể giúp robot hiểu các vật thể mà chúng nhìn thấy bằng cách so sánh chúng với hình ảnh đã lưu hoặc hình ảnh tham chiếu. Điều này giúp robot dễ dàng nhận diện vật thể, theo dõi chuyển động và thích ứng ngay cả khi điều kiện chiếu sáng hoặc góc camera thay đổi.

Ví dụ, trong một nhà kho, hệ thống gắp và đặt bằng robot có thể sử dụng image matching để xác định và xử lý các mặt hàng khác nhau. Trước tiên, robot gắp một vật thể, sau đó so sánh hình ảnh của vật thể đó với các mẫu tham chiếu để nhận diện.

Hình 5. Robot nhận diện và gắp vật thể bằng cách matching với hình ảnh tham chiếu. (Nguồn)

Sau khi tìm được kết quả matching, robot biết cách phân loại hoặc đặt vật thể vào đúng vị trí. Phương pháp này cho phép robot nhận diện cả vật thể quen thuộc lẫn vật thể mới mà không cần huấn luyện lại toàn bộ hệ thống. Nó cũng giúp robot đưa ra các quyết định theo thời gian thực tốt hơn, chẳng hạn như sắp xếp kệ, lắp ráp linh kiện hoặc bố trí lại các mặt hàng.

Cải thiện tái dựng 3D với image matching tốt hơn#

Trong các lĩnh vực như lập bản đồ bằng drone, thực tế ảo và kiểm tra công trình, các hệ thống thường cần tái dựng một model 3D từ nhiều hình ảnh 2D. Để thực hiện việc này, chúng dựa vào image matching nhằm xác định các keypoint chung, chẳng hạn như góc hoặc vùng có kết cấu, xuất hiện trong nhiều hình ảnh.

Những điểm chung này giúp hệ thống hiểu mối quan hệ giữa các hình ảnh trong không gian 3D. Ý tưởng này có liên quan chặt chẽ đến Structure from Motion (SfM), một kỹ thuật xây dựng cấu trúc 3D bằng cách xác định và matching các keypoint giữa những hình ảnh được chụp từ các góc nhìn khác nhau.

Nếu matching không chính xác, model 3D tạo ra có thể bị biến dạng hoặc không hoàn chỉnh. Vì lý do này, các nhà nghiên cứu đã nỗ lực cải thiện độ tin cậy của image matching cho việc tái dựng 3D, và những tiến bộ gần đây đã cho thấy các kết quả đầy hứa hẹn.

Một ví dụ thú vị là HashMatch, một thuật toán image matching nhanh hơn và mạnh mẽ hơn. HashMatch chuyển đổi các chi tiết hình ảnh thành những mẫu nhỏ gọn gọi là mã hash, giúp dễ dàng xác định các kết quả matching chính xác và loại bỏ outlier, ngay cả khi điều kiện chiếu sáng hoặc góc nhìn thay đổi.

Khi được thử nghiệm trên các dataset quy mô lớn, HashMatch tạo ra các model tái dựng 3D rõ ràng và chân thực hơn với ít lỗi căn chỉnh hơn. Điều này khiến nó đặc biệt hữu ích cho các ứng dụng như lập bản đồ bằng drone, hệ thống AR và bảo tồn di sản văn hóa, nơi độ chính xác có ý nghĩa then chốt.

Vai trò của image matching trong thực tế tăng cường#

Đối với thực tế tăng cường (AR), việc giữ cho các vật thể ảo căn chỉnh với thế giới thực thường là một thách thức. Môi trường ngoài trời có thể liên tục thay đổi tùy thuộc vào các điều kiện môi trường như ánh nắng và thời tiết. Những khác biệt nhỏ trong thế giới thực có thể khiến các thành phần ảo trông không ổn định hoặc hơi lệch vị trí.

Để giải quyết vấn đề này, các hệ thống AR sử dụng image matching để diễn giải môi trường xung quanh. Bằng cách so sánh các frame camera trực tiếp với hình ảnh tham chiếu đã lưu, chúng có thể hiểu người dùng đang ở đâu và cảnh vật đã thay đổi như thế nào.

Hình 6. Các điểm đặc trưng được matching giữa hai hình ảnh. (Nguồn: theijes.com)

Ví dụ, trong một nghiên cứu về đào tạo AR ngoài trời theo phong cách quân sự với kính XR (Thực tế mở rộng), các nhà nghiên cứu đã sử dụng SIFT và những phương pháp dựa trên đặc trưng khác để matching các chi tiết hình ảnh giữa ảnh thực và ảnh tham chiếu. Các kết quả matching chính xác giúp những thành phần ảo luôn được căn chỉnh đúng với thế giới thực, ngay cả khi người dùng di chuyển nhanh hoặc điều kiện chiếu sáng thay đổi.

Những điểm chính#

Image matching là một thành phần cốt lõi của thị giác máy tính, cho phép các hệ thống hiểu mối quan hệ giữa những hình ảnh khác nhau hoặc cách một cảnh thay đổi theo thời gian. Nó đóng vai trò quan trọng trong robotics, thực tế tăng cường, tái dựng 3D, điều hướng tự động và nhiều ứng dụng thực tế khác, nơi độ chính xác và tính ổn định là yếu tố thiết yếu.

Với các model AI tiên tiến như SuperPoint và LoFTR, những hệ thống ngày nay đang trở nên mạnh mẽ hơn nhiều so với các phương pháp trước đây. Khi các kỹ thuật machine learning, module thị giác chuyên dụng, neural network và dataset tiếp tục phát triển, image matching có khả năng sẽ trở nên nhanh hơn, chính xác hơn và dễ thích ứng hơn.

Tham gia cộng đồng đang phát triển của chúng tôi và khám phá repository GitHub để tiếp cận các tài nguyên AI thực hành. Để xây dựng với vision AI ngay hôm nay, hãy khám phá các tùy chọn cấp phép của chúng tôi. Tìm hiểu cách AI trong nông nghiệp đang chuyển đổi hoạt động canh tác và cách Vision AI trong lĩnh vực chăm sóc sức khỏe đang định hình tương lai bằng cách truy cập các trang giải pháp của chúng tôi.