Scale-Invariant Feature Transform (SIFT) là gì?

Để xem phần trình bày trực quan về các khái niệm trong bài viết này, hãy xem video bên dưới.

Ngày nay, nhiều thiết bị thông minh chúng ta sử dụng, từ điện thoại và camera đến hệ thống nhà thông minh, đều có các giải pháp AI có thể nhận diện khuôn mặt, đối tượng và thậm chí cả khung cảnh trực quan. Khả năng này đến từ thị giác máy tính, một lĩnh vực của trí tuệ nhân tạo cho phép máy móc hiểu và diễn giải hình ảnh, video.

Ví dụ, nếu bạn chụp ảnh tháp Eiffel từ bất kỳ góc độ hay khoảng cách nào, thiết bị thường vẫn có thể nhận diện tháp bằng thị giác máy tính và sắp xếp ảnh vào đúng thư mục trong thư viện ảnh. Nghe có vẻ đơn giản, nhưng việc nhận diện đối tượng không phải lúc nào cũng dễ dàng. Hình ảnh có thể trông rất khác nhau tùy theo kích thước, góc chụp, tỷ lệ hoặc điều kiện ánh sáng, khiến máy móc khó nhận diện chúng một cách nhất quán.

Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển một thuật toán thị giác máy tính có tên Scale Invariant Feature Transform, hay SIFT. Thuật toán này cho phép phát hiện đối tượng trong các điều kiện quan sát khác nhau. Được David Lowe tạo ra năm 1999, SIFT được thiết kế để tìm và mô tả các keypoint riêng biệt trong ảnh, chẳng hạn như góc, cạnh hoặc mẫu hình vẫn có thể nhận diện được ngay cả khi ảnh được thay đổi kích thước, xoay hoặc chiếu sáng khác đi.

Trước khi các model thị giác máy tính dựa trên deep learning như Ultralytics YOLO11 trở nên phổ biến, SIFT là kỹ thuật được sử dụng rộng rãi trong thị giác máy tính. Đây là phương pháp tiêu chuẩn cho các tác vụ như nhận dạng đối tượng, nhằm xác định một vật thể cụ thể trong ảnh, và so khớp ảnh, trong đó ảnh được căn chỉnh bằng cách tìm các đặc trưng hình ảnh chồng lấn.

Trong bài viết này, chúng ta sẽ tìm hiểu khái quát về SIFT: SIFT là gì, hoạt động ở mức tổng quan như thế nào và vì sao SIFT có vai trò quan trọng trong quá trình phát triển của thị giác máy tính.

Vì sao thuật toán SIFT thiết yếu đối với thị giác máy tính#

Trong ảnh, một đối tượng có thể xuất hiện theo nhiều cách khác nhau. Chẳng hạn, một chiếc cốc cà phê có thể được chụp từ trên cao, từ bên cạnh, dưới ánh nắng chói chang hoặc dưới ánh đèn vàng ấm. Chiếc cốc đó cũng có thể trông lớn hơn khi ở gần camera và nhỏ hơn khi ở xa.

Tất cả những khác biệt này khiến việc dạy máy tính nhận diện một đối tượng trở thành nhiệm vụ phức tạp. Tác vụ thị giác máy tính này, được gọi là phát hiện đối tượng, đòi hỏi các model AI thị giác phải nhận diện và định vị đối tượng chính xác, ngay cả khi kích thước, góc nhìn hoặc điều kiện ánh sáng thay đổi.

Để thực hiện điều này, thị giác máy tính dựa vào quy trình gọi là trích xuất đặc trưng hoặc phát hiện đặc trưng. Thay vì cố gắng hiểu toàn bộ hình ảnh cùng lúc, model tìm các đặc trưng hình ảnh riêng biệt như góc nhọn, mẫu hình độc đáo hoặc kết cấu vẫn có thể nhận diện được ở các góc nhìn, tỷ lệ và điều kiện ánh sáng khác nhau.

Cụ thể, Scale Invariant Feature Transform, hay SIFT, được thiết kế để thực hiện việc này. SIFT là thuật toán phát hiện và mô tả đặc trưng, có thể nhận diện đáng tin cậy các đối tượng trong ảnh bất kể cách chụp.

Đạt được tính bất biến theo tỷ lệ#

Thuật toán SIFT có một số thuộc tính quan trọng khiến nó hữu ích cho việc nhận diện đối tượng. Một thuộc tính then chốt được gọi là tính bất biến theo tỷ lệ. Điều này có nghĩa SIFT có thể nhận diện các phần khác nhau của đối tượng, dù đối tượng trông lớn khi ở gần camera hay nhỏ khi ở xa. Ngay cả khi đối tượng không hiện rõ hoàn toàn, thuật toán vẫn có thể xác định được các keypoint giống nhau.

Thuật toán thực hiện điều này bằng khái niệm gọi là lý thuyết không gian tỷ lệ. Nói đơn giản, ảnh được làm mờ ở nhiều mức độ khác nhau để tạo ra nhiều phiên bản. Sau đó, SIFT tìm trong các phiên bản này những mẫu hình và chi tiết không thay đổi, bất kể kích thước hoặc độ sắc nét của ảnh biến đổi ra sao.

Ví dụ, một biển báo được chụp từ cách vài mét sẽ trông lớn hơn nhiều so với cùng biển báo đó khi chụp từ xa, nhưng SIFT vẫn có thể phát hiện những đặc trưng riêng biệt giống nhau. Nhờ vậy, có thể ghép đúng hai ảnh dù biển báo xuất hiện ở các tỷ lệ rất khác nhau.

Đảm bảo tính bất biến khi xoay#

Các đối tượng trong ảnh cũng có thể bị xoay, đôi khi còn bị lộn ngược. SIFT xử lý trường hợp này nhờ thuộc tính gọi là tính bất biến khi xoay. Với mỗi keypoint phát hiện được, thuật toán gán một hướng nhất quán dựa trên gradient hình ảnh cục bộ. Nhờ vậy, có thể nhận diện cùng một đối tượng bất kể đối tượng được xoay như thế nào.

Bạn có thể hình dung việc này giống như đánh dấu mỗi keypoint bằng một mũi tên nhỏ chỉ hướng của nó. Bằng cách căn chỉnh các đặc trưng theo những hướng này, SIFT đảm bảo keypoint được ghép chính xác ngay cả khi đối tượng bị xoay. Ví dụ, một địa danh được chụp trong ảnh ngang vẫn có thể được nhận diện chính xác, ngay cả khi một ảnh khác của địa danh đó được chụp với camera nghiêng.

Khả năng chống chịu các biến đổi hình ảnh khác#

Ngoài kích thước và phép xoay, hình ảnh còn có thể thay đổi theo những cách khác, chẳng hạn như thay đổi độ chiếu sáng. Ánh sáng trên đối tượng có thể chuyển từ sáng sang tối, góc camera có thể hơi dịch chuyển hoặc ảnh có thể bị mờ hay nhiễu.

SIFT được xây dựng để xử lý những biến đổi như vậy. Thuật toán tập trung vào các keypoint có tính phân biệt cao và độ tương phản lớn, vì những đặc trưng này ít bị ảnh hưởng bởi thay đổi ánh sáng hoặc dịch chuyển nhỏ của góc nhìn. Nhờ đó, SIFT thường đáng tin cậy hơn các phương pháp phát hiện cạnh hoặc góc đơn giản, vốn thường thất bại khi điều kiện thay đổi.

Hình 1. Các keypoint SIFT được trích xuất từ (a) ảnh mưa và (b) ảnh đầu vào sạch tương ứng. (Nguồn)

Hãy hình dung một bức tranh trong phòng trưng bày. Bức tranh vẫn có thể được nhận diện dù được chụp dưới ánh sáng ban ngày dịu nhẹ, dưới đèn rọi nhân tạo sáng mạnh hoặc thậm chí hơi nhòe do chuyển động khi chụp bằng camera cầm tay. Các keypoint vẫn đủ ổn định để ghép chính xác dù có những khác biệt này.

Cách thuật toán Scale-Invariant Feature Transform (SIFT) hoạt động#

Tiếp theo, hãy cùng tìm hiểu cách thuật toán SIFT hoạt động. Quy trình này có thể được chia thành bốn bước chính: phát hiện keypoint, định vị keypoint, gán hướng và mô tả keypoint.

Bước 1: Phát hiện cực trị trong không gian tỷ lệ#

Bước đầu tiên là tìm và phát hiện các keypoint, tức những điểm đặc trưng trong ảnh như góc hoặc vùng có kết cấu thay đổi đột ngột, giúp theo dõi hoặc nhận diện đối tượng.

Để đảm bảo có thể nhận diện các keypoint tiềm năng này ở mọi kích thước, SIFT xây dựng thứ gọi là không gian tỷ lệ. Đây là tập hợp các ảnh được tạo ra bằng cách làm mờ dần ảnh gốc với bộ lọc Gaussian, một kỹ thuật làm mịn, rồi nhóm kết quả thành các lớp gọi là octave. Mỗi octave chứa cùng một ảnh với mức độ làm mờ tăng dần, còn octave tiếp theo là phiên bản ảnh có kích thước nhỏ hơn.

Bằng cách lấy một ảnh đã làm mờ trừ cho một ảnh đã làm mờ khác, SIFT tính Difference of Gaussians (DoG), qua đó làm nổi bật các khu vực có độ sáng thay đổi đột ngột. Những khu vực này được chọn làm keypoint ứng viên vì chúng vẫn nhất quán khi phóng to hoặc thu nhỏ ảnh.

Hình 2. DoG làm nổi bật các cấu trúc chính bằng cách lấy hiệu giữa những ảnh được làm mờ ở các mức khác nhau. (Nguồn)

Bước 2: Định vị keypoint#

Không phải keypoint ứng viên nào cũng hữu ích vì một số điểm có thể yếu hoặc không ổn định. Để tinh chỉnh chúng, SIFT dùng một phương pháp toán học gọi là khai triển chuỗi Taylor, giúp ước tính vị trí chính xác của keypoint với độ chính xác cao hơn.

Trong bước này, các điểm không đáng tin cậy sẽ bị loại bỏ. Keypoint có độ tương phản thấp, hòa lẫn vào vùng xung quanh, sẽ bị loại bỏ; các điểm nằm ngay trên cạnh cũng bị loại vì chúng có thể dịch chuyển quá dễ dàng. Bước lọc này chỉ giữ lại những keypoint ổn định và có tính phân biệt cao nhất.

Bước 3: Gán hướng#

Sau khi xác định các keypoint ổn định, SIFT giúp chúng có tính bất biến khi xoay, nghĩa là vẫn có thể ghép chúng ngay cả khi ảnh bị xoay ngang hoặc lộn ngược. Để làm vậy, SIFT phân tích sự thay đổi độ sáng xung quanh từng keypoint, được gọi là gradient. Gradient biểu thị cả hướng lẫn cường độ thay đổi của giá trị pixel; kết hợp lại, chúng thể hiện cấu trúc cục bộ xung quanh điểm đó.

Với mỗi keypoint, SIFT xét các gradient trong vùng xung quanh và nhóm chúng vào histogram hướng. Đỉnh cao nhất trong histogram này biểu thị hướng chủ đạo của sự thay đổi cường độ, sau đó được gán làm hướng của keypoint. Histogram này được xây dựng từ cả hướng gradient, cho biết cường độ đang thay đổi theo hướng nào, lẫn độ lớn gradient, biểu thị mức độ mạnh yếu của thay đổi đó.

Nếu có các đỉnh khác gần mạnh bằng đỉnh cao nhất, SIFT sẽ gán nhiều hướng cho cùng một keypoint. Điều này ngăn các đặc trưng quan trọng bị mất khi đối tượng xuất hiện ở những góc bất thường. Bằng cách căn chỉnh mỗi keypoint theo hướng của nó, SIFT đảm bảo các descriptor được tạo ở bước tiếp theo luôn nhất quán.

Nói cách khác, ngay cả khi hai ảnh chụp cùng một đối tượng bị xoay theo các hướng khác nhau, những keypoint đã căn chỉnh theo hướng vẫn khớp chính xác. Bước này tạo nên khả năng xử lý phép xoay vượt trội của SIFT và giúp thuật toán mạnh mẽ hơn nhiều so với các phương pháp phát hiện đặc trưng trước đây.

Hình 3. Cận cảnh bước 3 trong thuật toán SIFT (Nguồn)

Bước 4: Descriptor của keypoint#

Bước cuối cùng của SIFT là tạo mô tả cho mỗi keypoint để có thể nhận diện keypoint đó trong các ảnh khác.

SIFT thực hiện việc này bằng cách xem xét một vùng ảnh vuông nhỏ xung quanh mỗi keypoint, có kích thước khoảng 16 × 16 pixel. Vùng này trước tiên được căn chỉnh theo hướng của keypoint để phép xoay không ảnh hưởng đến nó. Sau đó, vùng ảnh được chia thành lưới gồm 4 × 4 ô vuông nhỏ hơn.

Trong mỗi ô vuông nhỏ, SIFT đo sự thay đổi độ sáng theo các hướng khác nhau. Những thay đổi này được lưu vào một thứ gọi là histogram, giống như biểu đồ cho biết những hướng nào xuất hiện phổ biến nhất. Mỗi ô vuông có histogram riêng; tổng cộng, 16 ô vuông tạo ra 16 histogram.

Cuối cùng, các histogram này được kết hợp thành một danh sách duy nhất gồm tổng cộng 128 số. Danh sách này được gọi là vector đặc trưng và đóng vai trò như dấu vân tay của keypoint. Vì ghi lại kết cấu và cấu trúc riêng biệt xung quanh điểm đó, dấu vân tay này giúp ghép cùng một keypoint giữa các ảnh khác nhau, ngay cả khi ảnh được thay đổi kích thước, xoay hoặc chiếu sáng khác đi.

Hình 4. Tổng quan về cách SIFT hoạt động (Nguồn)

Các ứng dụng chính của SIFT trong thị giác máy tính#

Giờ đây khi đã hiểu rõ hơn SIFT là gì và hoạt động ra sao, hãy cùng khám phá một số ứng dụng thực tế của SIFT trong thị giác máy tính.

Nhận diện và phát hiện đối tượng#

Một trong những ứng dụng chính của SIFT là nhận diện và phát hiện đối tượng. Công việc này bao gồm dạy máy tính nhận diện và định vị đối tượng trong ảnh, ngay cả khi đối tượng không phải lúc nào cũng trông giống nhau. Ví dụ, SIFT có thể phát hiện một quyển sách dù sách ở gần camera, ở xa hơn hay bị xoay nghiêng.

SIFT làm được điều này nhờ trích xuất các keypoint có tính phân biệt cao và ổn định. Khi kết hợp với descriptor SIFT, các keypoint này tạo thành đặc trưng SIFT, cung cấp phương thức đáng tin cậy để ghép cùng một đối tượng giữa các ảnh khác nhau. Những đặc trưng này ghi lại các chi tiết riêng biệt của đối tượng và duy trì tính nhất quán, cho phép ghép đặc trưng đáng tin cậy giữa các ảnh ngay cả khi kích thước, vị trí hoặc hướng của đối tượng thay đổi.

Hình 5. Dùng SIFT để nhận diện bìa sách trong ảnh mới được chụp theo hướng khác với ảnh gốc. Ảnh của tác giả.

Trước khi deep learning trở nên phổ biến, SIFT là một trong những phương pháp đáng tin cậy nhất để xây dựng hệ thống nhận diện đối tượng. SIFT được sử dụng rộng rãi trong nghiên cứu và các ứng dụng cần ghép đối tượng giữa những tập dữ liệu ảnh lớn, dù thường đòi hỏi đáng kể tài nguyên tính toán.

Ghép ảnh và tạo ảnh toàn cảnh#

SIFT cũng có thể được dùng để tạo ảnh toàn cảnh, tức những bức ảnh rộng được ghép từ nhiều ảnh. Với SIFT, các keypoint riêng biệt được tìm thấy trong vùng chồng lấp giữa những ảnh khác nhau rồi ghép với nhau. Các cặp ghép này đóng vai trò như điểm neo, định hướng cách căn chỉnh ảnh trong quá trình ghép.

Sau khi hoàn tất việc ghép, có thể dùng các thuật toán ghép ảnh để tính toán căn chỉnh chính xác, thường sử dụng các phép biến đổi hình học để ánh xạ ảnh này lên ảnh khác. Sau đó, các ảnh được hòa trộn để đường nối biến mất. Kết quả cuối cùng là ảnh toàn cảnh liền mạch trông như một bức ảnh rộng duy nhất, dù được tạo từ nhiều ảnh chụp.

Tái tạo 3D và robot#

Một ứng dụng thú vị khác của SIFT là tái tạo 3D, trong đó nhiều ảnh 2D được chụp từ các góc khác nhau được kết hợp để dựng model ba chiều. SIFT thực hiện việc này bằng cách tìm và ghép cùng một điểm giữa các ảnh.

Sau khi ghép các điểm, có thể ước tính vị trí 3D của chúng bằng phép tam giác đạc, một phương pháp tính độ sâu từ các góc nhìn khác nhau. Quy trình này là một phần của structure from motion (SfM), kỹ thuật sử dụng nhiều ảnh chồng lấp để ước tính hình dạng 3D của cảnh cùng vị trí các camera chụp ảnh.

Kết quả thường là đám mây điểm 3D, một tập hợp các điểm trong không gian phác họa đối tượng hoặc môi trường. SIFT là một trong những công cụ đầu tiên giúp kỹ thuật structure from motion trở nên khả thi trong thực tế. Dù các kỹ thuật mới hơn hiện nay nhanh hơn và phổ biến hơn, SIFT vẫn được ứng dụng khi độ chính xác quan trọng hơn tốc độ.

SIFT cũng được sử dụng trong robot, đặc biệt là trong SLAM thị giác (định vị và lập bản đồ đồng thời). SLAM cho phép robot xác định vị trí của mình đồng thời xây dựng bản đồ môi trường xung quanh.

Các keypoint SIFT đóng vai trò như những mốc đáng tin cậy mà robot có thể nhận diện qua nhiều khung hình, ngay cả khi ánh sáng hoặc góc nhìn thay đổi. Bằng cách theo dõi các mốc này, robot có thể ước tính vị trí và cập nhật bản đồ ngay trong quá trình hoạt động. Mặc dù các bộ phát hiện đặc trưng nhanh hơn hiện được sử dụng phổ biến hơn trong robotics, SIFT từng đóng vai trò quan trọng trong các hệ thống SLAM đời đầu và vẫn là lựa chọn then chốt trong những trường hợp độ bền vững quan trọng hơn tốc độ.

Ưu điểm và những điểm cần cân nhắc về SIFT#

Mặc dù thuật toán SIFT được sử dụng rộng rãi trong thị giác máy tính và nổi tiếng là một phương pháp đáng tin cậy, thuật toán này cũng có những đánh đổi. Vì vậy, cần cân nhắc ưu và nhược điểm trước khi quyết định liệu SIFT có phù hợp với dự án hay không. Tiếp theo, hãy cùng tìm hiểu những điểm mạnh và hạn chế chính của thuật toán.

Ưu điểm cốt lõi của SIFT#

Dưới đây là một số ưu điểm khi sử dụng thuật toán SIFT:

• Bất biến theo tỷ lệ và phép quay: SIFT cung cấp các keypoint bất biến theo tỷ lệ, giữ được độ ổn định tương đối khi vật thể xuất hiện ở các kích thước hoặc hướng khác nhau. Đây là bước tiến đáng kể so với các bộ phát hiện đặc trưng trước đó.
• Khả năng chống chịu ở mức khá trước thay đổi ánh sáng và góc nhìn: SIFT có thể xử lý những thay đổi về độ sáng, độ tương phản hoặc những dịch chuyển nhỏ của góc nhìn, nhưng kém tin cậy hơn trong các điều kiện khắc nghiệt hơn.
• Khả năng hoạt động trong cảnh phức tạp hoặc bị che khuất một phần: Vì SIFT phát hiện nhiều keypoint cục bộ, thuật toán thường vẫn có thể nhận diện vật thể ngay cả khi một phần vật thể bị che khuất hoặc phông nền phức tạp.

Các cân nhắc về hiệu năng và phương án thay thế#

Dưới đây là một số nhược điểm khi sử dụng thuật toán SIFT:

• Tốn nhiều tài nguyên tính toán: Quy trình nhiều bước và các descriptor chi tiết của SIFT khiến thuật toán chậm hơn và tiêu tốn nhiều tài nguyên hơn các bộ phát hiện đặc trưng hiện đại. Để cải thiện điểm này, các nhà nghiên cứu đã phát triển thuật toán SURF (Đặc trưng bền vững tăng tốc), sử dụng các phép tính nhanh hơn để tìm và mô tả đặc trưng. Trong một số trường hợp, SURF kém chính xác hơn SIFT, nhưng chạy nhanh hơn nhiều, nên thiết thực hơn với các tác vụ cần xử lý đúng thời hạn.
• Không phù hợp cho xử lý thời gian thực: Do chi phí tính toán cao, SIFT gặp khó khăn với các ứng dụng đòi hỏi tốc độ, chẳng hạn như theo dõi thời gian thực hoặc robotics di động.
• Tính linh hoạt hạn chế: Dù bền vững trong nhiều trường hợp, SIFT kém hiệu quả hơn khi ánh sáng thay đổi cực đoan, góc nhìn dịch chuyển lớn hoặc cảnh có tính động cao—những tình huống mà các thuật toán mới hơn hoặc phương pháp machine learning hoạt động tốt hơn.

Khi tìm hiểu ưu và nhược điểm của SIFT, bạn có thể nhận thấy nhiều hạn chế của thuật toán đã mở đường cho các kỹ thuật tiên tiến hơn. Cụ thể, mạng nơ-ron tích chập (CNN) đã trở thành một phương án thay thế mạnh mẽ.

CNN là một loại model deep learning lấy cảm hứng từ cách hoạt động của hệ thống thị giác con người. CNN xử lý ảnh theo từng lớp, bắt đầu từ các mẫu đơn giản như cạnh và kết cấu, rồi dần xây dựng thành các hình dạng và vật thể phức tạp hơn. Không giống các quy tắc trích xuất đặc trưng được thiết kế thủ công của SIFT, CNN học trực tiếp các biểu diễn đặc trưng từ dữ liệu.

Cách học dựa trên dữ liệu này giúp CNN có thể vượt trội hơn SIFT trong các tác vụ so khớp descriptor và phân loại. CNN cũng có khả năng biểu đạt cao hơn và bền vững hơn, thích ứng tốt hơn với tính biến thiên và độ phức tạp của dữ liệu hình ảnh.

Ví dụ, các model dựa trên CNN đã đạt được những kết quả đột phá trên ImageNet, một bộ dữ liệu benchmark quy mô lớn gồm hàng triệu ảnh được gán nhãn thuộc hàng nghìn danh mục. Được thiết kế để đánh giá khả năng nhận diện và phân loại vật thể của thuật toán, ImageNet giúp làm nổi bật khoảng cách giữa các phương pháp dựa trên đặc trưng đời cũ và deep learning.

CNN nhanh chóng vượt qua SIFT nhờ học được các biểu diễn phong phú và linh hoạt hơn nhiều, cho phép nhận diện vật thể trong điều kiện ánh sáng thay đổi, từ nhiều góc nhìn khác nhau và ngay cả khi vật thể bị che khuất một phần—những tình huống mà SIFT thường gặp khó khăn.

Điểm chính cần ghi nhớ#

Thuật toán Scale Invariant Feature Transform giữ vị trí quan trọng trong lịch sử thị giác máy tính. Thuật toán này cung cấp một phương pháp đáng tin cậy để phát hiện đặc trưng ngay cả trong môi trường biến đổi và có ảnh hưởng đến nhiều phương pháp được sử dụng ngày nay.

Dù các kỹ thuật mới hơn nhanh và hiệu quả hơn, SIFT đã đặt nền móng cho chúng. SIFT cho thấy những tiến bộ hiện nay trong thị giác máy tính bắt đầu từ đâu và làm nổi bật chặng đường phát triển của các hệ thống AI hiện đại.

Tham gia cộng đồng toàn cầu của chúng tôi và xem repository GitHub để tìm hiểu thêm về thị giác máy tính. Khám phá các trang giải pháp để tìm hiểu những đổi mới như AI trong nông nghiệp và thị giác máy tính trong bán lẻ. Xem các tùy chọn cấp phép và bắt đầu xây dựng model thị giác máy tính của riêng bạn.