Scale-Invariant Feature Transform (SIFT)

Phép biến đổi đặc trưng bất biến theo tỷ lệ (SIFT) là một thuật toán thị giác máy tính kinh điển, giúp tìm các keypoint cục bộ nổi bật trong ảnh và biểu diễn từng keypoint bằng một vector gồm 128 số, gần như không đổi khi ảnh được thay đổi tỷ lệ hoặc xoay. Việc so khớp các descriptor này cho phép phần mềm liên kết hai ảnh chụp cùng một cảnh từ các khoảng cách và góc khác nhau; đây là cách ghép các ảnh chồng lấp thành ảnh toàn cảnh. SIFT là phương pháp trích xuất đặc trưng được thiết kế thủ công, khác với feature map được học của mạng nơ-ron tích chập.

Nguồn gốc và ý tưởng cốt lõi#

David Lowe tại Đại học British Columbia giới thiệu SIFT trong bài báo ICCV năm 1999 Nhận dạng đối tượng từ các đặc trưng cục bộ bất biến theo tỷ lệ và trình bày đầy đủ phương pháp trong bài "Đặc trưng ảnh nổi bật từ các keypoint bất biến theo tỷ lệ" đăng trên Tạp chí Quốc tế về Thị giác Máy tính năm 2004. Đặc trưng SIFT bất biến với tỷ lệ và phép xoay, đồng thời so khớp ổn định trong phạm vi đáng kể các biến dạng affine, thay đổi góc nhìn 3D, nhiễu và thay đổi độ chiếu sáng. Phương pháp này từng được cấp bằng sáng chế, và bằng sáng chế đã hết hạn vào năm 2020. OpenCV chuyển SIFT từ kho contrib vào thư viện chính ở phiên bản 4.4.0.

Đối tượng không có kích thước cố định trong ảnh, vì vậy detector phải tìm cấu trúc ở mọi kích thước. SIFT tạo không gian tỷ lệ bằng cách liên tục áp dụng làm mờ Gaussian với cường độ tăng dần và giảm kích thước ảnh theo từng nhóm gọi là octave.

Cách SIFT hoạt động#

Thuật toán gồm bốn giai đoạn:

1. Phát hiện cực trị trong không gian tỷ lệ: Hiệu giữa các mức làm mờ liền kề (hiệu Gaussian) xấp xỉ một bộ phát hiện blob. Một pixel là ứng viên nếu nó có giá trị cực đại hoặc cực tiểu trong số 26 pixel lân cận xét theo không gian và tỷ lệ.
2. Định vị keypoint: Các ứng viên được tinh chỉnh đến độ chính xác dưới pixel. Các điểm có độ tương phản thấp và các điểm nằm dọc theo cạnh sẽ bị loại bỏ vì không ổn định.
3. Gán hướng: Histogram hướng gradient cục bộ quanh mỗi keypoint xác định hướng trội, và mọi phép đo tiếp theo đều lấy hướng này làm chuẩn. Điều này tạo ra tính bất biến với phép xoay.
4. Tạo descriptor: Vùng lân cận được chia thành lưới 4 x 4, mỗi ô chứa histogram gradient 8 bin. Như vậy có 4 x 4 x 8 = 128 giá trị, được chuẩn hóa để giảm độ nhạy với ánh sáng.

Việc so khớp so sánh các descriptor bằng khoảng cách Euclid. Kiểm tra tỷ lệ của Lowe chỉ giữ lại một phép so khớp khi láng giềng gần nhất rõ ràng gần hơn láng giềng gần thứ hai. Phép tìm kiếm k láng giềng gần nhất với k = 2 cung cấp cả hai khoảng cách.

import cv2
from ultralytics.utils import ASSETS

# Load a sample image in grayscale and a half-size copy
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE)
small = cv2.resize(img, None, fx=0.5, fy=0.5)

# Detect keypoints and compute 128-dimensional descriptors
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img, None)
kp2, des2 = sift.detectAndCompute(small, None)

# Match half-size descriptors to full-size ones, then apply Lowe's ratio test
pairs = cv2.BFMatcher().knnMatch(des2, des1, k=2)
good = [m for m, n in pairs if m.distance < 0.8 * n.distance]
print(f"{len(good)} of {len(kp2)} half-size keypoints matched at full size")

Số lượng được in ra cho biết có bao nhiêu keypoint được tìm thấy ở ảnh có kích thước bằng một nửa tiếp tục được nhận diện trong ảnh kích thước đầy đủ, thể hiện tính bất biến với tỷ lệ.

Ứng dụng#

SIFT trở thành đặc trưng cục bộ mặc định cho các tác vụ thị giác hình học:

• Ghép ảnh toàn cảnh: Phương pháp ghép ảnh toàn cảnh tự động của Brown và Lowe (IJCV 2007) so khớp đặc trưng SIFT giữa các ảnh chồng lấp và ước tính homography để căn chỉnh chúng; bước căn chỉnh này được gọi là đăng ký ảnh.
• Tái tạo 3D: Photo Tourism (Snavely, Seitz và Szeliski, 2006) so khớp đặc trưng SIFT giữa các ảnh du lịch và sử dụng hình học epipolar để khôi phục tư thế camera và cấu trúc 3D thưa.
• Định vị robot: Se, Lowe và Little (2001) sử dụng các mốc SIFT để định vị và lập bản đồ cho robot di động; phương pháp này là tiền thân của SLAM thị giác hiện đại.
• Nhận dạng đối tượng cụ thể: Bài báo năm 2004 của Lowe nhận dạng một đoàn tàu đồ chơi và một con ếch trong cảnh lộn xộn, bị che khuất một phần, chỉ với 3 đặc trưng được so khớp.

Trong theo dõi đối tượng của Ultralytics YOLO, BoT-SORT bù cho chuyển động của camera giữa các frame; đặt gmc_method: sift trong cấu hình tracker sẽ dùng các phép so khớp SIFT để ước tính chuyển động thay vì phương pháp luồng quang học thưa mặc định.

So sánh SIFT với các phương pháp liên quan#

SIFT so khớp cùng một điểm vật lý giữa các góc nhìn, phù hợp với việc tìm tương ứng và xử lý hình học. Phát hiện đối tượng thay vào đó dự đoán danh mục và vị trí của các đối tượng. So khớp mẫu trượt một vùng ảnh cố định và không hoạt động tốt khi tỷ lệ hoặc phép xoay thay đổi.

SIFT chậm hơn ORB, một descriptor nhị phân do Rublee và cộng sự giới thiệu năm 2011 như một phương án thay thế cho SIFT và SURF. Phương pháp này cũng gặp khó khăn với các bề mặt ít kết cấu và khi góc nhìn thay đổi rất lớn; các model được học phần lớn đã thay thế SIFT trong nhận dạng ở cấp danh mục.

Trong các thử nghiệm năm 2004 của Lowe, việc loại bỏ các phép so khớp có tỷ lệ khoảng cách lớn hơn 0.8 đã loại bỏ 90% phép so khớp sai trong khi loại bỏ chưa đến 5% phép so khớp đúng, trên các ảnh có thay đổi tỷ lệ và phép xoay ngẫu nhiên, xoay theo chiều sâu 30 độ và nhiễu 2%, được so khớp với 40,000 keypoint.