Scale-Invariant Feature Transform (SIFT)

تحويل السمات الثابتة للمقياس (SIFT) خوارزمية كلاسيكية في الرؤية الحاسوبية تعثر على نقاط مفتاحية محلية مميزة في الصورة، وتصف كل نقطة بمتجه من 128 قيمة يظل ثابتًا إلى حد كبير عند تغيير مقياس الصورة أو تدويرها. تتيح مطابقة هذه الواصفات للبرامج ربط صورتين للمشهد نفسه التُقطتا من مسافتين وزاويتين مختلفتين، وهي الطريقة التي تُدمج بها الصور المتداخلة في صورة بانورامية. SIFT أسلوب مصمم يدويًا لـاستخراج السمات، على عكس خرائط السمات المتعلَّمة في الشبكة العصبية الالتفافية.

النشأة والفكرة الأساسية#

قدّم David Lowe من جامعة كولومبيا البريطانية SIFT في ورقته البحثية لعام 1999 في ICCV بعنوان التعرّف على الكائنات من السمات المحلية الثابتة للمقياس، وشرحها بالتفصيل في ورقة «السمات المميزة للصور المستخلصة من النقاط المفتاحية الثابتة للمقياس» المنشورة في المجلة الدولية للرؤية الحاسوبية عام 2004. سمات SIFT ثابتة عند تغيير المقياس والدوران، وتُطابق بموثوقية عبر نطاق واسع من التشوهات التقاربية، وتغيّر زاوية الرؤية ثلاثية الأبعاد، والضوضاء، وتغيّر الإضاءة. كانت الطريقة محمية ببراءة اختراع، وانتهت صلاحية البراءة في عام 2020. نقلت OpenCV SIFT من مستودع المساهمات الخاص بها إلى المكتبة الرئيسية في الإصدار 4.4.0.

لا يكون للكائن حجم ثابت في الصورة، لذا يجب على الكاشف البحث عن البنية عند كل حجم. تنشئ SIFT فضاءً للمقياس عبر تطبيق التمويه الغاوسي مرارًا بقوى متزايدة، ثم تقليل الأبعاد ضمن مجموعات تُسمى أوكتافات.

آلية عمل SIFT#

تعمل الخوارزمية عبر أربع مراحل:

1. اكتشاف القيم القصوى في فضاء المقياس: تقرّب الفروق بين مستويات التمويه المتجاورة (فروق الغاوسيات) كاشفًا للبقع. وتُعد البكسلة مرشحة إذا كانت القيمة القصوى أو الدنيا بين جاراتها الـ26 عبر المكان والمقياس.
2. تحديد موضع النقاط المفتاحية: تُحسَّن النقاط المرشحة إلى دقة دون البكسل. وتُستبعد النقاط منخفضة التباين والنقاط الواقعة على امتداد الحواف لأنها غير مستقرة.
3. تعيين الاتجاه: يحدد مدرج تكراري لاتجاهات التدرج المحلية حول كل نقطة مفتاحية اتجاهًا سائدًا، ويُقاس كل ما يلي نسبةً إليه. وهذا يحقق الثبات تجاه الدوران.
4. إنشاء الواصف: تُقسّم المنطقة المحيطة إلى شبكة 4 x 4، وتحتوي كل خلية على مدرج تكراري للتدرج من 8 فئات. ينتج عن ذلك 4 x 4 x 8 = 128 قيمة، وتُطبّع لتقليل الحساسية للإضاءة.

تقارن المطابقة الواصفات باستخدام المسافة الإقليدية. ولا يحتفظ اختبار النسبة الخاص بـLowe بالمطابقة إلا عندما تكون أقرب نقطة مجاورة أقرب بوضوح من ثاني أقرب نقطة. ويوفر البحث عن أقرب k من الجيران باستخدام k = 2 المسافتين كلتيهما.

import cv2
from ultralytics.utils import ASSETS

# Load a sample image in grayscale and a half-size copy
img = cv2.imread(str(ASSETS / "bus.jpg"), cv2.IMREAD_GRAYSCALE)
small = cv2.resize(img, None, fx=0.5, fy=0.5)

# Detect keypoints and compute 128-dimensional descriptors
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img, None)
kp2, des2 = sift.detectAndCompute(small, None)

# Match half-size descriptors to full-size ones, then apply Lowe's ratio test
pairs = cv2.BFMatcher().knnMatch(des2, des1, k=2)
good = [m for m, n in pairs if m.distance < 0.8 * n.distance]
print(f"{len(good)} of {len(kp2)} half-size keypoints matched at full size")

يوضح العدد المعروض عدد النقاط المفتاحية التي عُثر عليها عند نصف الحجم ثم جرى التعرّف عليها مجددًا في الصورة كاملة الحجم، وهذا يبيّن أثر الثبات تجاه تغيير المقياس.

التطبيقات#

أصبحت SIFT السمة المحلية الافتراضية لمهام الرؤية الهندسية:

• دمج الصور البانورامية: تطابق طريقة Brown وLowe للدمج التلقائي للصور البانورامية (IJCV 2007) سمات SIFT بين الصور المتداخلة، وتقدّر تحويل التجانس لمحاذاتها، وهي خطوة محاذاة تُسمى تسجيل الصور.
• إعادة البناء ثلاثي الأبعاد: يطابق مشروع Photo Tourism (Snavely وSeitz وSzeliski، 2006) سمات SIFT عبر صور السياح، ويستخدم الهندسة الإبيلارية لاستعادة أوضاع الكاميرات والبنية ثلاثية الأبعاد المتناثرة.
• تحديد موضع الروبوت: استخدم Se وLowe وLittle (2001) معالم SIFT لتحديد موضع الروبوت المتنقل ورسم الخرائط، في عمل يُعد سلفًا لـالتحديد البصري للموقع ورسم الخرائط المتزامن الحديث.
• التعرّف على النسخ المحددة من الكائنات: تتعرّف ورقة Lowe لعام 2004 على قطار لعبة وضفدع في مشهد مزدحم ومحجوب جزئيًا باستخدام 3 سمات متطابقة فحسب.

في تتبّع الكائنات باستخدام Ultralytics YOLO، يعوّض BoT-SORT حركة الكاميرا بين الإطارات، ويؤدي ضبط gmc_method: sift في إعدادات أداة التتبّع إلى استخدام مطابقات SIFT لهذا التقدير بدلًا من التدفق البصري المتناثر الافتراضي.

مقارنة SIFT بالطرق ذات الصلة#

تطابق SIFT النقاط الفيزيائية نفسها عبر المشاهد، ما يجعلها مناسبة للمراسلات والهندسة. أما اكتشاف الكائنات فيتنبأ بفئة الكائنات ومواقعها. وتحرّك مطابقة القوالب رقعة ثابتة، لكنها تفشل عند تغيّر المقياس أو الدوران.

SIFT أبطأ من ORB، وهو واصف ثنائي قدّمه Rublee وزملاؤه عام 2011 بديلًا عن SIFT وSURF. كما تواجه صعوبة مع الأسطح الخالية من النسيج وعند التغيّرات الكبيرة جدًا في زاوية الرؤية، وقد حلّت النماذج المتعلَّمة محلها إلى حد كبير في التعرّف على مستوى الفئات.

في اختبارات Lowe لعام 2004، أدى رفض المطابقات التي تتجاوز نسبة مسافاتها 0.8 إلى إزالة 90% من المطابقات الخاطئة، مع استبعاد أقل من 5% من المطابقات الصحيحة، وذلك على صور تتضمن تغيّرات عشوائية في المقياس والدوران، ودورانًا في العمق بمقدار 30 درجة، وضوضاء بنسبة 2%، ومقارنتها بـ40,000 نقطة مفتاحية.