Image Registration

مطابقة الصور هي عملية محاذاة صورتين أو أكثر بحيث يقع الموقع نفسه في المشهد عند إحداثيات متطابقة. تخيّل وضع صورة قمر صناعي التُقطت في يونيو فوق صورة التُقطت في يناير: إذا تغيّرت زاوية الكاميرا أو موضعها، فقد يبدو أن طريقًا قد تحرّك رغم أنه لم يتحرّك. تصحح المطابقة هذا الاختلاف الهندسي قبل أن يقارن نظام الرؤية الحاسوبية الصور أو يدمج المعلومات الواردة فيها.

آلية عمل مطابقة الصور#

يعيّن سير عمل المطابقة صورةً بوصفها الصورة الثابتة التي تحدد نظام الإحداثيات المستهدف، وصورةً أخرى بوصفها الصورة المتحركة التي يجب محاذاتها إليها. يقدّر النظام تحويلاً مكانيًا، ثم يعيد أخذ عينات الصورة المتحركة — أي يحسب قيم البكسلات في مواضعها الجديدة. ويمكن فحص النتيجة بتراكب الصورتين؛ إذ ينبغي أن تتطابق البنى الثابتة، بينما تظل التغيّرات الحقيقية ظاهرة. يوضح استعراض مطابقة الصور في ImageJ العلاقة بين النقاط المتناظرة والتحويلات والصور المحاذاة.

ثمة طريقتان شائعتان لتقدير التحويل. تحدد المطابقة القائمة على السمات مواقع يمكن تمييزها، مثل الزوايا، في كلتا الصورتين، ثم تطابق النقاط التي تمثل الموضع نفسه. بعد ذلك، تلائم تحويلاً لهذه المطابقات، مستبعدةً حالات عدم التطابق متى أمكن؛ ويوضح دليل مطابقة السمات والتجانس في OpenCV آلية ذلك. أما المطابقة القائمة على الشدة فتعدّل التحويل لتحسين مقياس للتشابه بين قيم البكسلات في الصور. ويشكّل هذا المقياس وإجراء البحث، المسمى المُحسِّن، عنصرين محوريين في سير عمل المطابقة القائمة على الشدة.

اختيار التحويل#

يعتمد التحويل المناسب على سبب اختلاف الصور. يعالج الانتقال إزاحة أفقية أو عمودية بسيطة. ويسمح التحويل الصلب أيضًا بالدوران مع الحفاظ على المسافات. وتعالج المطابقة affine كذلك تغيير المقياس والانحراف، لكنها تطبق تحويلاً واحدًا على الصورة بأكملها. ويمكن للتحويل الإسقاطي، أو التجانس، أن يعالج اختلافات المنظور عندما يكون المشهد المطابق مستويًا تقريبًا. يوضح شرح MathWorks لأنواع التحويلات الهندسية الفروق بينها بصريًا.

تحتاج بعض المشاهد إلى المطابقة القابلة للتشوه، التي تسمح بتحرك مناطق مختلفة بمقادير متفاوتة، مثلما يحدث عند تغير شكل أحد الأعضاء بين الفحوص. قد تحسّن هذه المرونة المحاذاة الموضعية، لكن الالتواء غير المعقول قد يخفي اختلافًا حقيقيًا. لذلك تجعل أدوات الصور الطبية، مثل إطار المطابقة في SimpleITK، التحويل ومقياس التشابه والمُحسِّن وطريقة الاستيفاء أمورًا صريحة.

المطابقة ومهام الرؤية ذات الصلة#

تتعلق المطابقة بـنظام إحداثيات مشترك، لا بمجرد التشابه البصري. تحدد مطابقة الصور المحتوى البصري المتناظر، وقد توفر أزواج النقاط اللازمة للمطابقة؛ أما المطابقة فتتجاوز ذلك بتقدير المحاذاة المكانية وتطبيقها. ويمكن أن تؤدي النقاط المفتاحية دور هذه النقاط المتناظرة، مع أن النقاط الواقعة على أشخاص أو مركبات متحركة لا تصلح عادةً كمراسي لمحاذاة خلفية ثابتة.

وبالمثل، يقدّر التدفق البصري الحركة الظاهرية بين الإطارات. ويمكن لتقديرات الحركة أن تساعد على مطابقة الإطارات، كما يوضح مثال مطابقة التدفق البصري في scikit-image، لكن التدفق لا يضمن بحد ذاته دقة المحاذاة. أما تتبّع الأجسام فله هدف مختلف، وهو الحفاظ على هوية الجسم بمرور الوقت. وقد يستخدم المتتبّع تقديرات حركة الخلفية لتجنب الخلط بين حركة الكاميرا وحركة الجسم.

أهميتها في تطبيقات الذكاء الاصطناعي#

في كشف التغيّرات في صور الأقمار الصناعية، قد يقارن محلل صورًا لأراضٍ زراعية التُقطت بفاصل عدة أشهر لتحديد المناطق التي أُزيلت منها النباتات حديثًا. تضع المطابقة الحقول والطرق والحدود في مواضع البكسلات نفسها قبل أن يقارنها نموذج [كشف التغيّرات](https://ultralytics-translation-0.invalid. وإلا فقد تبدو حدود الحقول المنزاحة وكأنها تغيّر في الغطاء الأرضي. ويظل اختلاف الموسم أو الإضاءة أو نوع المستشعر عاملًا يستدعي الانتباه بعد المحاذاة. وهذا من الاعتبارات الشائعة في تحليل صور الأقمار الصناعية.

في تحليل الصور الطبية، قد يقارن الطبيب فحوصًا من زيارات منفصلة لتقييم ما إذا كانت آفة قد تغيرت. تسهّل محاذاة الفحوص مقارنة المنطقة التشريحية نفسها أو تمريرها إلى نموذج تقسيم. ولأن الأعضاء قد تتشوه ولأن طرائق التصوير قد تنتج أنماط سطوع مختلفة، ينبغي للمطابقة الجيدة أن تحافظ على الاختلافات المهمة سريريًا بدلًا من فرض مظهر متطابق على كل منطقة.

المطابقة والتحقق العمليان#

ابدأ بأبسط تحويل يفسر الاختلاف تفسيرًا معقولًا. تحقق من أن الصور تشترك في قدر كافٍ من المحتوى المرئي، وخذ اختلاف الدقة في الحسبان، وافحص المحاذاة في مواضع عدة، لا في الموضع الذي تكون فيه المطابقة أقوى فحسب. احفظ التحويل المقدّر عندما يلزم إرجاع التنبؤات أو التعليقات التوضيحية اللاحقة إلى الصورة الأصلية. يشرح دليل التحويلات الهندسية في OpenCV كيف تضع عملية تشويه الصورة البكسلات المحوّلة.

يستخدم المثال المستقل التالي سير عمل الارتباط الطوري في scikit-image لتقدير انتقال. ثبّت التبعيات باستخدام pip install scikit-image scipy.

import numpy as np
from scipy.ndimage import shift
from skimage import data
from skimage.io import imsave
from skimage.registration import phase_cross_correlation

# ⁨أنشئ صورة مرجعية ونسخة مزاحة من الصورة نفسها.⁩
fixed = data.camera()
moving = np.roll(fixed, shift=(12, -8), axis=(0, 1))

# ⁨قدّر الإزاحة اللازمة لمحاذاة الصورة المتحركة مع الصورة الثابتة.⁩
estimated_shift, _, _ = phase_cross_correlation(fixed, moving)
aligned = shift(moving, estimated_shift, order=0, mode="grid-wrap")

imsave("registered.png", aligned)
print(estimated_shift)

تصف القيم المطبوعة التصحيح، بينما تعرض registered.png الصورة المحاذاة. هذا مثال يقتصر على الانتقال؛ ولا يتناول الدوران أو التشوه أو الصور الملتقطة بمستشعرات مختلفة. وفي مسار معالجة فيديو بكاميرا متحركة، يقدم تتبّع Ultralytics YOLO تطبيقًا ذا صلة: إذ يقدّر تعويض حركة الكاميرا فيه التواءً من إطار إلى آخر للمساعدة على إبقاء مواضع الأجسام المتتبعة متسقة. وتدعم عملية المتتبّع هذه ربط الأجسام عبر الإطارات، بدلًا من إنتاج صورة مطابقة لأغراض عامة.