Depth Bleeding

نزف العمق أثرٌ يظهر في خرائط العمق، حيث تتسرب قيم العمق عبر الحد الفاصل بين جسم في المقدمة وخلفيته، فتأخذ وحدات البكسل على الحافة عمق السطح الآخر أو مزيجًا من العمقين. ويظهر هذا الأثر عند انقطاعات العمق، أي حدود الحجب التي ينتهي عندها سطح ويبدأ سطح أبعد بكثير، ويؤثر في جميع مصادر العمق: الرؤية المجسمة، ومستشعرات زمن الرحلة وLiDAR، وتقدير العمق بالتعلم. وتفوق أهمية الحواف ما يوحي به عدد وحدات البكسل فيها بكثير. وعند إسقاطها عكسيًا على سحابة نقاط ثلاثية الأبعاد، تتحول وحدات البكسل ذات العمق المتسرب إلى نقاط طائرة معلقة في الفضاء الفارغ بين الجسم والجدار خلفه. وفي الواقع المعزز، تجعل الأجسام الافتراضية تخترق الحواف الحقيقية أو تطفو أمامها؛ وفي تركيب مناظر جديدة، تمد الحواف كما لو كانت صفائح مطاطية؛ أما في الروبوتات والمركبات ذاتية القيادة، فتجعل الأجسام تبدو أعرض مما هي عليه، ما يزيح موضع إمساك الروبوت ويمد مربعات الكشف عن الأجسام ثلاثية الأبعاد.

مصادر نزف العمق#

في المطابقة المجسمة، يُحدد التطابق لكل بكسل بمقارنة نافذة من الجيران، وتغطي تلك النافذة السطحين معًا قرب الحافة. وقد تطغى وحدات بكسل المقدمة ضمن النافذة على كلفة المطابقة، فيمتد عمق المقدمة إلى وحدات بكسل الخلفية المجاورة، وهو أثر تسميه المراجع الخاصة بالرؤية المجسمة تضخم المقدمة. أما وحدات البكسل التي لا تراها سوى كاميرا واحدة، فلا تطابق صحيحًا لها أصلًا، فتأخذ عمق إحدى الوحدات المجاورة.

تنتج الشبكات العصبية المستخدمة في تقدير العمق من صورة أحادية هذا النزف بطريقتين. إذ تقلّص المشفرات الصورة إلى خرائط سمات منخفضة الدقة، فتتنبأ كثير من مفككات الترميز بالعمق عند جزء من دقة الإدخال، ثم ترفع الدقة بالاستيفاء، ما يمزج السطحين عبر كل حافة. وعندما يمكن أن تنتمي بكسلة حدودية إلى أي من السطحين، تُصغّر دالة الخسارة التربيعية الخطأ بتوقع متوسط العمقين، وهي قيمة لا تقع على أي من السطحين. وتتنبأ نماذج العمق في Ultralytics YOLO26 بالعمق اللوغاريتمي عند ربع دقة الإدخال، ثم يرفع المتنبئ دقة الخريطة ثنائيًا إلى حجم الصورة الأصلي؛ لذا تتحول القفزة بين سطحين في المخرجات إلى تدرج يمتد بضعة بكسلات.

تتسبب المستشعرات في النزف ماديًا. فبكسل زمن الرحلة أو حزمة LiDAR التي يغطي نطاقها حافةً تستقبل الضوء من كلا السطحين، وتبلغ عن عمق يقع بينهما، وهو المصدر التقليدي للنقاط الطائرة في سحب نقاط كاميرات العمق. وتضيف كاميرات RGB-D عدم محاذاة، إذ يُقاس العمق من موضع يختلف قليلًا عن موضع قياس اللون، فتتحرك الحواف عند إعادة إسقاط إحداهما على الأخرى.

يرفع هذا المثال دقة خريطة عمق عند ربع الدقة لشخص يقف على بُعد 1.5 m أمام جدار يبعد 4 m، بالطريقة التي تتبعها كثير من شبكات العمق للوصول إلى الدقة الكاملة، ثم يحصي وحدات البكسل التي لا ينتمي عمقها إلى أي من السطحين:

import torch
import torch.nn.functional as F

# A depth map predicted at 1/4 resolution: a person 1.5 m away in front of a wall 4 m away
low = torch.full((1, 1, 120, 160), 4.0)
low[..., 30:, 60:100] = 1.5

for mode in ["bilinear", "nearest"]:
    # Upsample 4x to the 480 x 640 image
    depth = F.interpolate(low, size=(480, 640), mode=mode)[0, 0]

    # Bleeding pixels hold depths that belong to neither surface
    bleeding = (depth > 1.6) & (depth < 3.9)
    print(f"{mode}: {bleeding.sum().item()} bleeding pixels, row 300 across the edge: {depth[300, 394:404].tolist()}")

ينشئ رفع الدقة ثنائي الاستيفاء 3,518 بكسلة تعاني نزفًا، مكوّنًا تدرجًا من 1.81 و2.44 و3.06 و3.69 m على امتداد كل حافة من حدود الصورة الظلية، وتبدو كل بكسلة منها طافية في الهواء ضمن سحابة نقاط. ولا ينشئ رفع الدقة بأقرب جار أي بكسلات من هذا النوع، لأنه لا يبتكر قيمًا جديدة، لكن الحافة الحقيقية في الصور الفعلية تقع داخل بكسل منخفض الدقة، لذا قد يزيح خرج أقرب جار الحواف بمقدار يصل إلى بكسلين، ويحوّل الحواف القطرية إلى درجات متكسرة.

الحد من نزف العمق وقياسه#

يستخدم رفع الدقة المراعي للحواف، وهو شكل من أشكال الاستبانة الفائقة للعمق الموجّه، صورة الألوان كاملة الدقة دليلاً. ويمنح كل من الرفع الثنائي الجانب المشترك، الذي قدمه يوهانس كوبف وزملاؤه عام 2007، والمرشح الموجّه، أوزانًا لكل جار استنادًا إلى تشابه الألوان، بحيث يتوقف العمق عند حواف الصورة. أما الإخفاق المعاكس، وهو نسخ النسيج، فيحدث عندما تُنقش حواف الألوان التي لا يصاحبها تغير في العمق، مثل الكتابة المطبوعة على صندوق، في خريطة العمق. وتحد الشبكات من التسرب باستخدام مخرجات أعلى دقة، ودوال خسارة للتدريب تراعي الحدود، وتحسين موجّه بواسطة تجزئة الصور، وقد صُمم Depth Pro من Apple وقُيّم خصيصًا للتعامل مع الحدود الحادة. وفي التصوير المجسّم، يحدد فحص الاتساق بين اليسار واليمين وحدات البكسل التي تختلف مطابقاتها بين الاتجاهين، وبالنسبة إلى أي مصدر، يمكن إزالة البكسلات الطائرة باستبعاد النقاط التي يقفز فيها العمق بشدة بين الجيران أو التي يكون فيها السطح موازيًا تقريبًا لشعاع الرؤية.

لا ترصد المقاييس القياسية نزف العمق إلا بالكاد، لأن وحدات البكسل عند الحواف تمثل نسبة صغيرة من الصورة، ولأن الأخطاء المتوسطة مثل الخطأ المطلق النسبي بالكاد تتغير. ويقيس معيار iBims-1، الذي أصدره Tobias Koch وزملاؤه في الجامعة التقنية في ميونخ عام 2018، حواف العمق مباشرةً باستخدام أخطاء حدود العمق: إذ تقيس الدقة المسافة بين الحواف المتوقعة والحواف المشروحة يدويًا، بينما يقيس الاكتمال عدد الحواف الحقيقية التي لم يتنبأ بها النموذج.