Neural Texture Compression

ضغط الأنسجة العصبي (NTC) تقنية ضغط فاقد تخزّن أنسجة المواد على هيئة سمات متعلَّمة مدمجة ومفكّك ترميز عصبي صغير. ويعيد مفكّك الترميز بناء قيم الأنسجة عندما يحتاج إليها مُصيّر الرسومات. وبصورة مبسطة، تستبدل هذه التقنية مجموعات كبيرة من صور تفاصيل الأسطح بتمثيل متعلَّم أصغر حجمًا، ما يقلل متطلبات التخزين وذاكرة الرسومات مع الحفاظ على التفاصيل المرئية الدقيقة.

قدّم كارثيك فايدياناتان وماركو سالفي وبارتوميج فرونسكي وتوماس أكينين-مولر وبونتوس إبلين وآرون ليفون من NVIDIA في عام 2023 طريقة NTC المؤثرة ذات الوصول العشوائي، من خلال الضغط العصبي للأنسجة المادية مع الوصول العشوائي. وتضغط الطريقة أنسجة المادة وخرائط مستويات التفاصيل (mipmap) الخاصة بها معًا، وهي نسخ الأنسجة التي يتناقص حجمها تدريجيًا عند ظهور الأسطح من مسافة أبعد.

آلية عمل ضغط الأنسجة العصبي#

تستخدم مادة التصيير القائمة على الفيزياء عدة خرائط أنسجة متوافقة: يصف اللون الأساسي لون السطح، وتصف خرائط المتجهات العمودية التغيرات الطفيفة في اتجاه السطح، بينما تتحكم الخشونة في حدة اللمعان. وتشترك هذه الخرائط في البنية؛ فالخدش، على سبيل المثال، قد يؤثر في عدة قنوات في الموقع نفسه. ويستفيد NTC من هذه الارتباطات بتمثيل الخرائط معًا في فضاء كامن مشترك، مع توزيع متجهات سمات مدمجة على شبكات مكانية. وتفكّك شبكة عصبية صغيرة، تكون عادةً من نوع الإدراك متعدد الطبقات، ترميز السمات إلى قيم المادة.

أثناء الضغط، تُحسَّن شبكات السمات وأوزان النموذج الخاصة بمفكّك الترميز لتناسب المادة. وتقيس دالة خسارة إعادة البناء الاختلافات عن الأنسجة الأصلية، بينما يوفر الانتشار العكسي التدرجات اللازمة للتحسين. وتستخدم الطريقة الأصلية محسّن Adam، وتدمج السمات المأخوذة بالعينة مع المعلومات الموضعية ومستوى mip المطلوب. وأثناء التصيير، يعيد استعلام الإحداثيات بناء عنصر النسيج المقابل، وهو المكافئ في النسيج للبكسل.

تربط هذه البنية الهجينة NTC بـالتمثيلات العصبية الضمنية، التي تمثل الإشارات من خلال دوال متعلَّمة تعتمد على الإحداثيات. وتتمثل قدرته الرسومية المميزة في الوصول العشوائي: إذ يعيد مُصيّر الرسومات بناء مواقع الأنسجة المطلوبة عند الحاجة، ما يدعم الاستدلال في الزمن الحقيقي أثناء التظليل.

توفير الذاكرة والمفاضلات في التصيير#

يستبدل NTC ذاكرة الأنسجة بالحوسبة التي ينفذها مفكّك الترميز على GPU. ويوضح نمطان للنشر هذه المفاضلة بجلاء:

• الاستدلال عند التحميل: تُفكّ الأنسجة عند تحميل الأصل، ويمكن تحويلها إلى أنسجة تقليدية مضغوطة بكتل BCn. وهذا يقلل حجم تخزين الأصل ونقله، مع الحفاظ على مساحة الذاكرة المقيمة التي يتطلبها التنسيق المستهدف.
• الاستدلال أثناء أخذ العينات: تفكّ أدوات التظليل ترميز وحدات النسيج المطلوبة أثناء العرض، فتحافظ على التمثيل العصبي في ذاكرة الرسومات وتضيف أعمال فك الترميز إلى أخذ عينات النسيج.

يوجد وضع ثالث، وهو الاستدلال عند تلقي التغذية الراجعة، ويفك فيه ترميز أجزاء النسيج المطلوبة إلى ذاكرة تخزين مؤقتة متناثرة للنسيج. وتحدد هذه الخيارات المواضع التي يستمر فيها توفير الضغط والمواضع التي تحدث فيها أعمال فك الضغط.

استخدم العرض التوضيحي الأصلي لـ inkwell أنسجة NTC بأبعاد 4096 x 4096 مقابل أنسجة مضغوطة كتليًا بأبعاد 1024 x 1024: عدد وحدات نسيج أكبر بمقدار 16 مرة مع ذاكرة أنسجة أقل بنسبة 30%. وتُظهر المقارنة الحفاظ على تفاصيل سطحية بدقة أعلى ضمن تخصيص أصغر لذاكرة الأنسجة.

التطبيقات والمفاهيم ذات الصلة#

يُعد العرض التفاعلي ثلاثي الأبعاد تطبيقًا مباشرًا. يضغط المطورون أصول المواد أثناء إعداد المحتوى ويدمجون فك الترميز في محرك العرض. باستخدام مجموعة تطوير برمجيات NVIDIA RTX Neural Texture Compression، يضغط ntc-cli مجموعات الأنسجة، وتقارن NTC Explorer الإعدادات، ويعرض نموذج محرك العرض أصول glTF. ويتضمن نموذج FlightHelmet المرفق مواد مضغوطة مسبقًا لاختبار أوضاع العرض.

العرض العصبي هو الاستخدام الأوسع للمكونات المتعلمة في تركيب الصور. تعيد NTC على وجه التحديد بناء أنسجة المواد المخزنة؛ أما زيادة الدقة الفائقة فتعيد بناء صور بدقة أعلى انطلاقًا من مدخلات أقل دقة. وتعمل هذه التقنيات في مراحل مختلفة من خط معالجة الرسومات.

يقلل تكميم النماذج الدقة العددية لمعاملات الشبكة وتنشيطاتها. وتطبق Ultralytics YOLO هذه التقنية ذات الدقة المنخفضة ذات الصلة عبر تصدير TensorRT، منتجةً محركات INT8 YOLO26 التي تقلل متطلبات ذاكرة النموذج وتسرّع أعباء الاستدلال المدعومة.

جودة إعادة البناء والعيوب#

تعتمد جودة NTC على ميزانية البتات ومدى تعقيد المواد. وتتيح زيادة عدد البتات لكل وحدة نسيج سعة أكبر لإعادة بناء التفاصيل؛ أما إضافة قنوات مع ثبات الميزانية فتزيد ضغط الضغط. وتقيس نسبة ذروة الإشارة إلى الضوضاء (PSNR)، بوحدة الديسيبل، مدى أمانة إعادة البناء، وتشير القيم الأعلى إلى خطأ أقل. كما يتيح فك الترميز المشترك تسرب الميزات بين القنوات، ما يغير خصائص المواد المعاد بناؤها. وفي تنفيذ NVIDIA، تخضع قناة قناع ألفا المحددة صراحةً لمعالجة خاصة للحفاظ على القيم القريبة من 0 و1 بدقة أكبر.