مسرد المصطلحات

نقل النمط العصبي

اكتشف قوة نقل النمط العصبي! امزج المحتوى والأنماط الفنية مع الذكاء الاصطناعي لإنشاء مرئيات مذهلة للفن والتصميم وغير ذلك الكثير.

تدريب YOLO النماذج
ببساطة مع Ultralytics HUB

التعرف على المزيد

نقل النمط العصبي (NST) هي تقنية رائعة في التعلم العميق (DL) تسمح بتطبيق النمط الفني لصورة ما ("صورة النمط") على محتوى صورة أخرى ("صورة المحتوى")، مما يؤدي إلى إنشاء صورة جديدة تمزج بين محتوى إحداهما مع النمط الجمالي للصورة الأخرى. تستفيد هذه التقنية من قوة الشبكات العصبية التلافيفية (CNNs)، التي عادةً ما يتم تدريبها مسبقًا على مجموعات بيانات كبيرة مثل ImageNet، لفصل عناصر المحتوى والأسلوب في الصور وإعادة تجميعها. وقد شاعت هذه التقنية من خلال ورقة بحثيةبعنوان "خوارزمية عصبية للأسلوب الفني" من تأليف غاتيس وإيكر وبيثج.

كيف يعمل نقل النمط العصبي

تتمثل الفكرة الأساسية وراء شبكة NST في استخدام الطبقات الوسيطة لشبكة CNN المدربة مسبقًا، مثل شبكة VGG المستخدمة على نطاق واسع، لاستخراج تمثيلات لكل من المحتوى والأسلوب.

  1. تمثيل المحتوى: تُستخدم عمليات التنشيط من الطبقات العميقة في شبكة CNN لالتقاط المحتوى عالي المستوى للصورة. يتم تعريف دالة الخسارة (فقدان المحتوى) لتقليل الفرق بين تمثيل المحتوى لصورة المحتوى الأصلية والصورة التي تم إنشاؤها. يضمن ذلك احتفاظ الصورة التي تم إنشاؤها بموضوع صورة المحتوى. فهم استخراج الميزة هو المفتاح هنا.
  2. تمثيل النمط: يتم التقاط النمط من خلال تحليل الارتباطات بين التنشيطات عبر خرائط السمات المختلفة داخل طبقات متعددة من شبكة CNN. وتلتقط هذه الارتباطات، التي غالبًا ما يتم تمثيلها باستخدام مصفوفة غرام، الملمس وأنماط الألوان والميزات الشبيهة بضربة الفرشاة، بشكل مستقل عن الأجسام المحددة الموجودة. تعمل دالة فقدان النمط على تقليل الفرق بين تمثيل النمط لصورة النمط والصورة التي تم إنشاؤها.
  3. التحسين: تُستخدَم خوارزمية التحسين، مثل نزول التدرج، لتعديل صورة الضوضاء الأولية (أو صورة المحتوى نفسها) بشكل تكراري لتقليل دالة الخسارة المجمّعة، وهي عبارة عن مجموع مرجّح لخسارة المحتوى وخسارة النمط. يمكن إضافة خسارة تباين كلي اختياري لتشجيع النعومة المكانية في صورة الخرج. تنقل هذه العملية النمط بفعالية مع الحفاظ على المحتوى.

المفاهيم والتقنيات الرئيسية

تعتمد NST بشكل كبير على مفاهيم من التعلم العميق والرؤية الحاسوبية (CV):

  • النماذج المدربة مسبقًا: يعد استخدام نماذج CNNs المدربة مسبقًا على مجموعات بيانات كبيرة (مثل النماذج المدربة على COCO) أمرًا بالغ الأهمية. وقد تعلمت هذه النماذج بالفعل ميزات هرمية غنية مفيدة لاستخراج المحتوى والأسلوب على حد سواء. هذا هو شكل من أشكال التعلُّم التحويلي.
  • مساحات الميزات: إن فهم أن الطبقات المختلفة في شبكة CNN تلتقط الميزات في مستويات مختلفة من التجريد (الحواف والأنسجة في الطبقات الأولى، وأجزاء الكائنات المعقدة في الطبقات الأعمق) أمر أساسي في تقنية NST.
  • وظائف الخسارة: يوجه التصميم الدقيق لدوال خسارة المحتوى والأسلوب عملية التحسين نحو المخرجات الفنية المطلوبة.

نقل النمط العصبي مقابل المهام ذات الصلة

من المهم التفريق بين NST ومهام السيرة الذاتية الأخرى:

  • تصنيف الصور: تعيين تسمية واحدة (مثل "قطة" أو "كلب") لصورة كاملة. يعالج NST مظهر الصورة بناءً على النمط وليس التصنيف. يمكن لنماذج Ultralytics YOLO تنفيذ مهام تصنيف الصور.
  • اكتشاف الكائن: يحدد الكائنات ويحدد موقعها داخل الصورة باستخدام المربعات المحدودة. بينما يعالج NST نمط الصورة بالكامل، يركز اكتشاف الكائنات على حالات محددة، مثل تلك التي يقوم بها Ultralytics YOLO11.
  • تجزئة الصور: يعيّن تسمية فئة لكل بكسل (دلالي) أو يميز مثيلات الكائنات على مستوى البكسل(تجزئة المثيل). تقوم NST بتعديل قيم البكسل بناءً على النمط وليس التصنيف. انظر مهام تجزئةUltralytics للمقارنة.
  • شبكات الخصومة التوليدية (GANs): يمكن لشبكات GAN مثل CycleGAN أيضًا إجراء نقل النمط، وغالبًا ما يكون أسرع وأحيانًا بدون أمثلة مقترنة، لكنها تعمل على مبادئ مختلفة (تعلم التعيين بين المجالات) مقارنةً بالنهج القائم على التحسين في NST الكلاسيكي.

التطبيقات الواقعية

وجدت NST تطبيقات في المقام الأول في المجالات الإبداعية:

  • الإبداع الفني: تتيح تطبيقات الأجهزة المحمولة مثل Prisma ومنصات الويب مثل DeepArt.io للمستخدمين تطبيق أنماط فنية شهيرة على صورهم بسهولة.
  • تحرير الصور والفيديو: تشتمل البرامج الاحترافية مثل Adobe Photoshop على ميزات شبيهة بـ NST(الفلاتر العصبية) للحصول على تأثيرات فنية متقدمة. يمكن أيضًا تطبيق نقل النمط إطار بإطار أو باستخدام تقنيات أكثر تقدمًا لنقل نمط الفيديو.
  • زيادة البيانات: يمكن استخدام NST لزيادة البيانات من خلال توليد إصدارات متنوعة من حيث الأسلوب من بيانات التدريب. من المحتمل أن يؤدي ذلك إلى تحسين متانة وتعميم النماذج المدرّبة على مهام مثل اكتشاف الأجسام أو تصنيف الصور من خلال تعريضها لأنماط بصرية أكثر تنوعًا، مما قد يقلل من الإفراط في التكييف. استكشف أدلة زيادة البيانات لمزيد من السياق.
  • التصميم والأزياء: توليد أنماط جديدة أو تطبيق أنماط جديدة أو تطبيق القوام على تصاميم المفاهيم.

الأدوات والموارد

يتم تسهيل تنفيذ NST من خلال أطر التعلم العميق:

إن فهم الآليات الأساسية، لا سيما أدوار طبقات الـ CNN المختلفة ووظائف الخسارة، هو المفتاح لتطبيق وتجربة نقل النمط العصبي بفعالية. يمكن أن يتضمن المزيد من الاستكشاف البحث في خوارزميات أسرع في نقل النمط العصبي وتوسعاتها إلى نماذج الفيديو والنماذج ثلاثية الأبعاد.

قراءة الكل