نقل الأنماط العصبية

نقل الأنماط العصبية (NST) هو أسلوب رؤية حاسوبية (CV) إبداعي وقوي يستخدم خوارزميات التعلم العميق لدمج صورتين: صورة "محتوى" وصورة مرجعية "للنمط". والنتيجة هي صورة جديدة تحتفظ بالكائنات والهيكل الأساسي لصورة المحتوى ولكن يتم عرضها بالأسلوب الفني لصورة النمط. تستفيد هذه التقنية من قدرات الشبكات العصبية الالتفافية (CNNs) لفصل وإعادة تجميع عناصر المحتوى والنمط للصور، وبالتالي "رسم" صورة واحدة بجمالية صورة أخرى.

كيفية عمل نقل الأسلوب العصبي

يكمن السحر وراء نقل الأنماط العصبية في كيفية معالجة الشبكات العصبية التلافيفية (CNNs) للمعلومات المرئية. لقد تعلمت شبكة مدربة مسبقًا، مثل VGG-19، التي تم تدريبها على مجموعة بيانات ImageNet ضخمة، التعرف على تسلسل هرمي غني من الميزات. تكتشف الطبقات السفلية من الشبكة ميزات بسيطة مثل الحواف والألوان، بينما تحدد الطبقات العليا هياكل أكثر تعقيدًا مثل الأشكال والأشياء.

تستغل NST عملية استخراج الميزات الهرمية هذه. تتضمن الفكرة الأساسية، التي تم تقديمها لأول مرة في ورقة "خوارزمية عصبية للأسلوب الفني"، عنصرين رئيسيين:

1. تمثيل المحتوى: لالتقاط محتوى الصورة، يتم استخدام التنشيطات من الطبقات العليا من CNN. تفهم هذه الطبقات الترتيب عالي المستوى والكائنات الموجودة داخل الصورة، مما يوفر مخططًا "للمحتوى".
2. تمثيل الأسلوب: لالتقاط الأسلوب، يتم تحليل الارتباطات بين استجابات الميزات في طبقات متعددة. يلتقط هذا الأنسجة وأنماط الألوان والضربات الفنية دون أن يكون مرتبطًا بالترتيب المحدد للكائنات.

ثم تعمل العملية بشكل متكرر على تحسين صورة جديدة وعشوائية في البداية لتتوافق في الوقت نفسه مع تمثيل المحتوى للصورة المحتوى وتمثيل النمط لصورة النمط. يتم تحقيق ذلك عن طريق تقليل دالة الخسارة المركبة التي توجه التحسين. غالبًا ما يتم تنفيذ هذه النماذج باستخدام أطر عمل شائعة مثل PyTorch و TensorFlow.

التطبيقات وحالات الاستخدام

في حين أن NST معروف على نطاق واسع بإنشاء صور فنية، إلا أن تطبيقاته تمتد إلى مختلف المجالات التجارية والإبداعية.

• إنشاء المحتوى الإبداعي: التطبيق الأكثر شهرة هو في تطبيقات الهاتف المحمول مثل Prisma، والتي تتيح للمستخدمين تحويل صورهم إلى أعمال فنية تشبه اللوحات الشهيرة. يستخدم هذا أيضًا من قبل الفنانين والمصممين لإنشاء نماذج أولية سريعة للأنماط المرئية.
• الترفيه والإعلام: في صناعة الأفلام وألعاب الفيديو، يمكن استخدام تقنية نقل الأسلوب العصبي (NST) لتطبيق نمط مرئي متسق عبر مشاهد مختلفة أو لإنشاء مؤثرات بصرية فريدة. تسمح هذه التقنية بتصميم الفيديو إطارًا بإطار، وهي عملية يمكن استكشافها بمزيد من التفصيل في دروس مثل دليل PyTorch لنقل الأسلوب العصبي.
• زيادة البيانات: في التعلم الآلي (ML)، يمكن استخدام NST كشكل من أشكال زيادة البيانات. من خلال تطبيق أنماط مختلفة على مجموعة بيانات التدريب، يمكن للمطورين إنشاء نموذج أكثر قوة وأقل حساسية للاختلافات الأسلوبية، مما يحسن تعميمه على البيانات غير المرئية. يمكن أن يكون هذا مفيدًا بشكل خاص عند تدريب النماذج لمهام مثل اكتشاف الكائنات أو تجزئة الصور.

التمييز عن التقنيات التوليدية الأخرى

من المهم التمييز بين نقل الأنماط العصبية وطرق الذكاء الاصطناعي التوليدي الشائعة الأخرى.

• الشبكات الخصومية التوليدية (Generative Adversarial Networks (GANs)): تقوم GANs بإنشاء صور جديدة من البداية عن طريق تعلم التوزيع الأساسي للبيانات لمجموعة التدريب. على النقيض من ذلك، لا يقوم NST بإنشاء محتوى جديد ولكنه يعيد تكوين المحتوى والأسلوب الحاليين من صور إدخال محددة. GANs قادرة على إنشاء وجوه واقعية لأشخاص غير موجودين، وهي مهمة تتجاوز نطاق NST التقليدي.
• نماذج تحويل النص إلى صورة: تقوم نماذج مثل Stable Diffusion و DALL-E بإنشاء صور بناءً على موجه نصي. من ناحية أخرى، يتطلب NST صورتين (محتوى ونمط) كمدخلات. يمكن رؤية التقاطع الحديث لهذه المجالات في النماذج متعددة الوسائط التي يمكنها فهم كل من النص والصور.
• تحويل صورة إلى صورة: هذه فئة أوسع، غالبًا ما يتم تشغيلها بواسطة شبكات الخصومة التوليدية (GANs) (مثل Pix2Pix أو CycleGAN)، والتي تتعلم تعيينًا من صورة إدخال إلى صورة إخراج (على سبيل المثال، تحويل صورة قمر صناعي إلى خريطة). في حين أن NST هو شكل من أشكال تحويل صورة إلى صورة، إلا أنه يركز تحديدًا على فصل ونقل المحتوى والأسلوب، في حين أن الطرق الأخرى قد تتعلم تحويلات أكثر تعقيدًا.

يمكن أن يوفر فهم مبادئ استخلاص الميزات في نماذج الرؤية الحديثة، مثل Ultralytics YOLO11، رؤى حول كيفية تمييز هذه التقنيات بين ماهية الكائن (المحتوى) وكيف يظهر (النمط). تعمل منصات مثل Ultralytics HUB على تبسيط عملية تدريب النماذج المخصصة التي يمكن استخدامها لمجموعة متنوعة من مهام الرؤية.