نقل الأنماط العصبية

يعد نقل النمط العصبي (NST) تقنية تحسين آسرة في مجال الرؤية الحاسوبية التي تسمح للذكاء الاصطناعي الذكاء الاصطناعي بإعادة تركيب الصور بأسلوب الصور الأخرى. من خلال الاستفادة من خوارزميات التعلم العميق، وتحديداً الشبكات العصبية التلافيفية (CNNs)، تأخذ تقنية نقل الصور العصبية التلافيفية مدخلين: صورة "محتوى" (مثل صورة سلحفاة) وصورة مرجعية "نمط" (على سبيل المثال، لوحة لفان جوخ). ثم تقوم الخوارزمية بتوليف صورة ثالثة تحتفظ بالأشياء والبنية المميزة لمدخلات المحتوى ولكنها ترسمها بالأنسجة والألوان و وضربات فرشاة مدخلات النمط. تفصل هذه العملية بشكل فعال تمثيل المحتوى عن تمثيل النمط داخل الشبكة العصبية، مما يخلق جسراً بين الكفاءة الحسابية والإبداع الفني والإبداع الفني.

كيفية عمل نقل الأسلوب العصبي

تعتمد الآلية الأساسية لـ NST على الطبيعة الهرمية لـ الشبكة العصبية التلافيفية (CNN). أثناء مرور الصورة عبر الشبكة، تلتقط الطبقات السفلى التفاصيل البسيطة مثل الحواف والخطوط، بينما تلتقط الطبقات العميقة تلتقط الأشكال المعقدة والمحتوى الدلالي. لإجراء نقل النمط، يستخدم المطورون عادةً شبكة مدربة مسبقًا مثل بنية VGG الكلاسيكية التي تم تدريبها على ImageNet.

تتضمن العملية تحديد دالتين مختلفتين دالتين مختلفتين للخسارة:

1. فقدان المحتوى: يقيس الفرق في الميزات عالية المستوى (التفعيلات) بين الصورة التي تم إنشاؤها المُنشأة وصورة المحتوى.
2. فقدان النمط: يقيس الفرق في ارتباطات النسيج (غالبًا ما يتم حسابه باستخدام مصفوفة جرام) بين الصورة التي تم إنشاؤها والنمط المرجع.

ثم تقوم خوارزمية التحسين بشكل متكرر قيم البكسل للصورة التي تم إنشاؤها - مع الحفاظ على أوزان الشبكة مجمدة - لتقليل كلتا الخسارتين في نفس الوقت في نفس الوقت. يختلف هذا عن تدريب النموذج القياسي, حيث يتم تحديث الأوزان لتقليل خطأ التنبؤ.

تطبيقات واقعية

على الرغم من ارتباطها في كثير من الأحيان بالفن الرقمي، إلا أن تقنية العلوم والتكنولوجيا النووية لها فائدة عملية في مختلف المجالات التجارية والبحثية.

• زيادة البيانات وتكييف المجال: في التعلم الآلي، غالبًا ما تعاني النماذج المدربة على الاصطناعية غالبًا ما تعاني عند نشرها في العالم الحقيقي بسبب التناقضات البصرية. يمكن أن تعمل NST كشكل قوي قوي لزيادة البيانات. من خلال نقل "نمط" ظروف الطقس في العالم الحقيقي (مثل المطر أو الضباب أو الليل) إلى بيانات اصطناعية واضحة البيانات الاصطناعية، يمكن للمطورين تحسين متانة نماذج اكتشاف الأجسام دون جمع آلاف الصور الجديدة المصنفة.
• الصناعات الإبداعية وتحرير الصور: تستخدم تطبيقات الهاتف المحمول وأدوات التصميم الاحترافية تقنية NST لـ لتزويد المستخدمين بمرشحات فنية فورية. بالإضافة إلى الصور الثابتة، تمتد هذه التقنية إلى فهم الفيديو، مما يسمح لصانعي الأفلام تنسيق اللقطات إطارًا بإطار، مما يخلق تأثيرات بصرية فريدة من نوعها تتطلب رسومًا متحركة يدوية.

التمييز عن المفاهيم ذات الصلة

من المفيد التمييز بين تقنيات الذكاء الاصطناعي التوليدي تقنيات الذكاء الاصطناعي التوليدي الأخرى:

• شبكات الخصومة التوليدية مقابل شبكات الخصومة التوليدية (GANs): شبكات الخصومة التوليدية (GANs) تتضمن شبكتين تتنافسان ضد بعضهما البعض لتوليد حالات بيانات جديدة تمامًا من الضوضاء. على النقيض من ذلك, تعدّل شبكات الخصومة التوليدية صورة موجودة بناءً على مرجع محدد. بينما تقوم تقوم CycleGAN بإجراء ترجمة من صورة إلى صورة، فإن NST القياسية لا تتطلب القياسية لا تتطلب تدريب نموذج جديد لكل نمط.
• نماذج NST مقابل نماذج الانتشار: الحديثة أنظمة تحويل النص إلى صورة مثل الانتشار المستقر تولد صورًا من نص نصية نصية. أما نظام NST فهو نظام تحويل من صورة إلى صورة فقط، ويتطلب مدخلات بصرية بدلاً من الأوصاف اللغوية، على الرغم من أن بدأت النماذج متعددة الوسائط في طمس هذه هذه الخطوط.

مثال لاستخراج الميزات

أساس NST هو استخراج الميزات من الطبقات الوسيطة للشبكة. يوضح المقتطف البرمجي التالي التالي يوضح كيفية تحميل نموذج VGG مدرب مسبقًا باستخدام torchvision-مكتبة مشتركة تُستخدم إلى جانب ultralytics سير العمل - للوصول إلى طبقات الميزات هذه.

import torch
import torchvision.models as models

# Load a pre-trained VGG19 model, commonly used as the backbone for NST
# The 'features' module contains the convolutional layers needed for extraction
vgg = models.vgg19(weights=models.VGG19_Weights.DEFAULT).features
vgg.eval()  # Set model to evaluation mode to freeze specific layers

# Create a dummy tensor representing an image (Batch, Channels, Height, Width)
input_img = torch.randn(1, 3, 256, 256)

# Pass the image through the network to extract high-level feature maps
features = vgg(input_img)
print(f"Extracted feature map shape: {features.shape}")

بالنسبة للمستخدمين المهتمين بتطبيقات الوقت الحقيقي، فإن البنى الحديثة مثل Ultralytics YOLO11 تعطي الأولوية للسرعة والدقة في لمهام الكشف، في حين تعطي NST الأولوية للمزج الجمالي، وغالبًا ما تتطلب المزيد من القوة الحسابية من GPU للتوصل إلى نتيجة عالية الجودة عالية الجودة. ومع ذلك، يظل المفهوم الأساسي لاستخراج الميزة يبقى مبدأً أساسيًا مشتركًا أساسي مشترك في كلا المجالين.