ControlNet

ControlNet هي بنية متقدمة لشبكة عصبية مصممة لمنح نماذج الذكاء الاصطناعي التوليدي الكبيرة لتحويل النص إلى صورة تحكمًا مكانيًا دقيقًا. وقد قُدّمت في الأصل لتعزيز نماذج مثل Stable Diffusion، إذ تتيح للمستخدمين توجيه توليد الصور باستخدام شروط إدخال إضافية تتجاوز مطالبات النص وحدها. ومن خلال تمرير أدلة بصرية محددة—مثل خرائط الحواف أو خرائط العمق أو الهياكل العظمية البشرية—إلى الشبكة، يستطيع الممارسون تحديد التكوين أو الوضعية أو البنية الدقيقة للمخرجات المُولَّدة، مما يسد الفجوة بين أوصاف اللغة الطبيعية والتنفيذ البصري الدقيق.

كيفية عمل البنية#

يكمن الابتكار الأساسي في ControlNet في قدرتها على الحفاظ على المعرفة الواسعة المُدرَّب عليها مسبقًا في النموذج الأساسي مع تعلُّم مهام تهيئة جديدة. وتحقق ذلك من خلال تثبيت معلمات كتلة الشبكة العصبية الأصلية وإنشاء نسخة مستنسخة قابلة للتدريب. وتُوصَل هذه النسخة بالنموذج المثبّت باستخدام طبقات متخصصة من «الالتفاف الصفري»، تتم تهيئتها بأوزان صفرية لضمان عدم إضافة ضوضاء خلال المراحل المبكرة من الضبط الدقيق. ويمكنك قراءة المزيد عن النظرية الرياضية والبنيوية في المنشور البحثي الأصلي لـ ControlNet على arXiv.

تتيح هذه البنية الفريدة للمطورين تدريب عناصر تحكم متينة للتهيئة على أجهزة بمستوى الأجهزة الاستهلاكية، مما يجعلها في متناول عدد أكبر من المستخدمين مقارنةً بتدريب نموذج التعلم العميق ضخم من الصفر.

ControlNet مقارنةً بنماذج الانتشار وLoRA#

عند مناقشة الذكاء الاصطناعي التوليدي، من المفيد التمييز بين ControlNet والمفاهيم ذات الصلة:

• نماذج الانتشار: هذه هي المحركات الأساسية التي تولّد الصور من خلال إزالة الضوضاء تدريجيًا. وتعتمد بصورة شبه حصرية على المطالبات النصية.
• LoRA (التكيّف منخفض الرتبة): LoRA هي طريقة لتعليم النموذج بسرعة أسلوبًا أو موضوعًا جديدًا، مثل شخصية محددة أو نمط فني معين. وعلى النقيض من ذلك، تحدد ControlNet الترتيب المكاني الدقيق للصورة.

التطبيقات الواقعية#

وسّعت ControlNet بصورة كبيرة من فائدة الرؤية الحاسوبية والذكاء الاصطناعي التوليدي في سير العمل الاحترافي.

• إنشاء تصورات معمارية: يستخدم المهندسون المعماريون ومصممو الديكور الداخلي ControlNet لتحويل مخططات التصميم بمساعدة الحاسوب (CAD) الأساسية بالأبيض والأسود أو الرسومات التخطيطية اليدوية إلى تصورات واقعية للمباني والغرف.
• وضعيات الشخصيات في تطوير الألعاب: يستفيد رسامو الرسوم المتحركة من نماذج تقدير الوضعية البشرية لاستخراج الهياكل العظمية من فيديو مرجعي. وتُمرَّر هذه الهياكل إلى ControlNet لتوليد رسوم شخصيات متسقة ومنمقة، تتخذ وضعيات دقيقة، لاستخدامها في أصول ألعاب الفيديو، مما يقلل وقت الرسم اليدوي بدرجة كبيرة.

إعداد الشروط لـ ControlNet#

لاستخدام ControlNet بفعالية، يجب أولًا استخراج الشرط المكاني المطلوب من صورة مصدر. فعلى سبيل المثال، يمكنك استخدام Ultralytics YOLO26، أحدث نموذج رؤية متطور، لاستخراج هيكل عظمي لوضعية بشرية. ثم يُحفَظ هذا الهيكل ويُستخدَم كمدخل للتهيئة في خط أنابيب تحويل النص إلى صورة المدعوم بـ ControlNet.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Perform inference to extract the human pose skeleton
results = model("character_reference.jpg")

# Save the resulting plotted skeleton to use as ControlNet input
results[0].save("pose_conditioning.jpg")

سواء كنت تُعدّ حواف Canny باستخدام دوال OpenCV القياسية أو تستخرج أقنعة تجزئة متقدمة، فإن إعداد مدخلات عالية الجودة أمر ضروري. ولإدارة مجموعات البيانات المستندة إلى السحابة ووسم البيانات المطلوبين لتدريب شروط ControlNet المخصصة، توفر منصات مثل Ultralytics Platform بيئة سلسة ومتكاملة من البداية إلى النهاية لفرق الذكاء الاصطناعي الحديثة.