Stable Diffusion

Stable Diffusion عائلة من نماذج تحويل النص إلى صورة ذات أوزان مفتوحة من Stability AI، تولّد الصور وتحرّرها انطلاقًا من مطالبات باللغة الطبيعية. وقد صدر الإصدار الأول في أغسطس 2022، نتيجة تعاون مع مجموعة CompVis في جامعة لودفيغ ماكسيميليان في ميونخ وشركة Runway، وطبّق أبحاث الانتشار الكامن الخاصة بهم على صور بدقة 512×512 من مجموعة فرعية من مجموعة بيانات LAION-5B. وعمل نموذج U-Net المكوّن من 860 مليون معلمة ومُرمّز النصوص المكوّن من 123 مليون معلمة على وحدة GPU استهلاكية بذاكرة لا تقل عن 10 GB، وبما أن أي شخص كان قادرًا على تنزيل الأوزان، فقد أصبح أساسًا لمنظومة واسعة من النماذج المضبوطة بدقة والمحوّلات وأدوات التحرير. أما الإصدار الحالي، Stable Diffusion 3.5 الصادر في أكتوبر 2024، فيستبدل U-Net بـمحوّل انتشار متعدد الوسائط مُدرّب باستخدام التدفق المصحّح.

آلية عمل Stable Diffusion#

Stable Diffusion هو نموذج انتشار يزيل التشويش من صورة مضغوطة بدلًا من البكسلات، باستخدام ثلاث شبكات:

• المشفّر التلقائي التبايني (VAE): يضغط المُرمّز صورةً بحجم 512×512×3 إلى تمثيل كامن بحجم 64×64×4، أي قيم أقل بـ48 مرة، ويحوّل مفكّك الترميز التمثيل الكامن المكتمل إلى صورة. وتجري عملية إزالة التشويش كلها على التمثيل الكامن الصغير، ولهذا يلائم النموذج العتاد الاستهلاكي.
• مُرمّز النص: يحوّل المطالبة، التي قد تصل إلى 77 رمزًا، إلى تضمينات. يستخدم Stable Diffusion 1.x نموذج OpenAI CLIP ViT-L/14، ويستخدم 2.x نموذج OpenCLIP ViT-H/14، ويجمع SDXL بين مُرمّزي CLIP، أما Stable Diffusion 3 فيضيف نموذج اللغة T5-XXL إلى مُرمّزي CLIP لتحسين فهم المطالبات.
• شبكة إزالة التشويش: تتنبأ بالتشويش الواجب إزالته في كل خطوة. تستخدم الإصدارات 1.x و2.x وSDXL بنية U-Net التي تتيح طبقات الانتباه المتقاطع فيها لسمات الصورة الانتباه إلى تضمينات النص، بينما تستخدم الإصدارات 3 و3.5 بنية MMDiT التي تعالج رموز الصور والنصوص معًا.

يبدأ التوليد من تمثيل كامن عشوائي بحجم 64×64×4. ويشغّل المجدول شبكة إزالة التشويش عادةً من 20 إلى 50 خطوة، مع إزالة جزء من التشويش المتوقّع في كل مرة، بينما يعزّز التوجيه الخالي من المصنّف تأثير المطالبة. بعد ذلك ينتج مفكّك ترميز VAE الصورة:

بما أن التمثيل الكامن الأولي عشوائي، ينتج عن المطالبة نفسها صورة مختلفة عند استخدام بذرة مختلفة، بينما تعيد البذرة والإعدادات نفسها إنتاج النتيجة ذاتها.

إصدارات النماذج#

• Stable Diffusion 1.x (2022): توليد بدقة 512×512 باستخدام U-Net يضم 860 مليون معلمة؛ وأصبح الإصدار 1.5 أساسًا شائعًا لضبط النماذج المجتمعي، واستندت إليه ورقة ControlNet. وتستخدم الأوزان ترخيص CreativeML OpenRAIL-M.
• Stable Diffusion 2.x (أواخر 2022): انتقل إلى مُرمّز النص OpenCLIP وأضاف نموذجًا بدقة 768×768.
• SDXL (يوليو 2023): توليد أصلي بدقة 1024×1024 باستخدام U-Net يضم نحو 2.6 مليار معلمة ومُرمّزَي نص. ويستخدم SDXL Turbo، الذي صدر في نوفمبر من العام نفسه، تقطير الانتشار التنافسي لتوليد صورة في خطوة واحدة.
• Stable Diffusion 3 و3.5 (2024): يستبدلان U-Net بـمحوّل التدفق المصحّح الذي يستخدم أوزانًا منفصلة لرموز الصور والنصوص. يضم Stable Diffusion 3.5 Large 8.1 مليار معلمة، بينما يضم 3.5 Medium 2.5 مليار. ويتيح ترخيص مجتمع Stability AI الاستخدام التجاري المجاني للمؤسسات التي تقل إيراداتها السنوية عن مليون دولار.

تحرير الصور باستخدام Stable Diffusion#

• من صورة إلى صورة: يُرمّز صورةً موجودة، ثم يضيف إليها التشويش حتى خطوة وسيطة يحددها مقدار القوة، ويزيل التشويش باستخدام مطالبة جديدة؛ وهكذا تحافظ النتيجة على تخطيط الصورة الأصلية وألوانها مع تغيير أسلوبها أو محتواها.
• الضبط الدقيق: يكيّف DreamBooth وLoRA النموذج مع موضوع أو أسلوب جديد باستخدام بضع عشرات من الصور، فيما يضيف ControlNet خرائط الحواف أو العمق أو الوضعية بوصفها شروطًا بنيوية.
• ترميم الصور: يعيد توليد منطقة محددة بقناع فقط لتلائم المطالبة والمناطق المحيطة بها. وتضيف نقاط تحقق ترميم الصور في Stable Diffusion خمس قنوات إدخال إلى U-Net: أربعًا للصورة المقنّعة المُرمّزة، وواحدة للقناع نفسه.

تكون أقنعة الترميم بيضاء في المناطق التي ينبغي تغييرها في الصورة، وسوداء في المناطق التي ينبغي الإبقاء عليها. وتنتج نماذج تجزئة الكيانات من Ultralytics YOLO26 هذه الأقنعة تلقائيًا، مثلًا لاستبدال كل مركبة من فئة واحدة في صورة شارع أو إزالتها:

import cv2
from ultralytics import YOLO

# ⁨جزّئ الحافلة (فئة COCO رقم 5) باستخدام نموذج YOLO26 لتجزئة الكيانات⁩
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[5], retina_masks=True)
result = results[0]

# ⁨يشير الأبيض إلى البكسلات التي ينبغي أن يعيد Stable Diffusion رسمها، والأسود إلى البكسلات التي ينبغي الإبقاء عليها⁩
mask = (result.masks.data.sum(dim=0) > 0).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_inpaint_mask.png", mask)

يحتفظ bus_inpaint_mask.png المحفوظ بالدقة الكاملة للصورة، لأن retina_masks=True يعيد الأقنعة بحجم الصورة الأصلية. وباستخدام الصورة والقناع ومطالبة مثل «حافلة حمراء ذات طابقين»، يعيد مسار ترميم الصور توليد الحافلة مع الإبقاء على الشارع المحيط بها.

تطبيقات عملية#

• البيانات الاصطناعية من أجل نماذج الرؤية: تنشئ الفرق صورًا لعيوب نادرة أو أحوال جوية غير مألوفة أو زوايا رؤية غير شائعة لسد الثغرات في مجموعات بيانات التدريب، وتستخدم الترميم لإضافة أجسام جديدة إلى خلفيات حقيقية.
• الفن التصوري والتصميم: تستكشف استوديوهات الألعاب والمهندسون المعماريون ومصممو المنتجات أنماطًا وتكوينات عديدة في دقائق خلال المراحل الأولى من العمل التصوري.
• صور التسويق والتجارة الإلكترونية: يحافظ تحويل الصورة إلى صورة وControlNet على شكل المنتج ثابتًا، بينما تغيّر المطالبة المكان والإضاءة والخلفية.

Stable Diffusion مقارنةً بالنماذج ذات الصلة#

• نماذج الانتشار الكامن: يُعد Stable Diffusion أشهر تطبيق لبنية الانتشار الكامن، ولذلك فإن كل نموذج من Stable Diffusion هو نموذج انتشار كامن.
• الشبكات التوليدية التنافسية (GANs): تولّد صورةً في مرور أمامي واحد، لكنها أقل استقرارًا في التدريب وتغطي تنوعًا أقل. ويتطلب Stable Diffusion خطوات عديدة لإزالة التشويش ما لم يُقطّر، كما في SDXL Turbo.
• المولّدات المغلقة: لا تعمل خدمات مثل نماذج الصور من OpenAI وMidjourney إلا على خوادم مزوّديها. أما أوزان Stable Diffusion فيمكن تنزيلها وتشغيلها دون اتصال بالإنترنت وفحصها وضبطها بدقة.
• FLUX.1: أصدرت Black Forest Labs، التي أسسها عام 2024 باحثون ممن يقفون وراء ورقة الانتشار الكامن الأصلية، ومنهم روبن رومباخ وأندرياس بلاتمان وباتريك إيسر، عائلة FLUX.1 ذات الـ12 مليار معلمة، التي تستخدم نهج محوّل التدفق المصحّح نفسه المستخدم في Stable Diffusion 3.