ترخيص YOLO
العودة إلى مسرد Ultralytics

Latent Consistency Models (LCMs)

تقطّر نماذج الاتساق الكامن (LCMs) نموذج Stable Diffusion إلى نموذج ينشئ الصور في خطوة إلى أربع خطوات. ويتناول هذا المفهوم التقطير وLCM-LoRA والسرعة.

نموذج الاتساق الكامن (LCM) هو نموذج تحويل النص إلى صورة مشتق من نموذج انتشار كامن مثل Stable Diffusion، بحيث يولّد صورة في خطوة إلى أربع خطوات أخذ عينات بدلًا من 20 إلى 50 خطوة عادةً. ويطبق فكرة نموذج الاتساق، وهو شبكة تحوّل أي نقطة مشوشة على مسار إزالة الضوضاء مباشرةً إلى نهايته النظيفة، ضمن الفضاء الكامن المضغوط للنموذج الأصلي. ويُعاد استخدام مشفّر النصوص ومفكّك ترميز الصور دون تغيير، ويبدأ النموذج الطالب بأوزان U-Net الخاصة بالنموذج المعلّم. وقد قدّم Simian Luo وYiqin Tan وLongbo Huang وJian Li وHang Zhao من جامعة Tsinghua نماذج LCM في أكتوبر 2023 ضمن ورقة نماذج الاتساق الكامن: تركيب صور عالية الدقة باستدلال قليل الخطوات، وذكروا أن تدريب نموذج بدقة 768 x 768 يأخذ عينات في خطوتين إلى أربع استغرق 32 ساعة فقط على وحدات GPU من طراز A100.

آلية عمل تقطير الاتساق الكامن#

يولّد نموذج الانتشار القياسي الصور بحل معادلة تفاضلية عادية (ODE) لتدفق الاحتمالات خطوة صغيرة في كل مرة، انطلاقًا من متغير كامن ذي ضوضاء نقية وصولًا إلى متغير كامن نظيف يحوّله مفكّك ترميز المشفّر التلقائي إلى بكسلات. ويدرّب تقطير الاتساق الكامن نسخة طالبة من U-Net لتنجز الرحلة كلها باستدعاء واحد. وفي كل خطوة تدريب، يأخذ النموذج المعلّم المجمّد خطوة واحدة باستخدام محلّل ODE على طول المسار، وعلى النموذج الطالب أن يتنبأ بالمتغير الكامن النظيف نفسه من طرفي تلك الخطوة:

يؤدي تكرار ذلك عند طوابع زمنية عشوائية إلى جذب كل نقطة على المسار نحو المخرج نفسه. ويجعل تعديلان هذا الأسلوب فعالًا لنماذج تحويل النص إلى صورة. تتضمن خطوة النموذج المعلّم أصلًا توجيهًا خاليًا من المصنّف بمقياس w، ويصبح w مدخلًا للنموذج الطالب، لذا لا تحتاج الصور الموجّهة إلا إلى تمريرة أمامية واحدة بدلًا من اثنتين. ويجعل جدول تخطي الخطوات النموذج المعلّم يقفز k طوابع زمنية دفعة واحدة بدلًا من واحدة، ما يسرّع التقارب. أما الضبط الدقيق للاتساق الكامن، وهو إصدار لا يحتاج إلى نموذج معلّم، فيكيّف نموذج LCM موجودًا مع مجموعة بيانات مخصصة.

تقطير الاتساق شكل من تقطير المعرفة، وهو نمط المعلّم والطالب الذي يدعمه تدريب Ultralytics YOLO26 أيضًا عبر وسيط distill_model: إذ يؤدي تدريب yolo26n.pt باستخدام distill_model="yolo26s.pt" إلى جعل خرائط سمات النموذج الطالب nano تطابق خرائط النموذج الأكبر، ما يرفع mAP للطالب على COCO دون أي تكلفة إضافية للاستدلال.

أخذ العينات في أربع خطوات#

يأخذ LCM العينات بالتناوب بين القفز وإعادة إضافة الضوضاء. فهو يتنبأ بالمتغير الكامن النظيف من ضوضاء نقية، ثم يضيف ضوضاء جديدة لإعادة ذلك التنبؤ إلى طابع زمني أصغر، ويتنبأ مرة أخرى، ثم يفك ترميز التنبؤ الأخير. ويختار LCMScheduler في Hugging Face diffusers هذه الطوابع الزمنية من جدول التدريب ذي الخطوات الألف في Stable Diffusion:

from diffusers import DDIMScheduler, LCMScheduler

# Stable Diffusion's 1,000-step training noise schedule
config = {"num_train_timesteps": 1000, "beta_start": 0.00085, "beta_end": 0.012, "beta_schedule": "scaled_linear"}
ddim = DDIMScheduler(**config)
lcm = LCMScheduler(**config)

# A standard sampler visits 50 noise levels; an LCM jumps to a clean latent from each of 4
ddim.set_timesteps(50)
lcm.set_timesteps(4)
print(f"DDIM: {len(ddim.timesteps)} steps, starting {ddim.timesteps[:4].tolist()} ...")
print(f"LCM:  {len(lcm.timesteps)} steps, {lcm.timesteps.tolist()}")

ينتقل أخذ العينات DDIM من الطابع الزمني 980 إلى الأسفل بخطوات مقدارها 20، باستدعاء U-Net واحد لكل خطوة، بينما لا يزور LCM سوى الطوابع الزمنية 999 و759 و499 و259. وتتيح كل خطوة إضافية للنموذج تصحيح تفاصيل التنبؤ السابق، لذا تتحسن الجودة من خطوة واحدة إلى أربع.

LCM-LoRA والاستخدامات في الزمن الحقيقي#

بعد شهر من الورقة الأصلية، أصدر المؤلفون ومهندسو Hugging Face LCM-LoRA، الذي يخزّن التقطير على هيئة محوّل LoRA بدلًا من مجموعة كاملة من الأوزان الجديدة. ودُرّب على Stable Diffusion v1.5 وSSD-1B وSDXL، ويمكن دمجه في نقاط تحقق مضبوطة بدقة ومحوّلات LoRA للأسلوب للنموذج الأساسي نفسه دون تدريب إضافي. وأتاح أخذ العينات بخطوات قليلة الاستدلال في الزمن الحقيقي للأدوات التفاعلية: إذ شغّل مسار المعالجة مفتوح المصدر StreamDiffusion نموذج LCM-LoRA مع نقطة تحقق KohakuV2 في 4 خطوات لإزالة الضوضاء وبسرعة 38 إطارًا في الثانية لتحويل النص إلى صورة على وحدة GPU واحدة من طراز RTX 4090.

  • نماذج الاتساق: الصياغة الأصلية لـOpenAI، التي تعمل مباشرةً على البكسلات واختُبرت على CIFAR-10 وImageNet 64 x 64. وتنقلها نماذج LCM إلى فضاء كامن وتضيف تكييف النصوص والتوجيه.
  • تقطير الانتشار التنافسي: يحقق SDXL Turbo من Stability AI، الذي أُطلق أيضًا في نوفمبر 2023، خطوة إلى أربع خطوات بإضافة مُميِّز إلى خسارة التقطير.
  • نماذج المفاهيم الكبيرة: تشترك نماذج Meta للمفاهيم الكبيرة في الاختصار LCM، لكنها نماذج لغوية تتنبأ بتضمينات جمل كاملة، ولا علاقة لها بتوليد الصور.
  • التدفق المصحح: يدرّب مسارات أكثر استقامة من الضوضاء إلى البيانات كي يحتاج أخذ العينات إلى خطوات أقل، وهو النهج الذي يقف وراء Stable Diffusion 3 وFLUX.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة