Text-to-Image

توليد النص إلى صورة هو مهمة إنشاء صورة جديدة انطلاقًا من وصف بلغة طبيعية يُسمى موجّهًا. ويتعلم نموذج النص إلى صورة العلاقة بين الكلمات والمحتوى البصري من مئات الملايين إلى مليارات أزواج الصور والتعليقات التوضيحية، ثم يحوّل موجّهًا مثل "دراجة حمراء مستندة إلى جدار من الطوب عند الغروب" إلى صورة لم تكن موجودة من قبل. وهو تطبيق أساسي لـالذكاء الاصطناعي التوليدي يجمع بين معالجة اللغة الطبيعية (NLP) والرؤية الحاسوبية. ومعظم الأنظمة الحالية، بما فيها Stable Diffusion وFLUX وImagen من Google، هي نماذج الانتشار أو التدفق، بينما تنتج أنظمة أخرى، مثل توليد الصور الذي أدمجته OpenAI في GPT-4o عام 2025، الصور تلقائيًا بوصفها تسلسلات من الرموز.

آلية عمل نماذج تحويل النص إلى صورة#

يحوّل مرمّز النص الموجّه أولًا إلى تضمينات. استخدمت الإصدارات المبكرة من Stable Diffusion مرمّز النص CLIP من OpenAI، وأظهرت Imagen من Google أن تكبير مرمّز اللغة المجمّد، حتى نموذج T5-XXL، حسّن جودة الصور ومواءمة الصورة مع النص بدرجة أكبر بكثير من تكبير مولّد الصور. ثم يبدأ المولّد بضوضاء عشوائية ويزيلها على مدى 20 إلى 50 خطوة، عادةً في الفضاء المضغوط لـنموذج الانتشار الكامن، مع إتاحة طبقات الانتباه المتبادل أو الانتباه المشترك لكل جزء من الصورة الانتباه إلى الموجّه. تقارن الإرشادات الخالية من المصنّف تنبؤ النموذج بوجود الموجّه وغيابه، ثم تضخّم الفرق؛ لذا يتبع مقياس إرشاد أعلى الموجّه بدرجة أكبر على حساب التنوع. وأخيرًا، يحوّل مفكّك الترميز التمثيل الكامن المكتمل إلى وحدات بكسل.

تحدد بيانات التدريب ما يمكن للنموذج رسمه. دُرّب Stable Diffusion على مجموعات فرعية من LAION-5B، التي تضم 5.85 مليار زوج من الصور والنصوص جُمعت من الويب، وحسّن DALL-E 3 من OpenAI اتباع الموجّهات بالتدريب على تعليقات توضيحية اصطناعية مفصلة بدلًا من النص البديل الموجز المصاحب لمعظم صور الويب. وتحمل البيانات على نطاق الويب مشكلات أيضًا: فقد سحبت LAION مجموعة LAION-5B في ديسمبر 2023 بعد أن وجد تقرير لمرصد الإنترنت في Stanford روابط بمواد الاعتداء الجنسي على الأطفال فيها، وأصدرت النسخة المنقّحة Re-LAION-5B في أغسطس 2024.

عائلات النماذج#

• نماذج الانتشار والتدفق: تزيل الضوضاء من صورة أو تمثيل كامن عبر خطوات كثيرة. تشمل هذه العائلة DALL-E 2 و3 وImagen وStable Diffusion وFLUX، وتستبدل النماذج الأحدث منها شبكة U-Net لإزالة الضوضاء بمحوّل انتشار مدرّب باستخدام التدفق المصحح.
• النماذج ذاتية الانحدار: تحوّل الصور إلى رموز متقطعة وتتنبأ بها رمزًا تلو الآخر باستخدام محوّل، وهو النهج الذي اتبعه DALL-E الأصلي عام 2021 وParti من Google. تصف OpenAI توليد الصور في GPT-4o، الذي أُطلق في مارس 2025، بأنه نموذج ذاتي الانحدار مدمج أصيلًا في ChatGPT، بخلاف DALL-E القائم على الانتشار.
• الشبكات التوليدية التنافسية: تولّد صورة في تمريرة أمامية واحدة. ظهرت شبكات GAN الموجّهة بالنص، مثل AttnGAN، قبل نماذج الانتشار، وهي أسرع في أخذ العينات لكنها أقل موثوقية في اتباع الموجّهات المعقدة.

تقييم الصور المولّدة#

تقارن مسافة فريشيه لصور Inception (FID) إحصاءات الصور المولّدة والحقيقية لقياس الجودة والتنوع، بينما يقيس مقياس CLIP مدى تطابق الصورة مع موجّهها في فضاء تضمينات مشترك. ولا يتحقق أي منهما من تفاصيل مثل عدد الأجسام الظاهرة أو مواقعها، لذا يشغّل GenEval نموذجًا لاكتشاف الأجسام على الصور المولّدة للتحقق من التشارك المكاني للأجسام ومواضعها وأعدادها، ويضيف نماذج رؤية أخرى لفحص الألوان. وترتّب ساحات التقييم العامة النماذج التجارية والمفتوحة استنادًا إلى آلاف الأصوات البشرية الثنائية على الأقل، التي تلتقط الجوانب الجمالية ومدى اتباع الموجّه معًا.

تحويل النص إلى صورة والمصطلحات ذات الصلة#

• وصف الصور: الاتجاه المعاكس، أي توليد وصف نصي لصورة موجودة.
• تحويل النص إلى فيديو: يولّد تسلسلًا من الإطارات التي يجب أن تظل متسقة زمنيًا، ما يضاعف الحوسبة والبيانات اللازمتين لنموذج تحويل النص إلى صورة.
• ملء أجزاء الصور والتحويل من صورة إلى صورة: يبدأان بصورة موجودة ويغيّران جزءًا منها أو كلها وفقًا لموجّه، باستخدام النماذج نفسها مع إدخال صورة إضافي.
• نماذج الرؤية واللغة: تقرأ الصور والنصوص وتجيب بالنص. وقد أضافت النماذج متعددة الوسائط بطبيعتها، مثل GPT-4o وGemini، توليد الصور إلى فهم الصور.

التطبيقات والمخاطر#

يستخدم المصممون واستوديوهات الألعاب وفرق التسويق نماذج تحويل النص إلى صورة لاستكشاف المفاهيم وإنتاج صور للمنتجات، وتستخدمها فرق الرؤية لإنشاء بيانات اصطناعية للفئات النادرة والعيوب والظروف التي يصعب تصويرها. وفي منصة Ultralytics، تصف ميزة إنشاء صور مشابهة مشاهد جديدة مستوحاة من صورة في مجموعة بيانات، وتولد صورة لكل وصف، مع تعليمات اختيارية للإضاءة أو زاوية الرؤية أو الخلفية أو الأجسام؛ ثم تُضاف الصور التي يحتفظ بها المستخدم إلى مجموعة البيانات بلا تسميات، لتكون جاهزة لـالتوسيم. ولا تفيد الصور الاصطناعية إلا عندما تتطابق مع ما ينقص النموذج:

تولّد الواقعية نفسها مخاطر أيضًا. إذ تعيد النماذج إنتاج تحيزات بيانات التدريب، ويمكنها إنتاج تزييف عميق مقنع. ويستجيب مقدمو الخدمات باستخدام العلامات المائية للذكاء الاصطناعي، مثل SynthID من Google، وبيانات اعتماد المحتوى C2PA، وهي بيانات وصفية موقّعة تسجل الأداة التي أنشأت الصورة أو عدّلتها.