Visual Autoregressive Modeling (VAR)
ينشئ النمذجة البصرية ذاتية الانحدار (VAR) الصور من الخشن إلى الدقيق، إذ تتنبأ بالتوازي بخريطة رموز الدقة التالية. يتناول هذا النص المُرمِّز والتوسّع.
النمذجة الذاتية الانحدار المرئية (VAR) هي طريقة في الذكاء الاصطناعي التوليدي للصور، تتنبأ بالصورة على هيئة سلسلة من خرائط الرموز ذات الدقة المتزايدة، بدءًا من رمز واحد بحجم 1 x 1 وصولًا إلى الشبكة كاملة، بدلًا من التنبؤ بالرموز واحدًا تلو الآخر وفق ترتيب القراءة. تولّد كل خطوة جميع رموز المقياس التالي بالتوازي، مع الاستناد إلى جميع المقاييس الأخشن، لذا تتطلب صورة بحجم 256 x 256 عشر خطوات. قدّم Keyu Tian وYi Jiang وZehuan Yuan وBingyue Peng وLiwei Wang من جامعة بكين وByteDance نموذج VAR في أبريل 2024 في بحث النمذجة الذاتية الانحدار المرئية: توليد صور قابل للتوسع عبر التنبؤ بالمقياس التالي، الذي فاز بجائزة أفضل بحث في NeurIPS 2024. وفي توليد صور ImageNet المشروط بالفئة وبحجم 256 x 256، حسّن النموذج مسافة فريشيه لبدء التشغيل (FID) لخط أساس ذاتي الانحدار من 18.65 إلى 1.73، ودرجة Inception من 80.4 إلى 350.2، مع استدلال أسرع بنحو 20 مرة.
لماذا نتنبأ بالمقياس التالي؟#
تحوّل مولدات الصور الذاتية الانحدار الأقدم، مثل المحوّل في VQGAN وParti من Google، الصورة إلى شبكة من الرموز المنفصلة، وتفردها صفًا تلو الآخر، ثم تتنبأ برمز واحد في كل مرة، مثلما يكتب نموذج GPT النصوص. وهذا الترتيب لا يلائم الصور جيدًا. فلا يستطيع الرمز الاطلاع إلا على الرموز التي تعلوه أو تقع إلى يساره، رغم أن مناطق الصورة تعتمد بعضها على بعض في جميع الاتجاهات، كما أن شبكة بحجم 16 x 16 تتطلب 256 خطوة متتابعة. يحافظ التنبؤ بالمقياس التالي على هدف تدريب المحوّل وترتيبه السببي، لكنه يغيّر وحدة التنبؤ من رمز واحد إلى دقة كاملة؛ إذ تتفاعل الرموز داخل المقياس بعضها مع بعض، ويطّلع كل مقياس على الصورة كاملة عند جميع مستويات الدقة الأخشن.
مرمّز الرموز متعدد المقاييس#
مرمّز VAR هو مشفّر تلقائي يُضغط تمثيله الكامن باستخدام تكميم المتجهات متعدد المقاييس. يحوّل المشفّر صورة بحجم 256 x 256 إلى خريطة سمات بحجم 16 x 16، ثم يكمّمها عند 10 مقاييس من 1 x 1 إلى 16 x 16 باستخدام قاموس رموز مشترك واحد يضم 4,096 مدخلًا. لا يكمّم كل مقياس إلا ما لم تفسّره المقاييس الأخشن، أي الباقي؛ لذلك تحتوي الخرائط الخشنة على اللون والتخطيط العامين، وتضيف الخرائط اللاحقة التفاصيل الأدق. ويُستخدم مخطط الباقي نفسه أدناه على صورة مصغّرة مع قاموس رموز عشوائي:
import torch
import torch.nn.functional as F
from skimage import data
torch.manual_seed(0)
image = torch.tensor(data.astronaut(), dtype=torch.float32).permute(2, 0, 1)[None] / 255 # 1x3x512x512
features = F.interpolate(image, size=(16, 16), mode="area") # stand-in for a 16x16 encoder feature map
codebook = torch.rand(4096, 3) * 2 - 1 # one shared codebook of 4,096 entries; residuals can be negative
# Multi-scale residual quantization: each scale encodes what the coarser scales left out
residual, reconstruction = features.clone(), torch.zeros_like(features)
for side in (1, 2, 3, 4, 5, 6, 8, 10, 13, 16): # VAR's ten token-map sizes for 256 x 256 images
small = F.interpolate(residual, size=(side, side), mode="area").permute(0, 2, 3, 1).reshape(-1, 3)
tokens = torch.cdist(small, codebook).argmin(dim=1) # side x side discrete token map
quantized = codebook[tokens].reshape(1, side, side, 3).permute(0, 3, 1, 2)
upsampled = F.interpolate(quantized, size=(16, 16), mode="bicubic")
reconstruction, residual = reconstruction + upsampled, residual - upsampled
print(f"{side:>2}x{side:<2} tokens -> reconstruction error {(features - reconstruction).pow(2).mean():.5f}")ينخفض خطأ إعادة البناء من 0.06267 بعد الرمز المفرد بحجم 1 x 1 إلى 0.00212 بعد خريطة 16 x 16، باستخدام 680 رمزًا عبر المقاييس العشرة. يدرّب VAR المشفّر وفاك الترميز وقاموس الرموز معًا. وتُبنى نماذج الكشف على النوع نفسه من الأهرامات للتعرّف: يتنبأ Ultralytics YOLO26 بالكائنات من مستويات هرم السمات ذات الخطوات 8 و16 و32؛ لذا تنتج صورة بحجم 640 بكسل خرائط بأحجام 80 x 80 و40 x 40 و20 x 20، حيث تُكتشف الكائنات الكبيرة في الخريطة الخشنة والصغيرة في الخريطة الدقيقة.
كيف ينشئ VAR صورة؟#
ينشئ محوّل على نمط GPT خرائط الرموز بالترتيب، باستخدام قناع انتباه سببي قائم على الكتل، يتيح لكل رمز الانتباه إلى مقياسه وإلى كل مقياس أخشن:
درّب المؤلفون نماذج يصل حجمها إلى ملياري مُعامل، ووجدوا قوانين تحجيم أسية مشابهة لتلك الخاصة بـنماذج اللغة الكبيرة، مع معاملات ارتباط خطية تقارب -0.998 بين حجم النموذج وخسارة الاختبار. وينفّذ النموذج نفسه ترميم الصور والتوسيع خارج حدود الصورة والتحرير المشروط بالفئة بأسلوب دون تدريب مسبق، من دون تدريب إضافي، وذلك بتثبيت الرموز خارج المنطقة المحررة عند قيمها الحقيقية، مع أخذ عينات لبقية الرموز.
خلفاء VAR والمصطلحات ذات الصلة#
- Infinity: يستبدل نموذج ByteDance، الصادر في ديسمبر 2024 بوصفه خليفةً لتوليد النص إلى الصورة، قاموس الشفرات ذي 4,096 مدخلًا برموز بتّية من مُرمّز ذي مفردات غير محدودة فعليًا. ويولّد صورة بحجم 1024 x 1024 خلال 0.8 ثانية، أي أسرع بـ2.6 مرة من Stable Diffusion 3 Medium، كما رفع نتيجة GenEval من 0.62 التي حققها SD3 Medium إلى 0.73.
- محوّلات الانتشار (DiT): تزيل الضوضاء من التمثيلات الكامنة المستمرة عبر خطوات عديدة. وتفيد ورقة VAR بأنه يتفوق على DiT من حيث جودة الصور وسرعة الاستدلال وكفاءة البيانات وقابلية التوسع.
- نماذج الانتشار: تنقّح كل بكسل أو تمثيل كامن في الصورة عند كل خطوة، بدءًا من ضوضاء غاوسية.
- المحوّلات التوليدية المقنّعة: يتنبأ MaskGIT من Google بجميع الرموز المقنّعة في شبكة أحادية الدقة بالتوازي، ويحتفظ بالرموز الأعلى ثقة خلال نحو 8 إلى 12 تكرارًا.










