Visual Autoregressive Modeling (VAR)

نموذج الانحدار الذاتي البصري (VAR) هو نموذج متقدم لـ رؤية الكمبيوتر يكيّف استراتيجيات التعلم التراجعي التي شاع استخدامها بواسطة نماذج اللغة الكبيرة (LLMs) لتنفيذ مهام توليد الصور. تقوم الطرق التقليدية للانحدار الذاتي البصري بترميز الصورة في تسلسل أحادي الأبعاد والتنبؤ بها رمزاً تلو الآخر في ترتيب المسح النقطي، وهو أمر مكلف حسابياً ويتجاهل البنية ثنائية الأبعاد الطبيعية للبيانات المرئية. في المقابل، يقدم نموذج VAR نهج "التنبؤ بالمقياس التالي" من الخشن إلى الدقة. فهو يولد الصور عن طريق التنبؤ التدريجي بـ خرائط الميزات أو المقاييس الأعلى دقة، بدلاً من التنبؤ بالرموز الفردية صفاً بصِف. يحافظ هذا الأسلوب على السلامة الهيكلية مع تحسين جودة الصورة وسرعة الاستدلال بشكل كبير.

كيف تعمل النمذجة التنافرية المرئية#

في جوهره، يستبدل نموذج VAR التنبؤ التقليدي بالرمز التالي بالتنبؤ بالمقياس التالي. يتم ضغط الصورة أولاً في خرائط رموز منفصلة متعددة المقاييس باستخدام بنية تشبه مُشَفِّر التباين الكمي للناقلات (VQ-VAE). خلال مرحلة التوليد، يتنبأ نموذج transformer بخرائط الرموز هذه بشكل تسلسلي، بدءاً من أصغر دقة (مثل شبكة 1x1) وصولاً إلى الدقة المستهدفة (مثل شبكة 16x16 أو 32x32). نظراً لأنه يعالج الهياكل المكانية في وقت واحد عند كل مقياس، فإن نموذج VAR ينجح في الحفاظ على الارتباطات ثنائية الاتجاه المتأصلة في الصور ثنائية الأبعاد.

يسمح هذا النهج المبتكر لنماذج VAR بإنشاء قوانين قياس يمكن التنبؤ بها وتضاهي البنى المستندة إلى النصوص مثل OpenAI GPT-4. مع زيادة الباحثين لمعلمات النموذج، يتحسن الأداء باستمرار. وفقاً لـ ورقة NeurIPS 2024 حول النمذجة الانحدارية الذاتية البصرية، يتفوق نموذج VAR بنجاح على البنى المنافسة عبر معيار ImageNet المتطلب. وهو يحقق مقاييس أفضل في كل من مسافة فريشيت إنشيبشن (FID) ودرجات الإنبهار بينما يتم التنفيذ بشكل أسرع بكثير.

VAR مقابل نماذج الانتشار#

من المهم التمييز بين VAR والذكاء الاصطناعي التوليدي القائم على الانتشار. تتعلم نماذج الانتشار توليد الصور عن طريق إزالة الضوضاء المستمرة بشكل تكراري من لوحة البداية. ومع ذلك، يعمل نموذج VAR على رموز منفصلة. فبدلاً من إزالة الضوضاء، يقوم ببناء دقة الصورة انحدارياً دقة بدقة. وفي حين أن محول الانتشار (DiT) كان معياراً رائدة للتوليف البصري، فإن النهج القائم على الرموز لـ VAR يستفيد مباشرة من أبحاث التحسين التي أُجريت على نماذج transformer، مما يمكنه من التفوق على DiT في قابلية التوسع وكفاءة البيانات.

تطبيقات العالم الحقيقي#

من خلال دمج قدرات الاستدلال في نماذج LLMs مع الرؤية عالية الدقة، تفتح النمذجة التنافرية المرئية العديد من القدرات العملية:

• تعديل الصور دون تدريب مسبق والرسم الداخلي: يدعم نموذج VAR المعالجة بدون تدريب بشكل أصلي. من خلال إخفاء مقاييس أو مناطق معينة، يمكن للمطورين تعديل الصور أو توسيعها بسلاسة دون إعادة تدريب البنية الأساسية أو ضبطها دقيقاً.
• توليد الأصول القابلة للتوسع لتجارة التجزئة: تتيح سرعة الاستدلال الفائقة لنموذج VAR توليف صور عالي الجودة في الوقت الفعلي، مما يتيح التوليد الديناميكي لخلفيات المنتجات وأصول التسويق المخصصة على نطاق واسع.

تنفيذ سير عمل تنافري#

بينما تركز نماذج VAR على توليد المحتوى، يمكن إقرانها بنماذج إدراك قوية مثل Ultralytics YOLO26 لإنشاء خطوط أنابيب شاملة متعددة الوسائط. على سبيل المثال، يمكنك استخدام YOLO26 من أجل اكتشاف الكائنات بدقة لعزل الموضوعات، ثم تمرير تلك المناطق المحددة إلى نموذج انحداري ذاتي للتحسين أو إعادة التصميم.

فيما يلي مقتطف برمجي مفاهيمي بـ PyTorch يوضح كيف تقوم حلقة انحدارية ذاتية متعددة المقاييس بالتنبؤ بشكل تكراري بالمقياس التالي لخريطة الرموز، محاكية المنطق الأساسي لـ VAR باستخدام وحدات PyTorch Transformer القياسية:

import torch
import torch.nn as nn


# Conceptual VAR Next-Scale Prediction Loop
class SimpleVARGenerator(nn.Module):
    def __init__(self):
        super().__init__()
        # Simulated transformer to predict next resolution token map
        self.transformer = nn.TransformerEncoderLayer(d_model=256, nhead=8)

    def forward(self, initial_scale_token):
        current_tokens = initial_scale_token
        # Iteratively generate next scales (e.g., 1x1 -> 2x2 -> 4x4)
        for scale in [1, 2, 4]:
            # Model predicts the structural layout for the higher resolution
            next_scale_tokens = self.transformer(current_tokens)
            # Expand and update tokens for the next iteration
            current_tokens = torch.cat((current_tokens, next_scale_tokens), dim=1)
        return current_tokens


model = SimpleVARGenerator()
seed_token = torch.randn(1, 1, 256)  # 1x1 starting scale
final_output = model(seed_token)
print(f"Generated multi-scale tokens shape: {final_output.shape}")

بالنسبة للباحثين الساعين لبناء خطوط أنابيب رؤية شاملة - من تنظيم مجموعات البيانات إلى تقييم البنى المعقدة - توفر منصة Ultralytics أدوات قوية للترقيم التلقائي، والتتبع، والنشر السحابي. وسواء أكان الأمر يتعلق بتحسين نموذج لغة الرؤية (VLM) أو التجربة مع التنبؤ بالمقياس التالي، فإن النظم الإيكولوجية للذكاء البصري الموحد تسرع وتيرة الابتكار عبر حالات الاستخدام في العالم الحقيقي.