Masked Autoencoders (MAE)

المشفّرات التلقائية المقنّعة (MAE) أسلوب من أساليب التعلم الخاضع للإشراف الذاتي للصور: يخفي النموذج نسبة كبيرة عشوائية من رقع الصورة، عادةً 75%، ويتعلم إعادة بناء وحدات البكسل المفقودة اعتمادًا على بقية الصورة الظاهرة. قدّم كايمنغ هي وزملاؤه في Meta AI هذا الأسلوب في ورقة عام 2021 المشفّرات التلقائية المقنّعة متعلمات رؤية قابلة للتوسع، مقتبسين التنبؤ بالكلمات المقنّعة من BERT وتكييفه مع محولات الرؤية. ولأن المشفّر يعالج الرقع الظاهرة فقط، كان التدريب المسبق باستخدام MAE أسرع بثلاث مرات أو أكثر من معالجة كل رقعة، وحقق نموذج ViT-Huge المدرّب مسبقًا بهذه الطريقة دقة 87.8% على ImageNet، وهي أفضل نتيجة حينها بين الأساليب التي استخدمت بيانات ImageNet-1K وحدها. ثم يعمل المشفّر المدرّب مسبقًا بوصفه عمودًا فقريًا للتصنيف والكشف والتقسيم.

آلية عمل المشفرات التلقائية المقنّعة#

يقسّم MAE الصورة إلى شبكة من الرقع غير المتداخلة، تضم 196 رقعة بحجم 16x16 بكسل لإدخال بحجم 224x224، ثم يخفي عشوائيًا معظمها. ويختلف المشفّر ومفكّك التشفير فيهما اختلافًا مقصودًا. يعمل المشفّر، وهو ViT قياسي، على الرقع الظاهرة فقط، ما يخفض حساباته وذاكرته إلى نحو الربع. أما مفكّك التشفير خفيف الوزن، المؤلف افتراضيًا من 8 كتل Transformer وتقل حساباته عن 10% من حسابات المشفّر لكل رمز، فيستقبل الرقع الظاهرة المشفّرة ورمز قناع واحدًا قابلًا للتعلم مشتركًا لكل موضع مخفي، ثم يتنبأ بقيم البكسل لكل رقعة مخفية. ودالة الخسارة هي متوسط مربع الخطأ على الرقع المخفية وحدها، كما أدى استخدام وحدات بكسل مطبّعة لكل رقعة بوصفها أهدافًا إلى تحسين السمات المتعلّمة أكثر. وبعد التدريب المسبق، يُستغنى عن مفكّك التشفير:

إن نسبة الإخفاء المرتفعة هي ما يجعل المهمة مفيدة. تتسم رقع الصور المتجاورة بتكرار كبير، لذا إذا أُخفيت رقع قليلة فقط، يمكن للنموذج ملء كل فجوة بالاستيفاء من الرقع المجاورة. وعند إخفاء 75%، يضطر إلى استنتاج أجسام ومشاهد كاملة من أجزاء، ما يجبره على تعلم الأشكال والأجزاء والسياق. وعلى النقيض، يخفي BERT 15% فقط من الكلمات، لأن كل كلمة تحمل أصلًا معنى كثيفًا.

جوهر MAE هو خطوة الإخفاء، الموضحة هنا باستخدام PyTorch على دفعة من أربع صور:

import torch

torch.manual_seed(0)
images = torch.rand(4, 3, 224, 224)  # a batch of 4 RGB images

# Patchify: each 224x224 image becomes 196 patches of 16x16 pixels, flattened to 768 values
patches = images.unfold(2, 16, 16).unfold(3, 16, 16).permute(0, 2, 3, 1, 4, 5).reshape(4, 196, 768)

# Random masking as in the MAE reference code: rank patches by random noise and keep the first 25%
keep = int(196 * (1 - 0.75))
ids_keep = torch.argsort(torch.rand(4, 196), dim=1)[:, :keep]
visible = torch.gather(patches, 1, ids_keep.unsqueeze(-1).expand(-1, -1, 768))

# Mask of hidden patches (1 = hidden): the decoder predicts these, and the loss is averaged over them only
mask = torch.ones(4, 196).scatter(1, ids_keep, 0)
print(f"Encoder input: {visible.shape[1]} of {patches.shape[1]} patches per image")
print(f"Reconstruction targets: {int(mask[0].sum())} hidden patches per image")

يطبع Encoder input: 49 of 196 patches per image وReconstruction targets: 147 hidden patches per image. ولذلك تعالج طبقات Transformer في المشفّر تسلسلاً يبلغ طوله ربع طول الصورة الكاملة، وبما أن الانتباه يقارن كل رمز بكل رمز آخر، فإن حجم كل مصفوفة درجات انتباه يساوي سدس عشر حجمها عند استخدام الرقع الـ196 كلها.

النتائج والمتغيرات#

تكون سمات MAE أقوى بعد الضبط الدقيق. وفي الاستقصاء الخطي، حقق مشفّر ViT-L المدرّب مسبقًا باستخدام MAE دقة 73.5% على ImageNet، وهي أقل من أساليب التعلم التبايني؛ لكن بعد الضبط الدقيق ونقل التعلم إلى كشف الكائنات والتقسيم على COCO، تفوق التدريب المسبق باستخدام MAE على التدريب المسبق الخاضع للإشراف. وقد طُوّرت الوصفة لتتجاوز الصور الثابتة بكثير: إذ يخفي VideoMAE نسبة 90% أو أكثر من رقع المكان والزمان في مقطع فيديو، ويُجري SatMAE تدريبًا مسبقًا على صور الأقمار الصناعية، بينما يطبّق ConvNeXt V2 الترميز التلقائي المقنّع على الشبكات الالتفافية باستخدام التفافات متناثرة.

يُستخدم التدريب المسبق المقنّع أيضًا في النماذج التأسيسية واسعة الانتشار. يبني نموذج Segment Anything (SAM) من Meta، الذي يعمل ضمن حزمة Ultralytics، مشفّر الصور الخاص به على ViT مدرّب مسبقًا باستخدام MAE، أما إصداره ViT-B، sam_b.pt، فهو نموذج القناع الافتراضي في Ultralytics auto_annotate، الذي يحوّل مربعات كاشف YOLO26 إلى تسميات تقسيم.

المشفّرات التلقائية المقنّعة والمصطلحات ذات الصلة#

• المشفّر التلقائي: يضغط الإدخال بأكمله في رمز صغير ثم يعيد بناءه. أما MAE فيتلقى إدخالًا غير مكتمل، وعليه التنبؤ بالأجزاء التي لم يرها قط، ويحتفظ خرج المشفّر فيه بمتجه واحد لكل رقعة ظاهرة.
• نمذجة الصور المقنّعة: الفئة الأوسع التي ينتمي إليها MAE. يتنبأ BEiT برموز بصرية منفصلة للرقع المقنّعة، ويمرر SimMIM رموز القناع عبر المشفّر، بينما يتنبأ MAE بالبكسلات ويستبعد رموز القناع من المشفّر.
• التعلم التبايني: يتعلم بمطابقة النسخ المعززة للصورة نفسها، ولا يحتاج إلى مفكّك تشفير، وينتج سمات تعمل بصورة أفضل عند تجميدها، بينما تتحسن سمات MAE أكثر بالضبط الدقيق.
• البنية التنبؤية للتضمين المشترك (JEPA): تخفي مناطق من الصورة أيضًا، لكنها تتنبأ بتضميناتها بدلًا من بكسلاتها، ما يمنع النموذج من إنفاق سعته على تفاصيل النسيج.