ترخيص YOLO
العودة إلى مسرد Ultralytics

Vision Mamba

يطبّق Vision Mamba مسح فضاء الحالة الانتقائي في Mamba على رقع الصور، ويمزج السياق العام بزمن خطي. يتناول هذا النص Vim وVMamba والمفاضلات والشيفرة.

Vision Mamba عائلة من الشبكات الأساسية في الرؤية الحاسوبية، تستبدل طبقات الانتباه الذاتي في محوّل الرؤية (ViT) بـMamba، وهو نموذج فضاء حالة (SSM) انتقائي صُمم أصلًا للغة والتسلسلات الطويلة الأخرى. يشير الاسم إلى فئة النماذج هذه وإلى Vim، وهو النموذج الذي يحمل هذا الاسم وقدمه Lianghui Zhu وزملاؤه في يناير 2024 ونُشر في ICML 2024. وعلى غرار ViT، يقسّم نموذج Vision Mamba الصورة إلى رقع ويتعامل معها بوصفها سلسلة من الرموز. ويمزج المعلومات عبر هذه السلسلة بواسطة مسح تكراري تزداد كلفته خطيًا مع عدد الرموز، بينما يقارن الانتباه الذاتي كل رمز بكل رمز آخر، بكلفة تزداد تربيعيًا. ويظهر الفرق بوضوح أكبر في الصور عالية الدقة ومقاطع الفيديو الطويلة والفحوص الطبية ثلاثية الأبعاد، حيث تصل أعداد الرموز إلى الآلاف.

آلية عمل المسح الانتقائي#

يعالج Mamba، الذي قدّمه Albert Gu وTri Dao في ديسمبر 2023، تسلسلًا باستخدام علاقة تكرارية خطية. وتُحدَّث الحالة الخفية h لكل قناة وفق المعادلة h ← exp(Δ·A)·h + Δ·B·x، وتُستخرج منها القيمة y = C·h. في نماذج SSM الأقدم، مثل S4، كانت Δ وB وC ثوابت متعلَّمة تُطبّق بالطريقة نفسها على كل رمز. ويحسب Mamba هذه القيم من كل رمز، ما يتيح للنموذج أن يقرر، رمزًا تلو الآخر، مقدار ما يحتفظ به من حالته ومقدار ما يسمح بدخوله من المدخلات الجديدة؛ وهذا هو الجانب «الانتقائي» في نموذج SSM الانتقائي. ويظل حجم الحالة ثابتًا مهما طال التسلسل، وتحسب نوى GPU المراعية للعتاد في Mamba العلاقة التكرارية باستخدام مسح متوازٍ، لذا يظل التدريب سريعًا. وينفّذ مقتطف PyTorch أدناه هذه العلاقة التكرارية، ويمسح تسلسلًا من رموز رقع الصور إلى الأمام وإلى الخلف كما يفعل Vim، ويشغّله بدقتين:

import torch
import torch.nn.functional as F
from torch import nn

torch.manual_seed(0)
D, N = 192, 16  # channels per patch token, state size per channel
patchify = nn.Conv2d(3, D, kernel_size=16, stride=16)  # each 16x16 patch becomes one token
A = -torch.arange(1, N + 1.0).repeat(D, 1)  # negative decay rates, Mamba's initial values for its learned A
proj = nn.Linear(D, D + 2 * N)  # computes a step size, B, and C from each token


def selective_scan(x):
    """Mamba's S6 recurrence h = exp(delta*A)*h + delta*B*x, y = C.h, with delta, B, C taken from each token."""
    delta, B, C = proj(x).split([D, N, N], dim=-1)
    delta, h, ys = F.softplus(delta), torch.zeros(x.shape[0], D, N), []
    for t in range(x.shape[1]):
        h = torch.exp(delta[:, t, :, None] * A) * h + delta[:, t, :, None] * B[:, t, None, :] * x[:, t, :, None]
        ys.append((h * C[:, t, None, :]).sum(-1))
    return torch.stack(ys, dim=1)


for size in [224, 448]:
    tokens = patchify(torch.randn(1, 3, size, size)).flatten(2).transpose(1, 2)
    out = selective_scan(tokens) + selective_scan(tokens.flip(1)).flip(1)  # forward plus backward scan
    print(f"{size}x{size} image: {tokens.shape[1]} tokens, output {tuple(out.shape)}")

يطبع 196 رمزًا لصورة بدقة 224×224 و784 لصورة بدقة 448×448، ويحوّل كلًا منها إلى مخرج ذي 192 بُعدًا. وتحتوي حالة المسح على 192 × 16 = 3,072 قيمة في كلتا الدقتين، بينما تنمو خريطة الانتباه الذاتي للرموز نفسها من 38,416 إلى 614,656 مدخلًا، أي أكبر 16 مرة مع زيادة عدد الرموز أربعة أضعاف.

تهيئة Mamba للصور#

الصور ثنائية الأبعاد ولا تملك ترتيب قراءة طبيعيًا، كما أن العلاقة التكرارية أحادية الاتجاه لا تتيح لكل رقعة رؤية سوى الرقع التي جرى مسحها قبلها. وتعالج نماذج Vision Mamba ذلك باستخدام مسارات مسح متعددة:

  • Vim: يضيف تضمينات موضعية إلى رموز الرقع، ويضع رمز الفئة في منتصف التسلسل، ويشغّل SSM لكل كتلة على التسلسل في الاتجاهين الأمامي والعكسي، بحيث تجمع كل رقعة السياق من كلا الجانبين. وتفيد الورقة بأن Vim أسرع من محوّل الرؤية DeiT بمقدار 2.8 مرة، ويستخدم ذاكرة GPU أقل بنسبة 86.8% عند استخراج السمات من صور بدقة 1248×1248 في الاستدلال بدفعات.
  • VMamba: يستخدم VMamba مسحًا انتقائيًا ثنائي الأبعاد يقرأ شبكة الرقع عبر أربعة مسارات، صفًا بعد صف وعمودًا بعد عمود في كلا الاتجاهين، ثم يدمج النتائج ضمن شبكة أساسية هرمية تُخرج خرائط سمات متعددة المقاييس للكشف والتقسيم.
  • النماذج الهجينة: يضيف MambaVision من NVIDIA، المنشور في CVPR 2025، كتل انتباه ذاتي إلى الطبقات النهائية لشبكة أساسية هرمية من Mamba، حيث يجعل تقليل الدقة عدد الرموز صغيرًا بما يكفي لإجراء انتباه عالمي دقيق.

تقسم كتلة مشفّر Vim الرموز المطبّعة إلى فرع يُمسح في الاتجاهين وفرع بوابة يضبط مخرجي المسح قبل وصلة متبقية:

Vision Mamba مقارنةً بمحوّلات الرؤية والشبكات العصبية الالتفافية#

  • Vision Transformer: تقارن آلية الانتباه الذاتي جميع رموز الرقع الـN زوجيًا بكلفة O(N²)، وتتيح لأي رقعة الانتباه مباشرةً إلى أي رقعة أخرى. أما مسح Vision Mamba فكلفته O(N)، ويمرر المعلومات من الرقع البعيدة عبر حالته ثابتة الحجم. وتضبط كواشف الزمن الحقيقي أيضًا الكلفة التربيعية للانتباه بوضعه حيث يقل عدد الرموز: إذ يحصر YOLO26 كتل الانتباه الذاتي في خريطة السمات ذات الخطوة 32، حيث لا يترك إدخال بحجم 640×640 سوى 20 × 20 = 400 موضع.
  • الشبكة العصبية الالتفافية (CNN): تمزج عمليات الالتفاف جوارًا محليًا في كل طبقة، وتبني مجالًا تقبليًا كبيرًا عبر العمق وخفض الدقة، بينما يشمل مسح واحد لـMamba الصورة بأكملها.
  • هل هناك حاجة إلى المسح؟ في MambaOut، أزال Weihao Yu وXinchao Wang نموذج SSM من الكتل المستوحاة من Mamba، مع الإبقاء على الالتفافات ذات البوابات، وتفوقت النماذج الناتجة على جميع نماذج Mamba البصرية التي قارناها في تصنيف ImageNet. ولم يبلغ MambaOut مستوى أفضل نماذج Mamba البصرية في الكشف والتقسيم، حيث تنتج دقات الإدخال الأعلى تسلسلات رموز أطول كثيرًا؛ ما يشير إلى أن المسح يكون مجديًا مع التسلسلات الطويلة.

التطبيقات#

  • تحليل الصور الطبية: تحتوي أحجام CT وMRI على فوكسلات أكثر بكثير من وحدات البكسل في الصورة، وتضيف نماذج مثل U-Mamba كتل Mamba إلى مفكك-مشفّر بأسلوب U-Net لتقسيم الأعضاء والأورام بسياق عالمي وكلفة ذاكرة معقولة.
  • فهم الفيديو: يوسّع VideoMamba المسح ليشمل الرموز الزمكانية، بحيث يتمكن النموذج من قراءة مقاطع طويلة تجعل أعداد رموزها الانتباه الكامل باهظًا.
  • التنبؤ الكثيف: يُشغّل الكشف عن الكائنات والتقسيم الدلالي بدقات إدخال عالية، وهنا تبلغ وفورات Vim في الذاكرة أقصاها: فعند دقة 1248×1248، ينتج تقسيم الصورة إلى رقع 16×16 عدد 6,084 رمزًا، وتحتوي خريطة انتباه واحدة عليها نحو 37 مليون مدخل.

استكشف الحلول

الرؤية الحاسوبية في الرياضة

الرؤية الحاسوبية في الرياضة

اكتشف كيف يعزّز Ultralytics YOLO الرؤية الحاسوبية الرياضية عبر تتبّع اللاعبين والكرة، وتحليلات الأداء، ورؤى التدريب، وإعادة تأهيل الرياضيين.
معرفة المزيد
الرؤية الحاسوبية للصور الجوية

الرؤية الحاسوبية للصور الجوية

حوّل صور الطائرات المسيّرة والصور الجوية إلى رؤى آنية للزراعة وتربية الأحياء المائية والحفاظ على البيئة والتحليل الجغرافي المكاني باستخدام Ultralytics YOLO.
معرفة المزيد
الرؤية الحاسوبية في قطاع الطيران والفضاء

الرؤية الحاسوبية في قطاع الطيران والفضاء

طبّق الرؤية الحاسوبية في مجال الطيران والفضاء باستخدام Ultralytics YOLO لفحص الطائرات، واكتشاف الأجسام الغريبة على المدارج (FOD)، والعمليات الأرضية في المطارات، واكتشاف عيوب المواد المركّبة.
معرفة المزيد
الرؤية الحاسوبية في مجال الأمن

الرؤية الحاسوبية في مجال الأمن

احمِ كل موقع باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري مراقبة المحيط، واكتشاف التهديدات، والتعرف على لوحات المركبات، والسلامة في مكان العمل.
معرفة المزيد
الرؤية الحاسوبية في الروبوتات

الرؤية الحاسوبية في الروبوتات

عزّز أداء الآلات الذكية باستخدام نماذج Ultralytics YOLO. يدعم الذكاء الاصطناعي البصري في الروبوتات الملاحة الذاتية والإدراك وتعقب الأجسام والتحكم الآني.
معرفة المزيد
الرؤية الحاسوبية في الخدمات اللوجستية

الرؤية الحاسوبية في الخدمات اللوجستية

بسّط العمليات اللوجستية باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري فحص الطرود وفرزها وتتبع المركبات ومراقبة سلامة المستودعات في الوقت الفعلي.
معرفة المزيد
الرؤية الحاسوبية في تجارة التجزئة

الرؤية الحاسوبية في تجارة التجزئة

أعِد تصور تجارة التجزئة باستخدام نماذج Ultralytics YOLO. يتيح الذكاء الاصطناعي البصري تتبع المخزون ومراقبة الرفوف وإدارة الطوابير واستخلاص رؤى أذكى عن العملاء.
معرفة المزيد
الرؤية الحاسوبية في الرعاية الصحية

الرؤية الحاسوبية في الرعاية الصحية

أنشئ حلولًا للرعاية الصحية باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي البصري في الرعاية الصحية سرعة التصوير الطبي، وكفاءة التشخيص، ومراقبة المرضى.
معرفة المزيد
الرؤية الحاسوبية في التصنيع

الرؤية الحاسوبية في التصنيع

حسّن التصنيع باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية مراقبة الجودة واكتشاف العيوب والالتزام بمعدات الوقاية الشخصية وأتمتة خطوط التجميع.
معرفة المزيد
الرؤية الحاسوبية في قطاع السيارات

الرؤية الحاسوبية في قطاع السيارات

طبّق الرؤية الحاسوبية في قطاع السيارات باستخدام نماذج Ultralytics YOLO. يعزز الذكاء الاصطناعي للرؤية سلامة الطرق ومساعدة السائق وأتمتة المركبات لإنشاء طرق أكثر ذكاءً.
معرفة المزيد
الرؤية الحاسوبية في الزراعة

الرؤية الحاسوبية في الزراعة

أدخل الذكاء الاصطناعي البصري إلى الزراعة الذكية باستخدام نماذج Ultralytics YOLO. عزّز مراقبة المحاصيل وتتبع الماشية والزراعة الدقيقة لزيادة الإنتاجية وتحسينها.
معرفة المزيد

لنبنِ مستقبل الذكاء الاصطناعي معًا!

ابدأ رحلتك نحو مستقبل تعلّم الآلة