FastVLM: تقدم Apple نموذجها الجديد والسريع للرؤية واللغة

في مؤتمر CVPR 2025، قدّمت Apple نموذجًا جديدًا مفتوح المصدر للذكاء الاصطناعي يُسمى FastVLM. وقد صُمم لفهم الصور واللغة معًا، ويعمل على أجهزة Apple مثل iPhone وiPad وأجهزة Mac. وهذا يعني أنه يستطيع تقديم نتائج ذكية بسرعة دون إرسال بياناتك إلى السحابة.

ما يجعل FastVLM مثيرًا للاهتمام بوجه خاص هو سرعته وكفاءته. طورت Apple مُرمّزًا بصريًا جديدًا يُسمى FastViTHD، يساعد النموذج على تفسير الصور عالية الجودة مع استهلاك قدر أقل من الذاكرة والطاقة. وتُجرى جميع عمليات المعالجة محليًا على الجهاز، ما يؤدي إلى أوقات استجابة أسرع مع الحفاظ على خصوصية المستخدم.

في هذه المقالة، سنستكشف آلية عمل FastVLM، وما يميّزه، ولماذا قد يشكّل هذا الإصدار من Apple خطوة مهمة إلى الأمام لتطبيقات الذكاء الاصطناعي اليومية على أجهزتك.

فهم نماذج الرؤية واللغة (VLMs)#

قبل أن نتعمق في ما يجعل FastVLM مميزًا، لنتعرف إلى المقصود بـ«VLM» في اسمه. يشير هذا المصطلح إلى نموذج الرؤية واللغة، المصمم لفهم المحتوى المرئي وربطه باللغة.

تجمع نماذج VLMs بين الفهم البصري واللغة، ما يتيح لها تنفيذ مهام مثل وصف صورة، أو الإجابة عن أسئلة حول لقطة شاشة، أو استخراج نص من مستند. تعمل نماذج الرؤية واللغة عادةً على مرحلتين: تعالج إحداهما الصورة وتحولها إلى بيانات، بينما تفسر الأخرى تلك البيانات لإنشاء استجابة يمكنك قراءتها أو سماعها.

ربما سبق لك استخدام هذا النوع من ابتكارات الذكاء الاصطناعي من دون أن تدرك ذلك. فكثيرًا ما تعتمد التطبيقات التي تمسح الإيصالات، أو تقرأ بطاقات الهوية، أو تنشئ تعليقات توضيحية للصور، أو تساعد ضعاف البصر على التفاعل مع شاشاتهم، على نماذج الرؤية واللغة التي تعمل بهدوء في الخلفية.

ما FastVLM؟#

أنشأت Apple نموذج FastVLM لتنفيذ المهام نفسها التي تنفذها نماذج الرؤية واللغة الأخرى، ولكن بسرعة أكبر وخصوصية أعلى وأداء مُحسّن على أجهزتها. يستطيع فهم محتوى الصورة والرد بنص، لكن خلافًا لكثير من النماذج التي تعتمد على خوادم سحابية، يمكن تشغيل FastVLM بالكامل على iPhone أو iPad أو Mac.

تؤدي نماذج VLMs عمومًا أداءً أفضل مع الصور عالية الدقة. فعلى سبيل المثال، كما هو موضح أدناه، لم يتمكن FastVLM من تحديد لافتة شارع على أنها «ممنوع الدخول» بصورة صحيحة إلا عند تزويده بنسخة عالية الدقة من الصورة. لكن المدخلات عالية الدقة تؤدي عادةً إلى إبطاء النماذج. وهنا يأتي دور FastViTHD.

الشكل 1. أداء FastVLM مع الصور منخفضة الدقة وعالية الدقة. (المصدر)

يساعد مُرمّز الرؤية الجديد من Apple، FastViTHD، FastVLM على معالجة الصور عالية الجودة بكفاءة أكبر، مع استهلاك ذاكرة وطاقة أقل. وعلى وجه التحديد، يتميز FastViTHD بخفة كافية تتيح تشغيله بسلاسة حتى على الأجهزة الصغيرة.

يتاح FastVLM أيضاً للجمهور في مستودع FastVLM على GitHub، حيث يستطيع المطورون الوصول إلى الشيفرة المصدرية وإجراء التعديلات واستخدامه في تطبيقاتهم، وفقاً لشروط ترخيص Apple.

مقارنة FastVLM بنماذج VLM الأخرى#

مقارنةً بـنماذج اللغة والرؤية الأخرى، جرى تحسين FastVLM ليعمل على الأجهزة اليومية مثل الهواتف الذكية والحواسيب المحمولة. وفي اختبارات الأداء، أنتج FastVLM كلمته أو مخرجه الأول بسرعة تصل إلى 85 ضعفًا مقارنة بنماذج مثل LLaVA-OneVision-0.5B.

الشكل 2. مقارنة أداء FastVLM بأداء نماذج أخرى. (المصدر)

فيما يلي لمحة عن بعض المعايير القياسية التي جرى تقييم FastVLM عليها:

• DocVQA (الإجابة عن الأسئلة المرئية المتعلقة بالمستندات): يقيس معيار الإجابة عن الأسئلة المرئية هذا مدى قدرة النموذج على قراءة المعلومات النصية في المستندات وفهمها، مثل النماذج أو الصفحات الممسوحة ضوئيًا.
• TextVQA (الإجابة عن الأسئلة المرئية المستندة إلى النص): يقيّم قدرة النموذج على تفسير الصور التي تتضمن نصًا مضمّنًا والإجابة بدقة عن الأسئلة المتعلقة بها.
• GQA: تختبر هذه المهمة مهارات الاستدلال لدى النموذج، إذ تتطلب منه فهم العلاقات بين الأجسام والمشاهد داخل الصورة.
• MMMU (الفهم متعدد الوسائط في تخصصات متعددة): يقيس أداء النموذج في مجموعة واسعة من المواد والتنسيقات الأكاديمية، من خلال الجمع بين الفهم البصري والنصي.
• SEED-Bench: يختبر هذا المعيار القدرات العامة للنموذج على الفهم والاستدلال البصريين عبر مجالات متعددة.

حقق FastVLM نتائج منافسة في هذه المعايير، مع استهلاك موارد أقل. وهو يتيح تطبيقات عملية للذكاء الاصطناعي البصري على الأجهزة اليومية، مثل الهواتف والأجهزة اللوحية والحواسيب المحمولة.

مُرمّز الرؤية الفعّال في FastVLM: FastViTHD#

والآن، لنلقِ نظرة عن كثب على FastViTHD، مُرمّز الرؤية الذي يؤدي دورًا أساسيًا في أداء FastVLM عند معالجة الصور.

تقسّم معظم نماذج الرؤية واللغة الصورة إلى آلاف الرقع الصغيرة المسماة رموزًا. وكلما زاد عدد الرموز، احتاج النموذج إلى وقت وطاقة أكبر لفهم الصورة. وقد يؤدي ذلك إلى بطء الأداء، خصوصًا على الهواتف أو الحواسيب المحمولة.

الشكل 3. كيفية معالجة مُرمّز الرؤية للصورة. (المصدر)

يتجنب FastViTHD التباطؤ الناتج عن معالجة عدد كبير جدًا من الرموز باستخدام عدد أقل منها، مع الحفاظ على فهم الصورة كاملة. ويجمع بين نهجين: المحوّلات، وهي فعالة في نمذجة الأنماط والعلاقات، والطبقات الالتفافية، الفعالة في معالجة البيانات المرئية. والنتيجة نظام أسرع وأقل استهلاكًا للذاكرة.

وفقًا لـApple، فإن FastViTHD أصغر بما يصل إلى 3.4 أضعاف من بعض مُرمّزات الرؤية التقليدية، مع الحفاظ على دقة عالية. وبدلًا من الاعتماد على تقنيات تحسين النماذج، مثل تقليم الرموز (إزالة رقع الصور الأقل أهمية لتسريع المعالجة)، يحقق الكفاءة من خلال بنية أبسط وأكثر انسيابية.

إصدارات FastVLM ومسار تدريبه#

أصدرت Apple نموذج FastVLM بثلاثة أحجام مختلفة: 0.5B و1.5B و7B من المعلمات (حيث تشير «B» إلى مليار، أي عدد الأوزان القابلة للتدريب في النموذج). صُمم كل إصدار ليلائم أنواعًا مختلفة من الأجهزة. ويمكن تشغيل النماذج الأصغر على الهواتف والأجهزة اللوحية، بينما يناسب نموذج 7B الأكبر أجهزة الحاسوب المكتبية أو المهام الأكثر تطلبًا.

يمنح ذلك المطورين مرونة اختيار الأنسب لتطبيقاتهم. فيمكنهم بناء حل سريع وخفيف للأجهزة المحمولة، أو حل أكثر تعقيدًا للأنظمة الأكبر، مع استخدام بنية النموذج الأساسية نفسها.

درّبت Apple إصدارات نموذج FastVLM باستخدام مسار عمل LLaVA‑1.5، وهو إطار لمواءمة نماذج الرؤية واللغة. وبالنسبة إلى مكوّن اللغة، قيّموا FastVLM باستخدام نماذج مفتوحة المصدر موجودة مثل Qwen وVicuna، المعروفة بتوليد نصوص طبيعية ومتماسكة. يتيح هذا الإعداد لـFastVLM معالجة الصور البسيطة والمعقدة وتوليد إجابات واضحة وذات صلة.

أهمية FastVLM: نهج Apple الفعّال للذكاء الاصطناعي#

قد تتساءل: لماذا تهم كفاءة FastVLM في معالجة الصور؟ يتعلق الأمر بمدى سلاسة عمل التطبيقات في الوقت الفعلي من دون الاعتماد على السحابة. يستطيع FastVLM التعامل مع الصور عالية الدقة، التي يصل حجمها إلى 1152 × 1152 بكسل، مع الحفاظ على سرعة وخفة كافيتين لتشغيله مباشرةً على جهازك.

وهذا يعني أن التطبيقات تستطيع وصف ما تراه الكاميرا، ومسح الإيصالات عند التقاطها، أو الاستجابة للتغييرات على الشاشة، مع إبقاء كل شيء محليًا. وتفيد هذه الإمكانات خصوصًا في مجالات مثل التعليم وإمكانية الوصول والإنتاجية والتصوير الفوتوغرافي.

بما أن FastViTHD فعّال حتى مع الصور الكبيرة، فهو يساعد على إبقاء الأجهزة سريعة الاستجابة وباردة. ويعمل مع جميع أحجام النماذج، بما فيها أصغرها، الذي يعمل على هواتف iPhone الأساسية. وهذا يعني إمكانية استخدام ميزات الذكاء الاصطناعي نفسها على الهواتف والأجهزة اللوحية وأجهزة Mac.

تطبيقات FastVLM#

يمكن لـFastVLM تشغيل مجموعة واسعة من التطبيقات بفضل مزاياه الأساسية، مثل السرعة والكفاءة والخصوصية على الجهاز. وفيما يلي بعض استخداماته:

• قراءة المستندات: يمكنه مسح الإيصالات أو النماذج أو بطاقات الهوية واستخراج المعلومات ذات الصلة فقط. كما يمكنه التركيز على مناطق محددة في الصورة، وهو ما يفيد التطبيقات التي تحتاج إلى استخراج النص بسرعة ودقة.
• التعليقات التوضيحية للصور: يستطيع تحليل الصورة وإنشاء وصف واضح لمحتواها. ويدعم ذلك ميزات تطبيقات الكاميرا ومعارض الصور وأي أداة تستفيد من الفهم البصري في الوقت الفعلي.
• دعم إمكانية الوصول: يستطيع FastVLM وصف محتوى الشاشة للمستخدمين المكفوفين أو ضعاف البصر، ما يسهل التنقل بين الأزرار والقوائم وعناصر التخطيط واستخدامها.
• مساعدو الذكاء الاصطناعي على الجهاز: يتوافق FastVLM جيدًا مع المساعدين الذين يحتاجون إلى فهم سريع لمحتوى الشاشة. وبما أنه يعمل مباشرةً على الجهاز ويحافظ على خصوصية البيانات، فيمكنه المساعدة في مهام مثل قراءة النصوص وتحديد الأزرار أو الأيقونات وإرشاد المستخدمين في الوقت الفعلي، من دون الحاجة إلى إرسال المعلومات إلى السحابة.

الشكل 4. يمكن استخدام FastVLM للتعرف على النص والإجابة عن الأسئلة المرئية. (المصدر)

أبرز النقاط#

يتيح FastVLM ذكاءً اصطناعيًا للرؤية واللغة على أجهزة Apple، جامعًا بين السرعة والخصوصية والكفاءة. وبفضل تصميمه الخفيف وإصداره مفتوح المصدر، يمكّن من فهم الصور في الوقت الفعلي عبر تطبيقات الأجهزة المحمولة والحواسيب المكتبية.

يساعد ذلك على جعل الذكاء الاصطناعي أكثر عملية وسهولة في الاستخدام اليومي، ويمنح المطورين أساسًا متينًا لبناء تطبيقات مفيدة تركز على الخصوصية. ومن المرجح مستقبلًا أن تؤدي نماذج الرؤية واللغة دورًا مهمًا في تفاعلنا مع التكنولوجيا، فتجعل الذكاء الاصطناعي أسرع استجابةً وأكثر وعيًا بالسياق وفائدةً في المواقف اليومية.

استكشف مستودعنا على GitHub لمعرفة المزيد عن الذكاء الاصطناعي. انضم إلى مجتمعنا النشط واكتشف الابتكارات في قطاعات مثل الذكاء الاصطناعي في صناعة السيارات والذكاء الاصطناعي البصري في التصنيع. وللبدء اليوم في الرؤية الحاسوبية، اطّلع على خيارات الترخيص.