PaliGemma 2 من Google: رؤى حول نماذج VLM المتقدمة

في 5 ديسمبر 2024، قدمت Google نموذج PaliGemma 2، أحدث إصدار من نموذج الرؤية واللغة (VLM) الخاص بها. صُمم PaliGemma 2 للتعامل مع المهام التي تجمع بين الصور والنصوص، مثل إنشاء التعليقات التوضيحية والإجابة عن الأسئلة المرئية واكتشاف الأجسام في الصور.

استنادًا إلى نموذج PaliGemma الأصلي، الذي كان أداة قوية بالفعل لإنشاء التعليقات التوضيحية متعددة اللغات والتعرّف على الأجسام، يقدم PaliGemma 2 عدة تحسينات رئيسية. وتشمل هذه التحسينات أحجامًا أكبر للنماذج ودعمًا للصور الأعلى دقة وأداءً أفضل في المهام المرئية المعقدة. وتجعل هذه الترقيات النموذج أكثر مرونة وفاعلية لمجموعة واسعة من الاستخدامات.

سنلقي في هذه المقالة نظرة أقرب على PaliGemma 2، بما يشمل آلية عمله وميزاته الرئيسية والتطبيقات التي يتألق فيها.

من Gemma 2 إلى PaliGemma 2#

يرتكز PaliGemma 2 على تقنيتين رئيسيتين: مشفّر الرؤية SigLIP ونموذج اللغة Gemma 2. ويعالج مشفّر SigLIP البيانات المرئية، مثل الصور أو مقاطع الفيديو، ويستخلص منها سمات يستطيع النموذج تحليلها. أما Gemma 2 فيعالج النصوص، مما يتيح للنموذج فهم اللغة متعددة اللغات وإنشاءها. وتشكل التقنيتان معًا نموذج VLM مصممًا لتفسير المعلومات المرئية والنصية وربطها.

ما يجعل PaliGemma 2 خطوة كبيرة إلى الأمام هو قابليته للتوسع وتعدد استخداماته. فعلى عكس الإصدار الأصلي، يأتي PaliGemma 2 بثلاثة أحجام: 3 مليارات (3B) و10 مليارات (10B) و28 مليارًا (28B) من المعلمات. وتشبه هذه المعلمات الإعدادات الداخلية للنموذج، إذ تساعده على تعلم البيانات ومعالجتها بفعالية. كما يدعم دقات صور مختلفة، مثل 224 × 224 بكسل للمهام السريعة و896 × 896 للتحليل المفصل، ما يجعله قابلًا للتكيف مع تطبيقات متنوعة.

الشكل 1. نظرة عامة على PaliGemma 2.

يجعل دمج قدرات Gemma 2 اللغوية المتقدمة مع معالجة الصور في SigLIP نموذج PaliGemma 2 أكثر قدرة بكثير. ويمكنه تنفيذ مهام مثل:

• إنشاء تسميات توضيحية للصور أو مقاطع الفيديو: يستطيع النموذج إنشاء أوصاف نصية مفصلة للمحتوى المرئي، ما يجعله مفيدًا لإنشاء التسميات التوضيحية تلقائيًا.
• الإجابة عن الأسئلة المرئية: يستطيع PaliGemma 2 الإجابة عن الأسئلة استنادًا إلى الصور، مثل تحديد الكائنات أو الأشخاص أو الأفعال في مشهد ما.
• التعرّف على الكائنات: يحدد النموذج الكائنات داخل الصورة ويصنفها، كأن يميّز بين قطة وطاولة وسيارة في صورة.

يتجاوز PaliGemma 2 معالجة الصور والنصوص كلًّا على حدة، إذ يربط بينهما بطرق ذات معنى. فعلى سبيل المثال، يمكنه فهم العلاقات في مشهد ما، مثل إدراك أن «القطة تجلس على الطاولة»، أو تحديد الكائنات مع إضافة السياق، مثل التعرّف على معلم شهير.

كيف تعمل نماذج PaliGemma 2 VLM من Google#

بعد ذلك، سنشرح مثالًا باستخدام الرسم البياني الظاهر في الصورة أدناه لفهم كيفية معالجة PaliGemma 2 للبيانات المرئية والنصية على نحو أفضل. لنفترض أنك حمّلت هذا الرسم البياني وسألت النموذج: «ماذا يمثّل هذا الرسم البياني؟»

الشكل 2. مثال على قدرات PaliGemma 2.

تبدأ العملية باستخدام مشفّر الرؤية SigLIP في PaliGemma 2 لتحليل الصور واستخراج السمات الرئيسية. ففي حالة الرسم البياني، يشمل ذلك تحديد عناصر مثل المحاور ونقاط البيانات والتسميات. وقد دُرّب المشفّر على التقاط الأنماط العامة والتفاصيل الدقيقة معًا. كما يستخدم التعرّف الضوئي على الحروف (OCR) لاكتشاف أي نص مضمّن في الصورة ومعالجته. وتُحوّل هذه السمات المرئية إلى رموز، وهي تمثيلات رقمية يستطيع النموذج معالجتها. ثم تُعدّل هذه الرموز باستخدام طبقة إسقاط خطية، وهي تقنية تضمن إمكانية دمجها مع البيانات النصية.

في الوقت نفسه، يعالج نموذج اللغة Gemma 2 الاستعلام المرافق لتحديد معناه ومقصده. ويُحوَّل نص الاستعلام إلى رموز، ثم تُدمج هذه الرموز مع الرموز المرئية من SigLIP لإنشاء تمثيل متعدد الوسائط، وهو تنسيق موحد يربط البيانات المرئية والنصية.

باستخدام هذا التمثيل المتكامل، ينشئ PaliGemma 2 استجابة خطوة بخطوة عبر فك الترميز التلقائي، وهي طريقة يتنبأ فيها النموذج بجزء من الإجابة في كل مرة، استنادًا إلى السياق الذي عالجه مسبقًا.

القدرات الأساسية لـ PaliGemma 2#

بعد أن تناولنا آلية عمله، لنستكشف الميزات الرئيسية التي تجعل PaliGemma 2 نموذجًا موثوقًا للرؤية واللغة:

• مرونة الضبط الدقيق: يتكيف بسهولة مع مجموعات بيانات ومهام محددة، ويحقق أداءً جيدًا في تطبيقات مثل وصف الصور والاستدلال المكاني والتصوير الطبي.
• تنوع بيانات التدريب: دُرّب على مجموعات بيانات مثل WebLI وOpen Images، مما يمنحه قدرات قوية على التعرّف على الأجسام وإنتاج مخرجات متعددة اللغات.
• تكامل OCR: يتضمن التعرّف الضوئي على الحروف لاستخراج النصوص من الصور وتفسيرها، ما يجعله مثاليًا لتحليل المستندات والمهام النصية الأخرى.
• مخرجات متعددة اللغات: ينشئ تسميات توضيحية واستجابات بلغات متعددة، ما يجعله مثاليًا للتطبيقات العالمية.
• التكامل مع الأدوات: يتوافق مع أطر عمل مثل Hugging Face Transformers وPyTorch وKeras، مما يتيح النشر والتجريب بسهولة.

مقارنة PaliGemma 2 وPaliGemma: ما التحسينات؟#

تُعد دراسة بنية الإصدار الأول من PaliGemma طريقة جيدة للتعرف على تحسينات PaliGemma 2. ومن أبرز التغييرات استبدال نموذج اللغة Gemma الأصلي بـGemma 2، الذي يقدم تحسينات كبيرة في الأداء والكفاءة على حد سواء.

صُمم Gemma 2، المتاح بأحجام 2B و9B و27B من المعلمات، لتقديم دقة وسرعة رائدتين مع خفض تكاليف النشر. ويحقق ذلك من خلال بنية مُعاد تصميمها لتحسين كفاءة الاستدلال عبر إعدادات عتاد متنوعة، من وحدات GPU القوية إلى التكوينات الأقل تكلفة.

الشكل 3. نظرة إلى الإصدار الأول من PaliGemma.

ونتيجة لذلك، يتمتع PaliGemma 2 بدقة عالية جدًا. إذ يحقق إصدار 10B من PaliGemma 2 درجة أقل تبلغ 20.3 في مقياس الجملة غير المستلزمة (NES)، مقارنةً بدرجة 34.3 للنموذج الأصلي، ما يعني أخطاء واقعية أقل في مخرجاته. وتجعل هذه التطورات PaliGemma 2 أكثر قابلية للتوسع ودقةً وقدرةً على التكيف مع نطاق أوسع من التطبيقات، بدءًا من إنشاء أوصاف تفصيلية ووصولًا إلى الإجابة عن الأسئلة المرئية. وتُقارن نماذج Gemma 4 الأحدث من Google، مثل Gemma 4 26B، بنماذج الرؤية واللغة الأخرى في اكتشاف الأجسام في العالم الواقعي ضمن لوحة صدارة VLM.

تطبيقات PaliGemma 2: استخدامات واقعية لنماذج VLM#

يمكن استخدام PaliGemma 2 في قطاعات عديدة لأنه يجمع بين الفهم البصري واللغوي. فعلى سبيل المثال، فيما يتعلق بـإمكانية الوصول، يمكنه إنشاء أوصاف مفصلة للأشياء والمشاهد والعلاقات المكانية، ما يوفر مساعدة بالغة الأهمية للأشخاص ذوي الإعاقة البصرية. وتساعد هذه القدرة المستخدمين على فهم بيئاتهم بصورة أفضل، وتمنحهم استقلالية أكبر في إنجاز المهام اليومية.

الشكل 4. يمكن لـPaliGemma 2 أن يجعل العالم أكثر إتاحة.

إلى جانب تعزيز إمكانية الوصول، يُحدث PaliGemma 2 أثرًا في قطاعات متنوعة، منها:

• التجارة الإلكترونية: يعزز النموذج تصنيف المنتجات من خلال تحليل العناصر الظاهرة في الصور ووصفها، ما يبسّط إدارة المخزون ويحسن تجربة البحث للمستخدمين.
• الرعاية الصحية: يدعم النموذج المتخصصين الطبيين من خلال تفسير التصوير الطبي، مثل الأشعة السينية والتصوير بالرنين المغناطيسي، إلى جانب الملاحظات السريرية، لتقديم تشخيصات أدق وأكثر استنادًا إلى المعلومات.
• التعليم: تساعد PaliGemma 2 المعلمين على إنشاء مواد تعليمية وصفية يسهل الوصول إليها، من خلال إنشاء التسميات التوضيحية وتوفير معلومات سياقية عن الصور.
• إنشاء المحتوى: يؤتمت النموذج عملية إنشاء التسميات التوضيحية والأوصاف المرئية لمحتوى الوسائط المتعددة، موفرًا الوقت للمبدعين.

جرّب PaliGemma 2 بنفسك#

لتجربة PaliGemma 2، يمكنك البدء بالعرض التفاعلي على Hugging Face. يتيح لك استكشاف إمكاناته في مهام مثل كتابة التسميات التوضيحية للصور والإجابة عن الأسئلة المرئية. ما عليك سوى تحميل صورة وطرح أسئلة على النموذج عنها، أو طلب وصف للمشهد.

الشكل 5. عرض توضيحي لـ PaliGemma 2 (المصدر: Hugging Face).

إذا أردت التعمق أكثر، فإليك طريقة تطبيقية للبدء:

• النماذج المدرّبة مسبقًا: يمكنك الوصول إلى النماذج المدرّبة مسبقًا والشفرة من منصات مثل Hugging Face وKaggle. وتوفر هذه الموارد كل ما تحتاج إليه لبدء العمل بالنموذج.
• دفاتر الملاحظات: تتوفر وثائق شاملة ودفاتر أمثلة للتعرّف إلى PaliGemma 2. يمكنك البدء بأمثلة الاستدلال وتجربة الضبط الدقيق للنموذج على مجموعة بياناتك الخاصة لتنفيذ مهام محددة.
• عمليات التكامل: يتوافق PaliGemma 2 مع أطر العمل واسعة الاستخدام مثل Hugging Face Transformers وKeras وPyTorch وJAX وGemma.cpp، ما يتيح لك دمجه في سير العمل الحالي.

إيجابيات PaliGemma 2 من Google وسلبياته#

بعد أن تناولنا كيفية البدء باستخدام PaliGemma 2، لنلقِ نظرة عن كثب على أبرز نقاط قوته ومواطن قصوره التي ينبغي مراعاتها عند استخدام هذه النماذج.

إليك أبرز ما يميز PaliGemma 2 بوصفه نموذجًا للرؤية واللغة:

• مكاسب الكفاءة: بالاستفادة من البنية المحسّنة لـ Gemma 2، يحقق PaliGemma 2 أداءً عاليًا مع تقليل تكاليف النشر إلى أدنى حد.
• ميزات أمان محسّنة: يتضمن PaliGemma 2 تحسينات مهمة في الأمان ضمن عملية التدريب، مثل التصفية المتينة لبيانات ما قبل التدريب للحد من التحيزات، والتقييم الدقيق وفق معايير الأمان المرجعية.
• زمن استجابة منخفض في الإعدادات الأصغر: يوفّر نموذج 3B أوقات استدلال أسرع، ما يجعله مناسبًا لحالات الاستخدام التي تكون فيها السرعة ضرورية، مثل توصيات منتجات التجارة الإلكترونية أو أنظمة الدعم المباشر.

في المقابل، إليك بعض الجوانب التي قد يواجه فيها PaliGemma 2 قيودًا:

• زمن الاستجابة: رغم قوة النماذج الأكبر، قد تواجه مشكلات في زمن الاستجابة، خصوصًا عند نشرها لمهام تتطلب استجابات فورية، مثل أنظمة الذكاء الاصطناعي التفاعلية الآنية.
• الاعتماد على مجموعات بيانات كبيرة: يرتبط أداء PaliGemma 2 ارتباطًا وثيقًا بجودة مجموعات بيانات التدريب وتنوعها، ما قد يحد من فعاليته في المجالات قليلة التمثيل أو اللغات غير المشمولة في بيانات التدريب.
• متطلبات موارد مرتفعة: على الرغم من التحسينات، تتطلب الإصدارات ذات 10B و28B من المعلمات قدرة حاسوبية كبيرة، ما يجعلها أقل إتاحة للمؤسسات الصغيرة ذات الموارد المحدودة.

أبرز النقاط#

يمثل PaliGemma 2 تقدمًا لافتًا في نمذجة الرؤية واللغة، إذ يوفر قابلية توسع محسّنة ومرونة في الضبط الدقيق ودقة أفضل. ويمكن أن يكون أداة قيّمة لتطبيقات تتراوح بين حلول سهولة الوصول والتجارة الإلكترونية، وصولًا إلى التشخيص الطبي والتعليم.

ورغم ما له من قيود، مثل متطلبات الحوسبة والاعتماد على بيانات عالية الجودة، فإن نقاط قوته تجعله خيارًا عمليًا لمعالجة المهام المعقدة التي تجمع بين البيانات المرئية والنصية. ويمكن أن يوفر PaliGemma 2 أساسًا متينًا للباحثين والمطورين لاستكشاف إمكانات الذكاء الاصطناعي في التطبيقات متعددة الوسائط وتوسيعها.

شارك في الحوار حول الذكاء الاصطناعي من خلال الاطلاع على مستودع GitHub ومجتمعنا. اقرأ عن إسهام الذكاء الاصطناعي في تطوير الزراعة والرعاية الصحية!