Florence-2: أحدث نموذج للغة المرئية من Microsoft

في يونيو 2024، قدمت Microsoft نموذج Florence-2، وهو نموذج لغوي بصري (VLM) متعدد الوسائط مصمم للتعامل مع مجموعة واسعة من المهام بما في ذلك اكتشاف الكائنات، والتجزئة، والتعليقات التوضيحية للصور، والربط المكاني. يضع Florence-2 معيارًا جديدًا للأداء الصفري (zero-shot)، مما يعني أنه يمكنه أداء المهام دون تدريب مسبق محدد، ويتميز بحجم نموذج أصغر مقارنة بنماذج الرؤية اللغوية الأخرى المتطورة.

إنه أكثر من مجرد نموذج آخر؛ فقدرة Florence-2 على التكيف وتحسين الأداء لديه القدرة على التأثير بشكل كبير على مختلف الصناعات من خلال تحسين الدقة وتقليل الحاجة إلى تدريب مكثف. في هذه المقالة، سنستكشف الميزات المبتكرة لنموذج Florence-2، ونقارن أداءه مع نماذج VLM الأخرى، ونناقش تطبيقاته المحتملة.

ما هو Florence-2؟#

يمكن لنموذج Florence-2 التعامل مع مجموعة متنوعة من المهام ضمن إطار عمل واحد موحد. وتعود القدرات المذهلة للنموذج جزئياً إلى مجموعة بيانات التدريب الضخمة الخاصة به التي تسمى FLD-5B. تحتوي FLD-5B على 5.4 مليار تعليق توضيحي عبر 126 مليون صورة. تم إنشاء مجموعة البيانات الشاملة هذه خصيصاً لتمكين Florence-2 من القدرات اللازمة للتعامل مع مجموعة واسعة من مهام الرؤية بدقة وكفاءة عاليتين.

إليك نظرة فاحصة على المهام التي يدعمها Florence-2:

• اكتشاف الكائنات: يمكنه تحديد وتعرّف مواقع الكائنات داخل الصور بدقة عالية.
• التجزئة: تتضمن هذه المهمة تقسيم الصورة إلى أقسام ذات معنى لتسهيل التحليل والتفسير.
• وصف الصور: Florence-2 قادر على إنشاء تعليقات توضيحية وصفية للصور توفر السياق والتفاصيل.
• التأريض البصري: يمكن للنموذج ربط عبارات أو كلمات محددة في التعليق التوضيحي بالمناطق المقابلة في الصورة.
• أداء التعلم بصفر عينة (Zero-shot): يمكنه أداء المهام دون تدريب محدد.

الشكل 1. فهم كيفية تدريب Florence-2.

يدعم النموذج كلاً من المهام القائمة على النص والمهام القائمة على المناطق. تُضاف رموز موقع خاصة إلى مفردات النموذج للمهام التي تتضمن مناطق محددة من الصورة. تساعد هذه الرموز النموذج على فهم الأشكال المختلفة، مثل المستطيلات حول الكائنات (تمثيل الصندوق)، والأشكال رباعية الجوانب (تمثيل الصندوق الرباعي)، والأشكال متعددة الجوانب (تمثيل المضلع). يتم تدريب النموذج باستخدام طريقة تسمى خسارة الإنتروبيا المتقاطعة (cross-entropy loss)، والتي تساعده على التعلم من خلال مقارنة توقعاته بالإجابات الصحيحة وتعديل معاملاته الداخلية وفقاً لذلك.

إنشاء مجموعة بيانات FLD-5B#

تتضمن مجموعة بيانات FLD-5B أنواعًا مختلفة من التعليقات التوضيحية: أوصاف نصية، وأزواج من المناطق والنصوص، ومجموعات من النصوص والعبارات والمناطق. وقد تم إنشاؤها من خلال عملية من خطوتين تتضمن جمع البيانات والتعليقات التوضيحية. استُمِدت الصور من مجموعات بيانات شائعة مثل ImageNet-22k وObject 365 وOpen Images وConceptual Captions وLAION. التعليقات التوضيحية في مجموعة بيانات FLD-5B اصطناعية في الغالب، مما يعني أنه تم إنشاؤها تلقائيًا بدلاً من تصنيفها يدويًا.

الشكل 2. إنشاء مجموعة بيانات FLD-5B.

في البداية، قامت نماذج متخصصة ماهرة في مهام معينة، مثل اكتشاف الكائنات أو التجزئة، بإنشاء هذه التعليقات التوضيحية. ثم تم استخدام عملية ترشيح وتحسين للتأكد من أن التعليقات التوضيحية مفصلة ودقيقة. بعد إزالة أي ضجيج، خضعت مجموعة البيانات لتحسين متكرر، حيث تم استخدام مخرجات Florence-2 لتحديث وتحسين التعليقات التوضيحية باستمرار.

فهم بنية نموذج Florence-2#

تتبع بنية نموذج Florence-2 نهج التعلم من تسلسل إلى تسلسل (sequence-to-sequence). وهذا يعني أن النموذج يعالج تسلسلاً مدخلاً (مثل صورة مع مطالبة نصية) ويولد تسلسلاً مخرجاً (مثل وصف أو تصنيف) بطريقة تدريجية. في إطار العمل من تسلسل إلى تسلسل، يتم التعامل مع كل مهمة كمشكلة ترجمة: يأخذ النموذج صورة مدخلة ومطالبة خاصة بالمهمة ويولد المخرجات المقابلة.

الشكل 3. هندسة نموذج الرؤية واللغة Florence-2.

في جوهر بنية النموذج يوجد محول (Transformer) متعدد الوسائط من نوع مشفر-فك تشفير (encoder-decoder)، والذي يجمع بين مشفر الصور ومشفر-فك تشفير متعدد الوسائط. يقوم مشفر الصور، المسمى DaViT (Data-efficient Vision Transformer)، بمعالجة الصور المدخلة عن طريق تحويلها إلى تضمينات رموز مرئية - وهي تمثيلات مضغوطة للصورة تلتقط كلاً من المعلومات المكانية (أين توجد الأشياء) والمعلومات الدلالية (ما هي الأشياء). يتم بعد ذلك دمج هذه الرموز المرئية مع تضمينات النص (تمثيلات النص)، مما يسمح للنموذج بدمج البيانات النصية والبصرية بسلاسة.

مقارنة Florence-2 مع نماذج VLM الأخرى#

يبرز Florence-2 عن غيره من النماذج اللغوية البصرية بفضل قدراته الرائعة في التعلم بصفر عينة (zero-shot). على عكس نماذج مثل PaliGemma، التي تعتمد على ضبط دقيق مكثف للتكيف مع مهام مختلفة، يعمل Florence-2 بشكل جيد بمجرد استخدامه. أيضاً، يستطيع Florence-2 منافسة نماذج أكبر مثل GPT-4V وFlamingo، والتي غالباً ما تحتوي على عدد أكبر بكثير من المعلمات ولكنها لا تضاهي دائماً أداء Florence-2. على سبيل المثال، يحقق Florence-2 نتائج أفضل في سيناريو صفر عينة مقارنة بـ Kosmos-2، على الرغم من أن Kosmos-2 يحتوي على أكثر من ضعف عدد المعلمات.

في اختبارات القياس، أظهر Florence-2 أداءً ملحوظًا في مهام مثل التعليق على COCO وفهم التعبيرات الإشارية. فقد تفوق على نماذج مثل PolyFormer وUNINEXT في مهام اكتشاف الكائنات والتجزئة على مجموعة بيانات COCO. إنه خيار تنافسي للغاية للتطبيقات الواقعية حيث يكون كل من الأداء وكفاءة الموارد أمرًا بالغ الأهمية.

تطبيقات Florence-2#

يمكن استخدام Florence-2 في العديد من الصناعات المختلفة، مثل الترفيه، وإمكانية الوصول، والتعليم، وغيرها. دعونا نستعرض بعض الأمثلة لتكوين فهم أفضل.

تطبيقات وصف الصور#

عندما تكون على منصة بث وتحاول تحديد ما ستشاهده، قد تقرأ ملخصاً لفيلم لمساعدتك في الاختيار. ماذا لو كانت المنصة قادرة أيضاً على تقديم وصف تفصيلي لملصق الفيلم؟ يمكن لـ Florence-2 جعل ذلك ممكناً من خلال وصف الصور، والذي يولد نصاً وصفياً للصور. يمكن لـ Florence-2 إنشاء أوصاف تفصيلية لملصقات الأفلام، مما يجعل منصات البث أكثر شمولاً للمستخدمين ضعاف البصر. من خلال تحليل العناصر المرئية للملصق، مثل الشخصيات والمناظر والنصوص، يمكن لـ Florence-2 إنشاء أوصاف تفصيلية تنقل محتوى الملصق وحالته المزاجية. تُظهر الصورة أدناه مستوى التفاصيل التي يمكن لـ Florence-2 توفيرها في وصفه.

الشكل 4. مثال على تعليق توضيحي لصورة تم إنشاؤه بواسطة Florence-2.

إليك بعض الأمثلة الأخرى حيث يمكن أن يكون وصف الصور مفيداً:

• التجارة الإلكترونية: يمكن أن توفر التعليقات التوضيحية للصور أوصافًا تفصيلية لصور المنتجات، مما يساعد العملاء على فهم ميزات المنتجات وتفاصيلها بشكل أكثر وضوحًا.
• السفر والسياحة: يمكن أن توفر أوصافًا تفصيلية للمعالم ومناطق الجذب في أدلة وتطبيقات السفر.
• التعليم: يمكن لوصف الصور تسمية ووصف الصور والمخططات التعليمية، مما يساعد في التدريس والتعلم.
• العقارات: يمكن أن يوفر أوصافاً تفصيلية لصور العقارات التي تبرز الميزات والمرافق للمشترين المحتملين.

استخدام التأريض البصري أثناء الطهي#

يمكن أيضاً استخدام Florence-2 لإثراء تجارب الطهي. على سبيل المثال، يمكن لكتاب طبخ عبر الإنترنت استخدام Florence-2 لتأريض وتسمية أجزاء من صورة وصفة معقدة بصرياً. يساعد التأريض البصري هنا من خلال ربط أجزاء محددة من الصورة بالنص الوصفي المقابل. يمكن تسمية وشرح كل مكون وخطوة بدقة، مما يسهل على الطهاة المنزليين اتباع الوصفة وفهم دور كل مكون في الطبق.

الشكل 5. مثال على الربط البصري باستخدام Florence-2.

التعرف الضوئي على الحروف (OCR) القائم على المناطق للمستندات المالية#

يمكن أن يكون OCR مع المعالجة القائمة على المناطق، والتي تركز على استخراج النص من مناطق محددة داخل مستند، مفيداً عندما يتعلق الأمر بمجالات مثل المحاسبة. يمكن تحليل مناطق محددة من المستندات المالية لاستخراج المعلومات المهمة تلقائياً مثل تفاصيل المعاملات، وأرقام الحسابات، وتواريخ الاستحقاق. من خلال تقليل الحاجة إلى إدخال البيانات يدوياً، فإنه يقلل من الأخطاء ويسرع أوقات المعالجة. يمكن للمؤسسات المالية استخدامه لتبسيط مهام مثل معالجة الفواتير، وتسوية الإيصالات، ومقاصة الشيكات، مما يؤدي إلى معاملات أسرع وخدمة عملاء أفضل.

الشكل 6. مثال على استخراج النصوص (OCR) مع تحديد المناطق باستخدام Florence-2.

التجزئة القائمة على المناطق في التطبيقات الصناعية#

يمكن أن تدعم التجزئة المستندة إلى المناطق، والتي تتضمن تقسيم الصورة إلى أجزاء ذات معنى لتحليل مركز وفحص مفصل، التطبيقات الصناعية التي تحسن الدقة والكفاءة في العمليات المختلفة. من خلال التركيز على مناطق محددة داخل الصورة، تتيح هذه التقنية الفحص والتحليل التفصيلي للمكونات والمنتجات. فيما يتعلق بمراقبة الجودة، يمكنها تحديد العيوب أو عدم الاتساق في المواد، مثل الشقوق أو عدم المحاذاة، مما يضمن وصول المنتجات عالية الجودة وحدها إلى السوق.

الشكل 7. مثال على التجزئة المستندة إلى المناطق باستخدام Florence-2.

كما أنها تحسن خطوط التجميع الآلية من خلال توجيه الأذرع الروبوتية إلى أجزاء محددة وتحسين وضع وتجميع المكونات. وبالمثل، في إدارة المخزون، تساعد في تتبع ومراقبة حالة وموقع البضائع، مما يؤدي إلى لوجستيات أكثر كفاءة وتقليل وقت توقف العمل. بشكل عام، تعزز التجزئة المستندة إلى المناطق الدقة والإنتاجية، مما يؤدي إلى توفير التكاليف وتحسين جودة المنتجات في البيئات الصناعية.

أبرز النقاط#

بدأنا نرى توجهاً حيث أصبحت نماذج الذكاء الاصطناعي أخف وزناً مع الحفاظ على أداء عالٍ. يمثل Florence-2 خطوة كبيرة إلى الأمام من حيث النماذج اللغوية البصرية. يمكنه التعامل مع مهام مختلفة مثل اكتشاف الكائنات، والتجزئة، ووصف الصور، والتأريض بأداء مذهل في التعلم بصفر عينة (zero-shot). على الرغم من صغر حجمه، فإن Florence-2 فعال ومتعدد الوظائف، مما يجعله مفيداً للغاية من حيث التطبيقات عبر صناعات مختلفة. تقدم نماذج مثل Florence-2 المزيد من الاحتمالات، مما يوسع إمكانات ابتكارات الذكاء الاصطناعي.

استكشف المزيد حول الذكاء الاصطناعي من خلال زيارة مستودع GitHub والانضمام إلى مجتمعنا. تحقق من صفحات الحلول الخاصة بنا للتعرف على تطبيقات الذكاء الاصطناعي في التصنيع والزراعة. 🚀