Visual Instruction Tuning

الضبط الدقيق للتعليمات المرئية هو ضبط نموذج الرؤية واللغة (VLM) بدقة على أمثلة تجمع صورة وتعليمات بلغة طبيعية مع الاستجابة المطلوبة، ليتعلم النموذج اتباع الطلبات المفتوحة المتعلقة بالصور: وصف مشهد، أو الإجابة عن سؤال، أو قراءة نص، أو الاستدلال بشأن ما يظهر. وهو يوسع نطاق ضبط التعليمات المقتصر على النصوص ليشمل الصور، ويحول النموذج من مجرد ربط الصور بالكلمات إلى مساعد بصري. وقدّم هاوتيان ليو وتشونيون لي وتشينغيانغ وو ويونغ جاي لي من جامعة ويسكونسن-ماديسون وMicrosoft Research وجامعة كولومبيا هذا المصطلح في الضبط الدقيق للتعليمات المرئية، وهي ورقة عرض شفهي في NeurIPS 2023، إلى جانب نموذج LLaVA (مساعد اللغة والرؤية الكبير) الذي أسفر عنه.

إنشاء بيانات التعليمات#

كان عدد مجموعات البيانات التي تربط الصور بالتعليمات والاستجابات قليلًا، لذلك أنشأ مؤلفو LLaVA هذه البيانات باستخدام نموذج نصي فقط. ولكل صورة في COCO، قدموا إلى GPT-4 وصفًا رمزيًا للصورة، أي التعليقات التي كتبها البشر ومربعات الإحاطة مع فئات الأجسام وإحداثياتها، إضافةً إلى أمثلة قليلة مكتوبة يدويًا، وطلبوا منه كتابة أسئلة وأجوبة كما لو كان يرى الصورة. وتضم البيانات الاصطناعية الناتجة، التي أُصدرت باسم LLaVA-Instruct-150K، 158,000 عينة من ثلاثة أنواع: 58,000 محادثة متعددة الأدوار، و23,000 وصف مفصل، و77,000 سؤال يتطلب استدلالًا معقدًا وإجابات تنطوي على التفكير خطوةً بخطوة بشأن المشهد.

المعمارية والتدريب#

يربط LLaVA مُرمِّز الصور CLIP ViT-L/14 بنموذج Vicuna، وهو نموذج لغوي كبير (LLM)، عبر إسقاط خطي واحد يحوّل سمات الصور إلى فضاء التضمين الخاص بكلمات LLM، بحيث تدخل الصورة إلى LLM على هيئة سلسلة من الرموز المرئية قبل التعليمة. ويجري التدريب على مرحلتين:

1. مواءمة السمات: لا يُدرّب إلا الإسقاط باستخدام 595,000 زوج من الصور والتعليقات، انتُقيت من مجموعة بيانات CC3M، بينما يظل مشفر الرؤية وLLM ثابتين، لتصبح الرموز المرئية قابلة للقراءة من قبل LLM.
2. الضبط الدقيق للتعليمات المرئية: يُحدّث كل من الإسقاط وLLM باستخدام بيانات التعليمات، بينما يظل مشفر الرؤية ثابتًا. ولا تُحسب خسارة الرمز التالي إلا على إجابات المساعد، مطلقًا على رموز الصور أو تعليمات المستخدم.

تمكن النموذج الناتج من إجراء محادثات حول صور وتعليمات لم يسبق له رؤيتها. وبلغ LLaVA نسبة 85.1% من نتيجة GPT-4 نفسه على معيار اصطناعي متعدد الوسائط لاتباع التعليمات، قيّمه GPT-4، وبعد ضبطه بدقة على معيار ScienceQA، حققت مجموعة من LLaVA وGPT-4 رقمًا قياسيًا جديدًا بلغ 92.53% من الدقة.

بسّط LLaVA-1.5 الوصفة وحسّنها: فاستبدل الإسقاط الخطي بشبكة إدراك متعددة الطبقات مؤلفة من طبقتين، ورفع دقة إدخال CLIP إلى 336 بكسل، وأضاف مجموعات بيانات أكاديمية للإجابة المرئية عن الأسئلة مع مطالبات قصيرة تحدد صيغة الإجابة، وأتم التدريب في نحو يوم واحد على عقدة واحدة مزودة بثماني وحدات GPU من نوع A100، مستخدمًا 1.2 مليون عينة عامة للنموذج ذي 13 مليار معلمة. واتبع InstructBLIP من Salesforce نهجًا مختلفًا، إذ حوّل مجموعات البيانات الموسومة الحالية إلى صيغة تعليمات، وكيّف سمات الصور حسب التعليمات.

التطبيقات#

تستبدل نماذج الرؤية واللغة (VLM) المضبوطة بالتعليمات كثيرًا من النماذج المخصصة لمهمة واحدة بنظام واحد يجيب عن الأسئلة المفتوحة، ويكتب تعليقات توضيحية للصور بمستوى التفصيل الذي يطلبه المستخدم، ويقرأ النصوص في الصور، جامعًا بين التعرف الضوئي على الحروف (OCR) والاستدلال بشأن معنى النص. وتشغّل النماذج التي تقرأ لقطات الشاشة بهذه الطريقة وكلاء استخدام الحاسوب. كما تنتقل هذه الوصفة إلى المجالات المتخصصة: إذ واءم LLaVA-Med بين أزواج التعليقات التوضيحية والأشكال الطبية الحيوية من PubMed Central، وضُبط على تعليمات أنشأها GPT-4 بشأنها، ودُرّب في أقل من 15 ساعة على ثماني وحدات GPU من نوع A100؛ وهو مسار نحو مساعدي تحليل الصور الطبية الذين يشرحون النتائج بالكلمات.

تعيد كثير من نماذج VLM المضبوطة وفق التعليمات مواقع الأجسام أيضًا عند الطلب. وتستخدم منصة Ultralytics هذه الإمكانية في التوسيم الذكي الموجّه بالفئات: ففي مجموعة بيانات اكتشاف تضم من 1 إلى 200 فئة، تحدد النماذج مفتوحة المصدر المستضافة مثل Moondream 3.1، أو نماذج الرؤية المدفوعة لدى مزودي الخدمات، فئات مجموعة البيانات في الصورة وتعيد مربعات قابلة للتحرير للمراجعة.

ترث نماذج VLM المضبوطة وفق التعليمات نقاط ضعف بياناتها أيضًا. فقد تصف الإجابات المولدة أجسامًا غير موجودة في الصورة، وتُطبّق أساليب التفضيل مثل تحسين التفضيل المباشر (DPO) بعد الضبط الدقيق للتعليمات للحد من هذه الهلوسات.

الضبط الدقيق للتعليمات المرئية مقارنةً بالمفاهيم ذات الصلة#

• ضبط التعليمات النصية: يضبط LLM نصي فقط بدقة على أزواج التعليمات والاستجابات. ويضيف الضبط الدقيق للتعليمات المرئية صورة إلى كل مثال ويدرّب الصلة بين مشفر الرؤية وLLM.
• التدريب المسبق للرؤية واللغة: تتعلم النماذج التباينية مثل CLIP مطابقة الصور بالتعليقات، ما يمنح VLM سماته المرئية، لكن لا يتيح له اتباع التعليمات.
• المحفزات المرئية: توجه النموذج وقت الاستدلال بإشارات مرئية مثل النقاط أو المربعات أو الصور النموذجية، كما في التقسيم القابل للتوجيه بالمحفزات. أما الضبط الدقيق للتعليمات المرئية فهو مرحلة تدريب، وتُكتب محفزاته بلغة طبيعية.
• الضبط الدقيق لـالإجابة عن الأسئلة المرئية (VQA): يدرّب نموذجًا على مهمة واحدة وتنسيق إجابة واحد، مثل أحد معايير VQA. أما ضبط التعليمات المرئية فيمزج أنواعًا متعددة من المهام ضمن تنسيق تعليمات واحد، كي يعمم النموذج على الطلبات الجديدة.