Visual Instruction Tuning

يُعد ضبط التعليمات المرئية تقنية تعلم آلي تحويلية توسع أساليب معالجة اللغات الطبيعية التقليدية إلى مجال الوسائط المتعددة. من خلال تدريب نموذج لغوي رؤيوي (VLM) على اتباع توجيهات بشرية صريحة بناءً على مدخلات الصور أو الفيديو، يمكن للمطورين إنشاء مساعدين يعملون بالذكاء الاصطناعي لفهم المحتوى المرئي والاستنتاج بشأنه. وخلافاً لنماذج تصنيف الصور القياسية التي تُخرج فئة محددة مسبقاً، يُمكّن ضبط التعليمات المرئية النماذج من تنفيذ مهام معقدة ومفتوحة النهاية—مثل وصف مشهد، أو قراءة نص داخل صورة، أو الإجابة على أسئلة محددة حول العلاقات المكانية. وهذا يسد الفجوة بين النماذج اللغوية الكبيرة (LLMs) القائمة على النصوص وخطوط أنابيب الرؤية الحاسوبية التقليدية.

Link to this sectionفهم المفهوم والفروق#

لاستيعاب ضبط التعليمات المرئية، من المفيد تمييزه عن المفاهيم ذات الصلة الوثيقة في نظام الذكاء الاصطناعي:

• ضبط التعليمات: يشير عادةً إلى مواءمة النماذج اللغوية الكبيرة (LLMs) القائمة على النصوص فقط لاتباع النية البشرية بأمان ودقة. يطبق ضبط التعليمات المرئية نفس هذه المنهجية ولكنه يدمج الصور في المطالبة (prompt) والمخرجات المتوقعة.
• التوجيه المرئي: يتضمن عادةً التفاعل مع الذكاء الاصطناعي باستخدام إشارات مرئية—مثل رسم مربع إحاطة (bounding box)، أو وضع نقطة، أو تظليل منطقة على صورة—لتوجيه تركيز النموذج. في المقابل، يعتمد ضبط التعليمات المرئية بشكل كبير على أوامر اللغة الطبيعية المقترنة بالبيانات المرئية.

تتضمن عملية التدريب عموماً الضبط الدقيق لنموذج أساسي متعدد الوسائط مدرب مسبقاً باستخدام مجموعات بيانات واسعة منسقة كـ ثلاثيات من (صورة-نص-تعليمات). أظهرت أبحاث arXiv الرائدة حول ضبط التعليمات المرئية، مثل مشروع LLaVA (مساعد اللغة والرؤية الكبير)، أن هذه النماذج يمكنها تحقيق قدرات مذهلة في التعلم بدون أمثلة (zero-shot). واليوم، توظف مؤسسات الذكاء الاصطناعي الكبرى هذه التقنية لتشغيل نماذج متقدمة، بما في ذلك OpenAI GPT-4o، وAnthropic Claude 3.5 Sonnet، وGoogle DeepMind Gemini.

Link to this sectionتطبيقات العالم الحقيقي#

من خلال مواءمة بنى التعلم العميق متعدد الوسائط مع النية البشرية، يفتح ضبط التعليمات المرئية المجال لتطبيقات تفاعلية للغاية عبر مختلف الصناعات:

• الذكاء الاصطناعي في تشخيص الرعاية الصحية: يمكن للمهنيين الطبيين استخدام النماذج التي تم ضبط تعليماتها لـ الإجابة على الأسئلة المرئية (VQA). قد يقوم اختصاصي الأشعة بتوجيه النظام باستخدام صورة أشعة سينية والتعليمات، "حدد واشرح أي علامات للالتهاب الرئوي في الفص السفلي الأيسر"، مما يسمح للذكاء الاصطناعي بالعمل كمساعد تشخيصي تعاوني.
• الذكاء الاصطناعي في مراقبة جودة التصنيع: بدلاً من تدريب نموذج صارم للكشف عن العيوب من الصفر، يمكن للمشغلين توجيه نظام رؤية مثل Microsoft Florence-2 من خلال ذكر، "حدد أي خدوش أو انبعاجات مجهرية على هذا الغلاف المعدني المصنوع حديثًا."

Link to this sectionبناء سير عمل الرؤية#

لبناء أنظمة تستفيد من هذه القدرات، يعتمد المطورون غالباً على نماذج قوية لـ اكتشاف الأشياء لاستخراج السياق الهيكلي من الصور قبل تمرير تلك البيانات إلى نموذج VLM. باستخدام وثائق PyTorch متعددة الوسائط أو نماذج رؤية TensorFlow، يمكن للمطورين إنشاء خطوط أنابيب هجينة.

على سبيل المثال، يمكنك استخدام نموذج Ultralytics YOLO لإدراك مشهد ما بسرعة وإنشاء مطالبة لغوية مستنيرة لنموذج VLM لاحق:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

قد تمثل إدارة مجموعات البيانات المعقدة ومتعددة الوسائط المطلوبة لتطبيقات الجيل التالي هذه تحدياً. تبسط منصة Ultralytics هذه العملية من خلال توفير أدوات شاملة لتعليق مجموعات البيانات، والتدريب السحابي، والنشر السلس للنماذج. سواء كنت تقرأ أحدث الأوراق البحثية على مكتبة ACM الرقمية أو أرشيفات IEEE Xplore للرؤية الحاسوبية، فإن التحول نحو أنظمة الرؤية المضبوطة وفق تعليمات وذات القدرات العالية يمثل طليعة الذكاء الاصطناعي. من خلال إقران إدراك YOLO26 بنماذج استدلال مضبوطة، يمكن للمؤسسات نشر وكلاء ذكاء اصطناعي أقوياء للغاية.