Visual Question Answering (VQA)

تعد الإجابة عن الأسئلة المرئية (VQA) مهمة ذكاء اصطناعي متطورة تقع عند تقاطع رؤية الحاسوب (CV) ومعالجة اللغات الطبيعية (NLP). وعلى عكس تصنيف الصور التقليدي، الذي يخصص تصنيفاً واحداً للصورة، صُممت أنظمة VQA للإجابة على أسئلة مفتوحة باللغة الطبيعية حول المحتوى المرئي للصورة. على سبيل المثال، عند عرض صورة لمطبخ، قد يسأل المستخدم: "هل الموقد قيد التشغيل؟" أو "كم عدد التفاح في الوعاء؟". وللإجابة بشكل صحيح، يجب أن يفهم النموذج دلالات النص، ويحدد الكائنات ذات الصلة داخل المشهد، ويستنتج سماتها وعلاقاتها المكانية.

تجعل هذه القدرة VQA مكوناً أساسياً في الذكاء الاصطناعي متعدد الوسائط الحديث، حيث يتطلب معالجة متزامنة لأنواع بيانات متباينة. تتضمن البنية عادةً مُشفِّر رؤية، مثل الشبكة العصبية التلافيفية (CNN) أو محول الرؤية (ViT)، لاستخراج الميزات من الصورة، ومُشفِّر نصوص لمعالجة الاستعلام اللغوي. تستخدم الأنظمة المتقدمة آلية انتباه لمطابقة المفاهيم النصية مع مناطق محددة في الصورة، مما يسمح للذكاء الاصطناعي "بالنظر" إلى الأجزاء ذات الصلة من الصورة قبل توليد إجابة.

Link to this sectionالتطبيقات الواقعية والأهمية#

أدت القدرة على الاستعلام عن البيانات المرئية بشكل ديناميكي إلى تطبيقات تحويلية عبر مختلف الصناعات، مما يعزز الأتمتة وإمكانية الوصول.

• التكنولوجيا المساعدة: تُعد VQA حيوية للتطبيقات التي تدعم الأفراد ضعاف البصر. يمكن لأدوات مثل Be My Eyes الاستفادة من VQA للسماح للمستخدمين بالتقاط صورة لمحيطهم وطرح أسئلة مثل: "هل هذه الزجاجة شامبو أم بلسم؟" أو "هل من الآمن عبور الشارع؟". وهذا يعزز الاستقلالية من خلال تحويل المعلومات المرئية إلى إجابات مسموعة.
• التشخيص الطبي: في مجال الذكاء الاصطناعي في الرعاية الصحية، تساعد أنظمة VQA أطباء الأشعة من خلال تحليل الصور الطبية. قد يستعلم الممارس عن نظام ما بخصوص صورة أشعة بأسئلة مثل: "هل هناك دليل على وجود كسر في الربع العلوي الأيسر؟". وقد استكشف الباحثون في المعاهد الوطنية للصحة (NIH) تقنية VQA لتبسيط اتخاذ القرارات السريرية وتقليل الأخطاء التشخيصية.
• المراقبة الذكية: تستخدم أنظمة الأمن الحديثة الذكاء الاصطناعي للأمن لتحليل ساعات من لقطات الفيديو. بدلاً من المراجعة اليدوية، يمكن للمشغلين السؤال: "هل دخلت شاحنة حمراء إلى رصيف التحميل بعد منتصف الليل؟". تُمكِّن VQA من كشف الشذوذ السريع بناءً على معايير محددة بدلاً من تنبيهات الحركة العامة.

Link to this sectionدور كشف الكائنات في VQA#

بينما يتم تدريب بعض نماذج VQA من البداية إلى النهاية، يعتمد الكثير منها على أساس قوي من كشف الكائنات لتحديد عناصر المشهد أولاً. يوفر تحديد موقع الكائنات بدقة السياق اللازم لمحرك الاستدلال. ويعمل نموذج Ultralytics YOLO26 كأساس ممتاز لهذه المسارات نظراً لدقته العالية وأدائه في الوقت الفعلي.

على سبيل المثال، يمكن للمطورين استخدام YOLO26 لاستخراج فئات الكائنات ومربعات الإحاطة، والتي يتم إدخالها بعد ذلك في نموذج لغوي كبير (LLM) أو وحدة استدلال متخصصة للإجابة على استعلامات المستخدم. غالباً ما يتم تبسيط إدارة مجموعات البيانات لتدريب أسس الكشف هذه باستخدام منصة Ultralytics، التي تسهل عملية التسمية والتدريب السحابي.

يوضح مثال Python التالي كيفية استخدام YOLO26 لاستخراج السياق المرئي (الكائنات ومواقعها) من صورة، وهي الخطوة الأساسية في سير عمل VQA:

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Run inference to detect objects, providing context for VQA
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display detected classes (e.g., 'bus', 'person') to verify scene understanding
for result in results:
    result.show()  # Visualize the detections

Link to this sectionالتمييز بين VQA والمفاهيم ذات الصلة#

من المفيد التمييز بين VQA ومهام الرؤية واللغة المماثلة لفهم نطاقها الفريد.

• VQA مقابل التعليق على الصور: يقوم التعليق على الصور بإنشاء وصف ثابت وعام لصورة كاملة (على سبيل المثال: "كلب يلعب في الحديقة"). VQA تفاعلية ومحددة؛ حيث توفر استجابة موجهة لسؤال المستخدم بدلاً من ملخص واسع.
• VQA مقابل التأريض المرئي: يركز التأريض المرئي على تحديد موقع كائن معين مذكور في عبارة نصية من خلال رسم مربع إحاطة حوله. تذهب VQA إلى أبعد من ذلك من خلال تحليل سمات أو أفعال أو كميات الكائنات التي تم العثور عليها.
• VQA مقابل OCR: بينما تُستخدم التعرف الضوئي على الحروف (OCR) حصرياً لاستخراج النص من الصور، قد تدمج VQA تقنية OCR للإجابة على أسئلة مثل "ماذا تقول لافتة الشارع؟". ومع ذلك، تشمل الوظيفة الأساسية لـ VQA فهماً أوسع للمشهد يتجاوز مجرد قراءة النص.

يواصل الباحثون تطوير المجال باستخدام معايير واسعة النطاق مثل مجموعة بيانات VQA، والتي تساعد النماذج على التعميم عبر ملايين أزواج الصور والأسئلة. مع تحسن الأجهزة، مما يتيح زمن وصول للاستدلال أسرع، أصبحت VQA قابلة للتطبيق بشكل متزايد في تطبيقات الهاتف المحمول والتطبيقات الطرفية في الوقت الفعلي.