Visual Question Answering (VQA)

الإجابة عن الأسئلة المرئية (VQA) هي مهمة الإجابة عن سؤال بلغة طبيعية حول صورة، مثل «ما لون الحافلة؟» أو «كم شخصًا ينتظر؟» أو «هل الموقد يعمل؟». يتلقى النظام الصورة والسؤال معًا ويعيد إجابة قصيرة، لذا عليه قراءة السؤال وتحديد الأجزاء ذات الصلة من الصورة ودمج المعلومات، ما يجعل VQA اختبارًا معياريًا لـالذكاء الاصطناعي متعدد الوسائط. وقد قدم ستانيسلاف أنتول وزملاؤه في Virginia Tech وMicrosoft Research هذه المهمة وأول معيار واسع لها، وهو مجموعة بيانات VQA، في ICCV 2015: نحو 250,000 صورة، معظمها من COCO، مع 760,000 سؤال مفتوح و10 إجابات بشرية لكل سؤال، أي نحو 10 ملايين إجابة إجمالًا.

آلية عمل نماذج VQA#

يرمّز نموذج VQA الصورة باستخدام شبكة عصبية التفافية (CNN) أو محول بصري (ViT)، ويرمّز السؤال باستخدام نموذج لغوي، ثم يدمج التمثيلين. ودمجت النماذج الأولى سمات الصورة العامة بمتجه سؤال من LSTM، وتعاملت مع الإجابة بوصفها تصنيفًا على بضعة آلاف من الإجابات الأكثر شيوعًا. ثم أتاحت آلية الانتباه للسؤال اختيار موضع النظر: إذ ركز نموذج Peter Anderson وزملائه من الأسفل إلى الأعلى ومن الأعلى إلى الأسفل، الفائز بتحدي VQA لعام 2017، على مناطق اقترحها نموذج اكتشاف الأجسام، كي يركز سؤال «ما لون الحافلة؟» على صندوق الحافلة. وتولّد نماذج الرؤية واللغة (VLMs) الحالية إجابات مفتوحة باستخدام نموذج لغوي، بعد ضبط التعليمات البصرية على بيانات الصور والأسئلة والإجابات.

المعايير ومشكلة الأولوية اللغوية#

حققت نماذج VQA الأولى درجات جيدة جزئيًا لأنها تجاهلت الصورة. إذ يمكن تخمين إجابات كثير من الأسئلة من صياغتها وحدها، مثلما تكون إجابة «هل يوجد...» عادةً «نعم»، وغالبًا ما تكون إجابة «ما الرياضة التي...» هي «التنس». وقد عالجت VQA v2، التي أصدرها ياش غويال وزملاؤه في CVPR 2017، هذه الأولويات اللغوية من خلال إقران كل سؤال بصورتين متشابهتين لهما إجابتان مختلفتان، بحيث يتعين على النموذج النظر إلى الصورة ليحقق نتيجة جيدة. وتركز مجموعات البيانات اللاحقة كل منها على مهارة:

• VizWiz: أكثر من 31,000 سؤال طرحها أشخاص مكفوفون حول صور التقطوها بهواتفهم، وكثير منها ضبابي أو مؤطر على نحو سيئ.
• TextVQA: أسئلة تتطلب قراءة النص الموجود في المشهد، مثل الرقم على قميص رياضي أو الاسم على واجهة متجر.
• GQA: أسئلة تركيبية أُنشئت من رسوم بيانية للمشاهد، مثل «هل الكوب الواقع إلى يسار الطبق مصنوع من الزجاج؟»
• OK-VQA: أسئلة تتطلب معرفة خارجية، مثل تحديد البلد الذي ينتمي إليه طبق ما.
• VQA-RAD: ‏3,515 سؤالًا صاغها أطباء حول 315 صورة أشعة، وأُعدت في المكتبة الوطنية الأمريكية للطب.

لأن الناس يصوغون الإجابات الصحيحة بطرق مختلفة، يقيس معيار VQA درجة الإجابة بحسب عدد المعلّقين البشريين العشرة الذين قدموها، ويعدّ ثلاث مطابقات أو أكثر إجابة صحيحة بالكامل، ثم يحسب المتوسط على كل مجموعة فرعية من تسعة معلّقين:

# Ten crowd answers to "What color is the bus?", as collected for every VQA question
human_answers = ["red"] * 7 + ["red and white"] * 2 + ["orange"]


def vqa_accuracy(prediction, answers):
    """Average min(matches / 3, 1) over the ten leave-one-out subsets of nine answers."""
    scores = []
    for i in range(len(answers)):
        others = answers[:i] + answers[i + 1 :]
        scores.append(min(others.count(prediction) / 3, 1))
    return sum(scores) / len(scores)


for prediction in ["red", "red and white", "orange", "blue"]:
    print(f"{prediction}: {vqa_accuracy(prediction, human_answers):.2f}")

تُظهر النتيجة 1.00 لـ"red" و0.60 لـ"red and white" و0.30 لـ"orange" و0.00 لـ"blue": فالإجابة التي قدمها معلّق واحد فقط تحرز نقاطًا جزئية، أما الإجابة التي لم يقدمها أحد فلا تحرز شيئًا. وتُعرض النتائج كلٌّ على حدة لأنواع الإجابات بنعم أو لا، والإجابات العددية، والإجابات الأخرى؛ وتحقق الأسئلة العددية أدنى الدرجات باستمرار، لأن العد يتطلب العثور على كل حالة مرة واحدة بالضبط. وتجيب الكواشف مباشرة عن أسئلة العد: إذ يعيد YOLO26 صندوقًا واحدًا لكل جسم، لذا يجيب عدد صناديق "person" في نتيجة التنبؤ عن سؤال "كم شخصًا في الصورة؟" لأي فئة من فئات COCO الثمانين. أما الفئات غير المدرجة، فيمكن لنماذج الرؤية واللغة إعادة صناديق لها أيضًا، وتقيس لوحة صدارة VLM دقتها في كشف الأجسام ضمن مجموعات بيانات واقعية.

VQA والمهام ذات الصلة#

تصف التعليقات التوضيحية للصور الصورة كاملةً من دون سؤال، بينما تجيب VQA عن سؤال محدد. ويعيد التحديد البصري موضع الكائن الذي تسميه عبارة ما، وغالبًا ما يكون ذلك على شكل مربع إحاطة، بينما تعيد VQA إجابة عن ذلك الكائن. ويوفر التعرّف الضوئي على المحارف (OCR) النص الذي تسأل عنه مهام شبيهة بـ TextVQA، أما الاستدلال البصري فهو الاستدلال متعدد الخطوات الذي تتطلبه الأسئلة التركيبية مثل أسئلة GQA. وتعتمد الإجابة عن الأسئلة النصية فقط على مقطع نصي بدلًا من وحدات البكسل.

التطبيقات#

تُعد التقنية المساعدة أوضح استخداماتها. أضافت Be My Eyes خدمة Be My AI، القائمة على GPT-4 من OpenAI، عام 2023، كي يتمكن المستخدمون المكفوفون وضعاف البصر من تصوير ملصق أو شاشة أو شارع وطرح أسئلة عنه. وتطرح فرق البيع بالتجزئة والتصنيع أسئلة على نماذج VLM حول صور الرفوف أو الفحص بدلًا من تدريب مصنف لكل سؤال. وفي الرعاية الصحية، يستهدف بحث الإجابة المرئية عن الأسئلة الطبية أسئلة مثل «هل يوجد كسر؟» حول صور الأشعة السينية والتصوير المقطعي المحوسب، وهو شكل من تحليل الصور الطبية يقيسه VQA-RAD باستخدام أسئلة كتبها أطباء سريريون أثناء نظرهم إلى الصور.