تعزيز تطبيقات الذكاء الاصطناعي باستخدام RAG والرؤية الحاسوبية

أصبح استخدام أدوات الذكاء الاصطناعي مثل ChatGPT أو Gemini وسيلة شائعة للعثور على المعلومات بسرعة. سواء أكنت تصوغ رسالة، أم تلخص مستندًا، أم تجيب عن سؤال، فغالبًا ما توفر هذه الأدوات حلًا أسرع وأسهل.

لكن إذا استخدمت نماذج اللغة الكبيرة (LLMs) بضع مرات، فلعلك لاحظت حدودها. فعندما تُطرح عليها أسئلة دقيقة جدًا أو مرتبطة بوقت محدد، قد تقدم إجابات خاطئة، وغالبًا ما تفعل ذلك بثقة.

يحدث ذلك لأن نماذج اللغة الكبيرة المستقلة تعتمد فقط على البيانات التي دُرّبت عليها. ولا يمكنها الوصول إلى أحدث المستجدات أو المعارف المتخصصة خارج مجموعة البيانات تلك. ونتيجة لذلك، قد تكون إجاباتها قديمة أو غير دقيقة.

للمساعدة على معالجة هذه المشكلة، طوّر الباحثون طريقة تُسمى التوليد المعزّز بالاسترجاع (RAG). يعزز RAG نماذج اللغة من خلال تمكينها من جلب معلومات حديثة وذات صلة من مصادر موثوقة عند الإجابة عن الاستفسارات.

سنستكشف في هذا المقال آلية عمل RAG وكيف يعزز أدوات الذكاء الاصطناعي باسترجاع معلومات ذات صلة ومحدّثة. وسنتناول أيضًا كيفية عمله جنبًا إلى جنب مع الرؤية الحاسوبية، وهي مجال من مجالات الذكاء الاصطناعي يركز على تفسير البيانات المرئية، لمساعدة الأنظمة على فهم النصوص والصور والتخطيطات والمستندات ذات المحتوى المرئي المعقد.

فهم التوليد المعزّز بالاسترجاع (RAG)#

عندما نطرح سؤالًا على روبوت محادثة يعمل بالذكاء الاصطناعي، نتوقع عمومًا أكثر من مجرد إجابة تبدو جيدة. فمن الناحية المثالية، ينبغي أن تكون الإجابة الجيدة واضحة ودقيقة ومفيدة حقًا. ولتحقيق ذلك، يحتاج نموذج الذكاء الاصطناعي إلى أكثر من المهارات اللغوية؛ إذ يحتاج أيضًا إلى الوصول إلى المعلومات المناسبة، ولا سيما في الموضوعات المحددة أو الحساسة للوقت.

RAG تقنية تساعد على سد هذه الفجوة. فهي تجمع بين قدرة نموذج اللغة على فهم النصوص وإنشائها، وإمكانات استرجاع المعلومات ذات الصلة من مصادر خارجية. وبدلًا من الاعتماد فقط على بيانات التدريب، يسترجع النموذج بنشاط محتوى داعمًا من قواعد معرفية موثوقة أثناء صياغة إجابته.

الشكل 1. أبرز حالات استخدام RAG. الصورة من إعداد الكاتب.

يمكن تشبيه ذلك بطرح سؤال على شخص يرجع إلى مرجع موثوق قبل الإجابة. تظل الإجابة بصياغته الخاصة، لكنها تستند إلى المعلومات الأحدث والأكثر صلة.

يساعد هذا النهج نماذج اللغة الكبيرة على تقديم إجابات أشمل وأدق وأكثر ملاءمة لاستفسار المستخدم، ما يجعلها أكثر موثوقية بكثير في التطبيقات الواقعية التي تكون فيها الدقة بالغة الأهمية.

نظرة على آلية عمل RAG#

يعزز RAG طريقة استجابة نموذج اللغة الكبير من خلال إضافة خطوتين أساسيتين: الاسترجاع والتوليد. أولًا، يسترجع معلومات ذات صلة من قاعدة معرفية خارجية. ثم يستخدم تلك المعلومات لإنشاء استجابة سليمة الصياغة ومراعية للسياق.

لنلقِ نظرة على مثال بسيط لفهم آلية عمل هذه العملية. تخيل أنك تستخدم مساعدًا يعمل بالذكاء الاصطناعي لإدارة أموالك الشخصية، وتريد التحقق مما إذا كنت قد التزمت بميزانية الإنفاق الشهرية.

تبدأ العملية عندما تطرح على المساعد سؤالًا مثل: "هل التزمت بميزانيتي هذا الشهر؟" وبدلًا من الاعتماد فقط على ما تعلمه أثناء التدريب، يستخدم النظام أداة استرجاع للبحث في أحدث سجلاتك المالية، مثل كشوف الحسابات المصرفية أو ملخصات المعاملات. ويركز على فهم المقصود من سؤالك وجمع المعلومات الأكثر صلة.

بعد استرجاع تلك المعلومات، يتولى نموذج اللغة المهمة. فهو يعالج سؤالك والبيانات المستمدة من سجلاتك معًا لإنشاء إجابة واضحة ومفيدة. وبدلًا من سرد التفاصيل الخام، تلخص الاستجابة إنفاقك وتقدم لك معلومة مباشرة وذات معنى، مثل تأكيد ما إذا كنت قد حققت هدفك والإشارة إلى فئات الإنفاق الرئيسية.

يساعد هذا النهج نموذج اللغة الكبير على تقديم استجابات لا تقتصر على الدقة، بل تستند أيضًا إلى معلوماتك الفعلية والمحدّثة، ما يجعل التجربة أكثر فائدة بكثير من استخدام نموذج يعتمد على بيانات تدريب ثابتة فحسب.

الشكل 2. فهم آلية عمل RAG.

الحاجة إلى أنظمة RAG متعددة الوسائط#

لا تُنقل المعلومات دائمًا في صورة نص عادي. فالمرئيات، من الصور الطبية والرسوم التوضيحية إلى شرائح العروض التقديمية والمستندات الممسوحة ضوئيًا، كثيرًا ما تتضمن تفاصيل مهمة. وقد تواجه نماذج اللغة الكبيرة التقليدية (LLMs)، المصممة أساسًا لقراءة النصوص وفهمها، صعوبة في التعامل مع هذا النوع من المحتوى.

لكن يمكن استخدام RAG إلى جانب الرؤية الحاسوبية لسد هذه الفجوة. وعند الجمع بينهما، يتشكل ما يُعرف بنظام RAG متعدد الوسائط، وهو إعداد قادر على التعامل مع النصوص والمرئيات معًا، ما يساعد روبوتات المحادثة المدعومة بالذكاء الاصطناعي على تقديم إجابات أدق وأكثر اكتمالًا.

في صميم هذا النهج نماذج الرؤية واللغة (VLMs)، المصممة لمعالجة نوعي المدخلات والاستدلال بشأنهما. وفي هذا الإعداد، يسترجع RAG المعلومات الأكثر صلة من مصادر البيانات الكبيرة، بينما يفسر نموذج الرؤية واللغة الصور والتخطيطات والمخططات بمساعدة الرؤية الحاسوبية.

يفيد هذا النهج خصوصًا في التعامل مع المستندات الواقعية، مثل النماذج الممسوحة ضوئيًا والتقارير الطبية والشرائح التقديمية، حيث قد ترد التفاصيل المهمة في النصوص والمحتوى المرئي معًا. فعلى سبيل المثال، عند تحليل مستند يضم صورًا إلى جانب جداول وفقرات، يستطيع النظام متعدد الوسائط استخراج العناصر المرئية وإنشاء ملخص لما تعرضه، ثم دمج ذلك مع النص المحيط لتقديم استجابة أشمل وأكثر فائدة.

الشكل 3. يستخدم RAG متعدد الوسائط الصور والنصوص لتقديم إجابات أفضل.

تطبيقات RAG على البيانات المرئية#

بعد أن ناقشنا ماهية RAG وكيفية عمله مع الرؤية الحاسوبية، لنلقِ نظرة على بعض الأمثلة الواقعية والمشروعات البحثية التي توضح كيفية استخدام هذا النهج.

فهم المستندات المرئية باستخدام VisRAG#

لنفترض أنك تحاول استخلاص رؤى من تقرير مالي أو مستند قانوني ممسوح ضوئيًا. غالبًا ما تتضمن هذه الملفات، إلى جانب النصوص، جداول ورسومًا بيانية وتخطيطات تساعد على شرح المعلومات. وقد يغفل نموذج لغوي بسيط هذه العناصر المرئية أو يسيء تفسيرها، ما يؤدي إلى استجابات ناقصة أو غير دقيقة.

أنشأ الباحثون VisRAG لمعالجة هذا التحدي. وهو مسار عمل RAG قائم على نموذج الرؤية واللغة، يتعامل مع كل صفحة على أنها صورة بدلًا من معالجة النص وحده. وهذا يمكّن النظام من فهم المحتوى وبنيته المرئية معًا. ونتيجة لذلك، يستطيع العثور على الأجزاء الأكثر صلة وتقديم إجابات أوضح وأدق تستند إلى السياق الكامل للمستند.

الشكل 4. يستطيع VisRAG قراءة المستندات بوصفها صورًا لالتقاط المحتوى النصي والتخطيط.

الإجابة عن الأسئلة المرئية باستخدام RAG#

الإجابة عن الأسئلة المرئية (VQA) هي مهمة يجيب فيها نظام ذكاء اصطناعي عن أسئلة حول الصور. وتركز أنظمة VQA الحالية كثيرة على الإجابة عن أسئلة حول مستند واحد من دون الحاجة إلى البحث عن معلومات إضافية، ويُعرف ذلك بالإعداد المغلق.

VDocRAG إطار عمل لـ RAG يتبع نهجًا أكثر واقعية. فهو يدمج الإجابة عن الأسئلة المرئية مع إمكانية استرجاع المستندات ذات الصلة أولًا. ويفيد ذلك في المواقف الواقعية التي قد يتعلق فيها سؤال المستخدم بواحد من مستندات عديدة، ويحتاج النظام إلى العثور على المستند المناسب قبل الإجابة. ولتحقيق ذلك، يستخدم VDocRAG نماذج الرؤية واللغة لتحليل المستندات بوصفها صورًا، مع الحفاظ على بنيتها النصية والمرئية.

وهذا ما يجعل VDocRAG ذا أثر كبير خصوصًا في تطبيقات مثل البحث المؤسسي وأتمتة المستندات ودعم العملاء. إذ يمكنه مساعدة الفرق على استخراج الإجابات بسرعة من المستندات المعقدة والمنسقة بصريًا، مثل الأدلة أو ملفات السياسات، حيث لا يقل فهم التخطيط أهمية عن قراءة الكلمات.

الشكل 5. الفرق بين VDocRAG والحلول القائمة على نماذج اللغة الكبيرة.

تحسين كتابة التسميات التوضيحية للصور باستخدام RAG#

تتضمن كتابة التسميات التوضيحية للصور إنشاء وصف نصي لما يحدث في الصورة. ويُستخدم ذلك في تطبيقات متنوعة، من جعل المحتوى عبر الإنترنت أسهل وصولًا إلى تشغيل البحث عن الصور ودعم أنظمة الإشراف على المحتوى والتوصية.

لكن ليس من السهل دائمًا على نماذج الذكاء الاصطناعي إنشاء تسميات توضيحية دقيقة. ويصعب ذلك بوجه خاص عندما تعرض الصورة شيئًا مختلفًا عما دُرّب النموذج عليه. وتعتمد أنظمة إنشاء التسميات التوضيحية اعتمادًا كبيرًا على بيانات التدريب، لذا قد تكون أوصافها مبهمة أو غير دقيقة عند مواجهة مشاهد غير مألوفة.

لمعالجة هذه المشكلة، طوّر الباحثون Re-ViLM، وهي طريقة توظف التوليد المعزّز بالاسترجاع (RAG) في كتابة التسميات التوضيحية للصور. وبدلًا من إنشاء وصف من الصفر، يسترجع Re-ViLM أزواجًا متشابهة من الصور والنصوص من قاعدة بيانات ويستخدمها لتوجيه صياغة الوصف.

يساعد هذا النهج القائم على الاسترجاع النموذج على إسناد أوصافه إلى أمثلة ذات صلة، ما يحسن الدقة والطلاقة معًا. وتُظهر النتائج الأولية أن Re-ViLM ينشئ أوصافًا أكثر طبيعية ومراعاة للسياق باستخدام أمثلة حقيقية، ما يساعد على تقليل الأوصاف المبهمة أو غير الدقيقة.

الشكل 6. يحسّن Re-ViLM أوصاف الصور باسترجاع أمثلة مرئية ونصية.

إيجابيات استخدام RAG لفهم البيانات المرئية وسلبياته#

إليك نظرة سريعة على فوائد تطبيق تقنيات التوليد المعزّز بالاسترجاع لاسترجاع المعلومات المرئية واستخدامها:

• قدرات محسّنة على التلخيص: يمكن أن تتضمن الملخصات رؤى مستمدة من العناصر المرئية، مثل اتجاهات الرسوم البيانية أو عناصر الرسوم المعلوماتية، وليس من النصوص فحسب.
• بحث واسترجاع أكثر متانة: تستطيع خطوات الاسترجاع تحديد الصفحات المرئية ذات الصلة حتى عندما لا ترد الكلمات المفتاحية في النص، وذلك باستخدام الفهم المستند إلى الصور.
• دعم المستندات الممسوحة ضوئيًا أو المكتوبة بخط اليد أو القائمة على الصور: تستطيع مسارات عمل RAG المدعومة بنماذج الرؤية واللغة معالجة محتوى تعجز النماذج المعتمدة على النص وحده عن قراءته.

على الرغم من هذه الفوائد، لا تزال هناك بعض القيود التي ينبغي مراعاتها عند استخدام RAG للعمل مع البيانات المرئية. إليك أبرزها:

• متطلبات حوسبة عالية: يتطلب تحليل الصور والنصوص معًا ذاكرة وقدرة معالجة أكبر، ما قد يبطئ الأداء أو يزيد التكاليف.
• مخاوف خصوصية البيانات وأمنها: قد تحتوي المستندات المرئية، لا سيما في قطاعات مثل الرعاية الصحية والتمويل، على معلومات حساسة تعقّد عمليات سير الاسترجاع والمعالجة.
• أوقات استدلال أطول: نظرًا إلى أن المعالجة المرئية تزيد التعقيد، قد يستغرق إنشاء الاستجابات وقتًا أطول مقارنةً بالأنظمة التي تعتمد على النص وحده.

أبرز النقاط#

يحسّن التوليد المعزّز بالاسترجاع طريقة إجابة نماذج اللغة الكبيرة عن الأسئلة، إذ يتيح لها جلب معلومات ذات صلة ومحدّثة من مصادر خارجية. وعند اقتران هذه الأنظمة بالرؤية الحاسوبية، يمكنها معالجة النصوص والمحتوى المرئي، مثل الرسوم البيانية والجداول والصور والمستندات الممسوحة ضوئيًا، ما يؤدي إلى استجابات أدق وأشمل.

يجعل هذا النهج نماذج اللغة الكبيرة أنسب للمهام الواقعية التي تتضمن مستندات معقدة. ومن خلال الجمع بين الاسترجاع والفهم المرئي، تستطيع هذه النماذج تفسير تنسيقات متنوعة بفعالية أكبر وتقديم رؤى أنفع في السياقات العملية واليومية.

انضم إلى مجتمعنا المتنامي! استكشف مستودعنا على GitHub للتعمق في الذكاء الاصطناعي. هل أنت مستعد لبدء مشروعاتك الخاصة في الرؤية الحاسوبية؟ اطّلع على خيارات الترخيص. اكتشف المزيد عن الذكاء الاصطناعي في الرعاية الصحية والرؤية الحاسوبية في قطاع التجزئة في صفحات حلولنا!