تعزيز تطبيقات الذكاء الاصطناعي باستخدام RAG والرؤية الحاسوبية

أصبح استخدام أدوات الذكاء الاصطناعي مثل ChatGPT أو Gemini وسيلة شائعة بسرعة للعثور على المعلومات. وسواء كنت تكتب رسالة، أو تلخص مستندًا، أو تجيب عن سؤال، فغالبًا ما تقدم هذه الأدوات حلًا أسرع وأسهل.

لكن إذا كنت قد استخدمت نماذج اللغة الكبيرة (LLMs) عدة مرات، فمن المرجح أنك لاحظت حدودها. فعند طرح استفسارات شديدة التحديد أو مرتبطة بوقت معين، قد تقدم إجابات غير صحيحة، وغالبًا بثقة كبيرة.

يحدث ذلك لأن نماذج اللغة الكبيرة المستقلة تعتمد حصريًا على البيانات التي دُرّبت عليها. فهي لا تصل إلى أحدث التحديثات أو المعرفة المتخصصة خارج مجموعة البيانات تلك. ونتيجة لذلك، قد تكون إجاباتها قديمة أو غير دقيقة.

للمساعدة في حل هذه المشكلة، طور الباحثون أسلوبًا يُسمى التوليد المعزز بالاسترجاع (RAG). يعزز RAG نماذج اللغة من خلال تمكينها من جلب معلومات حديثة وملائمة من مصادر موثوقة عند الاستجابة للاستفسارات.

في هذه المقالة، سنستكشف كيفية عمل RAG وكيف يعزز أدوات الذكاء الاصطناعي من خلال استرجاع معلومات ملائمة ومحدثة. وسننظر أيضًا في كيفية عمله إلى جانب الرؤية الحاسوبية، وهي مجال من مجالات الذكاء الاصطناعي يركز على تفسير البيانات المرئية، لمساعدة الأنظمة على فهم ليس النص فحسب، بل الصور والتخطيطات والمستندات المعقدة بصريًا أيضًا.

فهم التوليد المعزز بالاسترجاع (RAG)#

عند طرح سؤال على روبوت محادثة يعمل بالذكاء الاصطناعي، نتوقع عمومًا أكثر من مجرد إجابة تبدو جيدة. فمن الناحية المثالية، ينبغي أن تكون الإجابة الواضحة دقيقة ومفيدة فعلًا. ولتحقيق ذلك، يحتاج نموذج الذكاء الاصطناعي إلى أكثر من المهارات اللغوية؛ إذ يحتاج أيضًا إلى الوصول إلى المعلومات الصحيحة، ولا سيما في الموضوعات المحددة أو المرتبطة بوقت معين.

RAG تقنية تساعد على سد هذه الفجوة. فهي تجمع بين قدرة نموذج اللغة على فهم النص وإنشائه، وقوة استرجاع المعلومات الملائمة من المصادر الخارجية. وبدلًا من الاعتماد حصريًا على بيانات التدريب، يجلب النموذج بنشاط محتوى داعمًا من قواعد المعرفة الموثوقة أثناء صياغة استجابته.

الشكل 1. حالات الاستخدام الرئيسية لـ RAG. الصورة من إعداد المؤلف.

يمكنك تصور الأمر كأنك تطرح سؤالًا على شخص، فيرجع إلى مرجع موثوق قبل أن يجيب. تظل إجابته بأسلوبه الخاص، لكنها تستند إلى أحدث المعلومات وأكثرها صلة.

يساعد هذا النهج نماذج اللغة الكبيرة على تقديم إجابات أكثر اكتمالًا ودقة وملاءمة لاستفسار المستخدم، مما يجعلها أكثر موثوقية بكثير في التطبيقات الواقعية التي تكون فيها الدقة مهمة فعلًا.

نظرة على كيفية عمل RAG#

يعزز RAG طريقة استجابة نموذج اللغة الكبير من خلال تقديم خطوتين أساسيتين: الاسترجاع والتوليد. أولًا، يسترجع معلومات ملائمة من قاعدة معرفة خارجية. ثم يستخدم تلك المعلومات لتوليد استجابة جيدة الصياغة وواعية بالسياق.

لنلقِ نظرة على مثال بسيط لمعرفة كيفية عمل هذه العملية. تخيل أنك تستخدم مساعدًا بالذكاء الاصطناعي لإدارة شؤونك المالية الشخصية، وتريد التحقق مما إذا كنت قد التزمت بهدف الإنفاق الشهري.

تبدأ العملية عندما تطرح على المساعد سؤالًا مثل: "هل التزمت بميزانيتي هذا الشهر؟" وبدلًا من الاعتماد فقط على ما تعلمه أثناء التدريب، يستخدم النظام أداة استرجاع للبحث في أحدث سجلاتك المالية، مثل كشوف الحسابات المصرفية أو ملخصات المعاملات. ويركز على فهم القصد من سؤالك وجمع المعلومات الأكثر صلة.

بعد استرجاع تلك المعلومات، يتولى نموذج اللغة المهمة. فهو يعالج سؤالك والبيانات المستخرجة من سجلاتك معًا لتوليد إجابة واضحة ومفيدة. وبدلًا من سرد التفاصيل الأولية، تلخص الاستجابة إنفاقك وتقدم لك رؤى مباشرة وذات مغزى، مثل تأكيد ما إذا كنت قد حققت هدفك والإشارة إلى مجالات الإنفاق الرئيسية.

يساعد هذا النهج نموذج اللغة الكبير على تقديم استجابات ليست دقيقة فحسب، بل تستند أيضًا إلى معلوماتك الواقعية والمحدثة، مما يجعل التجربة أكثر فائدة بكثير من نموذج يعمل ببيانات تدريب ثابتة فقط.

الشكل 2. فهم كيفية عمل RAG.

الحاجة إلى أنظمة RAG متعددة الوسائط#

لا تُشارك المعلومات عادةً في صورة نص عادي دائمًا. فمن الفحوصات الطبية والمخططات إلى شرائح العروض التقديمية والمستندات الممسوحة ضوئيًا، غالبًا ما تحمل العناصر المرئية تفاصيل مهمة. وقد تواجه نماذج اللغة الكبيرة التقليدية، المصممة أساسًا لقراءة النص وفهمه، صعوبة في التعامل مع هذا النوع من المحتوى.

ومع ذلك، يمكن استخدام RAG إلى جانب الرؤية الحاسوبية لسد هذه الفجوة. وعند الجمع بينهما، يشكلان ما يُعرف بنظام RAG متعدد الوسائط، وهو إعداد قادر على التعامل مع النصوص والعناصر المرئية معًا، مما يساعد روبوتات المحادثة بالذكاء الاصطناعي على تقديم إجابات أكثر دقة واكتمالًا.

في صميم هذا النهج توجد نماذج الرؤية واللغة (VLMs)، المصممة لمعالجة كلا النوعين من المدخلات والاستدلال بشأنهما. وفي هذا الإعداد، يسترجع RAG المعلومات الأكثر صلة من مصادر البيانات الكبيرة، بينما يفسر نموذج الرؤية واللغة، المدعوم بالرؤية الحاسوبية، الصور والتخطيطات والمخططات.

يفيد هذا النهج خصوصًا في المستندات الواقعية، مثل النماذج الممسوحة ضوئيًا والتقارير الطبية وشرائح العروض التقديمية، حيث قد توجد التفاصيل الحيوية في النص والعناصر المرئية معًا. فعلى سبيل المثال، عند تحليل مستند يتضمن صورًا إلى جانب جداول وفقرات، يستطيع النظام متعدد الوسائط استخراج العناصر المرئية، وتوليد ملخص لما تعرضه، ودمج ذلك مع النص المحيط لتقديم استجابة أكثر اكتمالًا وفائدة.

الشكل 3. يستخدم RAG متعدد الوسائط الصور والنصوص لتقديم إجابات أفضل.

تطبيقات RAG على البيانات المرئية#

بعد أن ناقشنا ماهية RAG وكيفية عمله مع الرؤية الحاسوبية، لنلقِ نظرة على بعض الأمثلة الواقعية والمشروعات البحثية التي توضح كيفية استخدام هذا النهج.

فهم المستندات المرئية باستخدام VisRAG#

لنفترض أنك تحاول استخراج رؤى من تقرير مالي أو مستند قانوني ممسوح ضوئيًا. غالبًا ما تتضمن هذه الملفات نصوصًا، إلى جانب جداول ومخططات وتخطيطات تساعد على شرح المعلومات. وقد يتجاهل نموذج اللغة المباشر هذه العناصر المرئية أو يسيء تفسيرها، مما يؤدي إلى استجابات غير مكتملة أو غير دقيقة.

أنشأ الباحثون VisRAG لمعالجة هذا التحدي. وهو خط أنابيب RAG قائم على نموذج الرؤية واللغة، يتعامل مع كل صفحة باعتبارها صورة بدلًا من معالجة النص وحده. ويتيح ذلك للنظام فهم المحتوى وبنيته المرئية معًا. ونتيجة لذلك، يمكنه العثور على الأجزاء الأكثر صلة وتقديم إجابات أوضح وأكثر دقة ومستندة إلى السياق الكامل للمستند.

الشكل 4. يستطيع VisRAG قراءة المستندات كصور لالتقاط المحتوى النصي والتخطيط.

الإجابة عن الأسئلة المرئية باستخدام RAG#

الإجابة عن الأسئلة المرئية (VQA) هي مهمة يجيب فيها نظام ذكاء اصطناعي عن أسئلة تتعلق بالصور. تركز العديد من أنظمة VQA الحالية على الإجابة عن أسئلة حول مستند واحد دون الحاجة إلى البحث عن معلومات إضافية، ويُعرف ذلك بالإعداد المغلق.

VDocRAG هو إطار عمل RAG يتبع نهجًا أكثر واقعية. فهو يدمج VQA مع القدرة على استرجاع المستندات الملائمة أولًا. ويفيد ذلك في المواقف الواقعية التي قد ينطبق فيها سؤال المستخدم على واحد من مستندات عديدة، ويحتاج النظام إلى العثور على المستند الصحيح قبل الإجابة. ولتحقيق ذلك، يستخدم VDocRAG نماذج الرؤية واللغة لتحليل المستندات كصور، مع الحفاظ على نصوصها وبنيتها المرئية معًا.

يجعل ذلك VDocRAG مؤثرًا بصفة خاصة في تطبيقات مثل البحث المؤسسي وأتمتة المستندات ودعم العملاء. ويمكنه مساعدة الفرق على استخراج إجابات بسرعة من المستندات المعقدة والمنسقة بصريًا، مثل الأدلة أو ملفات السياسات، حيث لا تقل أهمية فهم التخطيط عن قراءة الكلمات.

الشكل 5. الفرق بين VDocRAG والحلول القائمة على نماذج اللغة الكبيرة.

تحسين وصف الصور باستخدام RAG#

يتضمن وصف الصور إنشاء وصف مكتوب لما يحدث في الصورة. ويُستخدم في مجموعة متنوعة من التطبيقات، بدءًا من إتاحة المحتوى عبر الإنترنت لعدد أكبر من المستخدمين، وصولًا إلى تشغيل البحث عن الصور ودعم أنظمة الإشراف على المحتوى والتوصية به.

ومع ذلك، لا يكون إنشاء أوصاف دقيقة سهلًا دائمًا بالنسبة إلى نماذج الذكاء الاصطناعي. ويزداد الأمر صعوبة خصوصًا عندما تعرض الصورة شيئًا مختلفًا عما تدرب عليه النموذج. تعتمد العديد من أنظمة وصف الصور بدرجة كبيرة على بيانات التدريب، لذلك قد تكون أوصافها غامضة أو غير دقيقة عند مواجهة مشاهد غير مألوفة.

لمعالجة ذلك، طور الباحثون Re-ViLM، وهي طريقة تُدخل التوليد المعزز بالاسترجاع (RAG) في مجال وصف الصور. وبدلًا من إنشاء وصف من الصفر، يسترجع Re-ViLM أزواجًا مشابهة من الصور والنصوص من قاعدة بيانات، ويستخدمها لتوجيه مخرجات الوصف.

يساعد هذا النهج القائم على الاسترجاع النموذج على إسناد أوصافه إلى أمثلة ملائمة، مما يحسن الدقة والطلاقة معًا. وتظهر النتائج الأولية أن Re-ViLM ينشئ أوصافًا أكثر طبيعية ووعيًا بالسياق باستخدام أمثلة واقعية، مما يساعد على تقليل الأوصاف الغامضة أو غير الدقيقة.

الشكل 6. يحسن Re-ViLM أوصاف الصور من خلال استرجاع أمثلة مرئية-نصية.

إيجابيات وسلبيات استخدام RAG لفهم البيانات المرئية#

إليك نظرة سريعة على فوائد تطبيق تقنيات التوليد المعزز بالاسترجاع لاسترجاع المعلومات المرئية واستخدامها:

• إمكانات التلخيص المحسنة: يمكن أن تتضمن الملخصات رؤى مستمدة من العناصر المرئية، مثل اتجاهات المخططات أو عناصر الرسوم البيانية المعلوماتية، وليس من النص فحسب.
• بحث واسترجاع أكثر متانة: يمكن لخطوات الاسترجاع تحديد الصفحات المرئية ذات الصلة حتى عند عدم وجود الكلمات المفتاحية في النص، وذلك باستخدام الفهم القائم على الصور.
• دعم المستندات الممسوحة ضوئيًا أو المكتوبة بخط اليد أو القائمة على الصور: تستطيع خطوط أنابيب RAG المدعومة بنماذج الرؤية واللغة معالجة محتوى يتعذر على النماذج النصية وحدها قراءته.

رغم هذه الفوائد، لا تزال هناك بعض القيود التي ينبغي وضعها في الاعتبار عند استخدام RAG للعمل مع البيانات المرئية. وفيما يلي بعض أهمها:

• متطلبات حوسبة مرتفعة: يستهلك تحليل الصور والنصوص معًا قدرًا أكبر من الذاكرة وقوة المعالجة، مما قد يبطئ الأداء أو يزيد التكاليف.
• مخاوف خصوصية البيانات وأمنها: قد تحتوي المستندات المرئية، ولا سيما في قطاعات مثل الرعاية الصحية أو الشؤون المالية، على معلومات حساسة تعقد عمليات الاسترجاع والمعالجة.
• أزمنة استدلال أطول: نظرًا لأن المعالجة المرئية تضيف تعقيدًا، قد يستغرق توليد الاستجابات وقتًا أطول مقارنةً بالأنظمة النصية فقط.

أهم النقاط المستخلصة#

يعمل التوليد المعزز بالاسترجاع على تحسين طريقة إجابة نماذج اللغة الكبيرة عن الأسئلة، من خلال إتاحة جلبها معلومات ملائمة ومحدثة من مصادر خارجية. وعند اقتران هذه الأنظمة بالرؤية الحاسوبية، تصبح قادرة على معالجة ليس النص فحسب، بل المحتوى المرئي أيضًا، مثل المخططات والجداول والصور والمستندات الممسوحة ضوئيًا، مما يؤدي إلى استجابات أكثر دقة وشمولًا.

يجعل هذا النهج نماذج اللغة الكبيرة أنسب للمهام الواقعية التي تتضمن مستندات معقدة. ومن خلال الجمع بين الاسترجاع والفهم المرئي، تستطيع هذه النماذج تفسير التنسيقات المتنوعة بفاعلية أكبر وتقديم رؤى أكثر فائدة في السياقات العملية واليومية.

انضم إلى مجتمعنا المتنامي! استكشف مستودعنا على GitHub للتعمق في الذكاء الاصطناعي. هل أنت مستعد لبدء مشروعاتك الخاصة في مجال الرؤية الحاسوبية؟ اطلع على خيارات الترخيص. اكتشف المزيد عن الذكاء الاصطناعي في الرعاية الصحية والرؤية الحاسوبية في قطاع التجزئة في صفحات حلولنا!