الربط بين معالجة اللغة الطبيعية والرؤية الحاسوبية

تُعدّ معالجة اللغة الطبيعية (NLP) ورؤية الحاسوب (CV) فرعين متميزين من الذكاء الاصطناعي (AI) اكتسبا شعبية كبيرة في السنوات الأخيرة. وبفضل التطورات في مجال الذكاء الاصطناعي، أصبح هذان الفرعان أكثر ترابطًا من أي وقت مضى.

ومن الأمثلة الرائعة على ذلك وصف الصور تلقائيًا. إذ يمكن استخدام رؤية الحاسوب لتحليل محتوى الصورة وفهمه، بينما يمكن استخدام معالجة اللغة الطبيعية لإنشاء وصف يشرحها. ويُستخدم وصف الصور تلقائيًا على نحو شائع في منصات التواصل الاجتماعي لتحسين إمكانية الوصول، وفي أنظمة إدارة المحتوى للمساعدة في تنظيم الصور ووضع علامات عليها بكفاءة.

أدت الابتكارات في NLP والذكاء الاصطناعي للرؤية إلى العديد من حالات الاستخدام المماثلة في مجموعة متنوعة من الصناعات. في هذه المقالة، سنلقي نظرة فاحصة على NLP ورؤية الحاسوب، ونناقش كيفية عمل كل منهما. كما سنستكشف تطبيقات مثيرة للاهتمام تستخدم هاتين التقنيتين معًا. فلنبدأ!

فهم NLP والذكاء الاصطناعي للرؤية#

يركز NLP على التفاعل بين الحواسيب واللغة البشرية. وهو يمكّن الآلات من فهم النصوص أو الكلام وتفسيرها وإنشائها بطريقة ذات معنى. ويمكن استخدامه لتنفيذ مهام مثل الترجمة أو تحليل المشاعر أو التلخيص.

في المقابل، تساعد رؤية الحاسوب الآلات على تحليل الصور ومقاطع الفيديو والتعامل معها. ويمكن استخدامها لمهام مثل اكتشاف الكائنات في صورة، والتعرف على الوجوه، وتتبع الكائنات، أو تصنيف الصور. وتتيح تقنية الذكاء الاصطناعي للرؤية للآلات فهم العالم المرئي والتفاعل معه بصورة أفضل.

الشكل 1. مثال على تصنيف الصور.

عند دمجه مع رؤية الحاسوب، يمكن لـNLP أن يضيف معنى إلى البيانات المرئية من خلال الجمع بين النصوص والصور، مما يتيح فهمًا أعمق. وكما يقول المثل: «الصورة تساوي ألف كلمة»، وعند إقرانها بالنص تصبح أكثر قوة، إذ تقدم رؤى أغنى.

أمثلة على عمل NLP ورؤية الحاسوب معًا#

ربما شاهدت عمل NLP ورؤية الحاسوب معًا في أدوات يومية من دون أن تلاحظ ذلك، مثلما يحدث عندما يترجم هاتفك نصًا من صورة.

في الواقع، يستخدم Google Translate كلًا من معالجة اللغة الطبيعية ورؤية الحاسوب لترجمة النصوص من الصور. فعندما تلتقط صورة لإشارة شارع مكتوبة بلغة أخرى، تحدد رؤية الحاسوب النص وتستخرجه، بينما يترجمه NLP إلى لغتك المفضلة.

يعمل NLP وCV معًا لجعل العملية سلسة وفعالة، مما يتيح للمستخدمين فهم المعلومات والتفاعل معها عبر اللغات في الوقت الفعلي. ويؤدي هذا التكامل السلس بين التقنيات إلى إزالة حواجز التواصل.

الشكل 2. ميزة الترجمة في Google.

فيما يلي بعض التطبيقات الأخرى التي يعمل فيها NLP ورؤية الحاسوب معًا:

• السيارات ذاتية القيادة: يمكن استخدام CV لاكتشاف إشارات المرور والمسارات والعوائق، بينما يستطيع NLP معالجة الأوامر المنطوقة أو النص الموجود على إشارات الطريق.
• قارئات المستندات: يستطيع الذكاء الاصطناعي للرؤية التعرف على النص من المستندات الممسوحة ضوئيًا أو الكتابة اليدوية، ويمكن لمعالجة اللغة الطبيعية تفسير المعلومات وتلخيصها.
• البحث المرئي في تطبيقات التسوق: يمكن لرؤية الحاسوب تحديد المنتجات في الصور، بينما يعالج NLP عبارات البحث لتحسين التوصيات.
• الأدوات التعليمية: يستطيع CV التعرف على الملاحظات المكتوبة بخط اليد أو المدخلات المرئية، ويمكن لـNLP تقديم تفسيرات أو ملاحظات استنادًا إلى المحتوى.

المفاهيم الأساسية التي تربط بين رؤية الحاسوب وNLP#

بعد أن رأينا كيفية استخدام رؤية الحاسوب ومعالجة اللغة الطبيعية، لنستكشف كيف تجتمعان لتمكين الذكاء الاصطناعي العابر للأنماط.

يجمع الذكاء الاصطناعي العابر للأنماط بين الفهم المرئي الناتج عن رؤية الحاسوب والاستيعاب اللغوي الناتج عن NLP لمعالجة المعلومات وربطها عبر النصوص والصور. فعلى سبيل المثال، في الرعاية الصحية، يمكن للذكاء الاصطناعي العابر للأنماط المساعدة في تحليل صورة الأشعة السينية وإنشاء ملخص مكتوب وواضح للمشكلات المحتملة، مما يساعد الأطباء على اتخاذ قرارات أسرع وأكثر دقة.

فهم اللغة الطبيعية (NLU)#

يُعدّ فهم اللغة الطبيعية مجموعة فرعية متخصصة من NLP تركز على تفسير المعنى من النصوص واستخراجه من خلال تحليل القصد والسياق والدلالات والنبرة والبنية. وبينما يعالج NLP النصوص الخام، يتيح NLU للآلات استيعاب اللغة البشرية بفاعلية أكبر. فعلى سبيل المثال، يُعدّ التحليل النحوي إحدى تقنيات NLU التي تحوّل النص المكتوب إلى صيغة منظمة يمكن للآلات فهمها.

الشكل 3. العلاقة بين NLP وNLU.

يعمل NLU مع رؤية الحاسوب عندما تحتوي البيانات المرئية على نص يحتاج إلى الفهم. إذ تستخرج رؤية الحاسوب النصوص من الصور أو المستندات أو مقاطع الفيديو باستخدام تقنيات مثل التعرف الضوئي على الحروف (OCR). وقد يشمل ذلك مهام مثل مسح إيصال ضوئيًا، أو قراءة النص الموجود على لافتة، أو رقمنة الملاحظات المكتوبة بخط اليد.

ثم يعالج NLU النص المستخرج لفهم معناه وسياقه وقصده. ويجعل هذا المزيج الأنظمة قادرة على القيام بأكثر من مجرد التعرف على النصوص؛ إذ يمكنها تصنيف النفقات الواردة في الإيصالات أو تحليل النبرة والمشاعر. وتحوّل رؤية الحاسوب وNLU معًا النص المرئي إلى معلومات مفيدة وقابلة للتنفيذ.

هندسة المطالبات#

هندسة المطالبات هي عملية تصميم مطالبات إدخال واضحة ودقيقة ومفصلة لتوجيه أنظمة الذكاء الاصطناعي التوليدي، مثل نماذج اللغة الكبيرة (LLMs) والنماذج المرئية-اللغوية (VLMs)، لإنتاج المخرجات المطلوبة. وتعمل هذه المطالبات بمثابة تعليمات تساعد نموذج الذكاء الاصطناعي على فهم قصد المستخدم.

تتطلب هندسة المطالبات الفعالة فهم إمكانات النموذج وصياغة مدخلات تزيد إلى أقصى حد قدرته على إنشاء استجابات دقيقة أو إبداعية أو ثاقبة. ويكتسب ذلك أهمية خاصة عند التعامل مع نماذج الذكاء الاصطناعي التي تعمل مع النصوص والصور معًا.

خذ نموذج DALL·E من OpenAI مثالًا على ذلك. فإذا طلبت منه إنشاء «صورة واقعية لرائد فضاء يمتطي حصانًا»، فسيتمكن من إنشاء ذلك تمامًا استنادًا إلى وصفك. وتفيد هذه المهارة كثيرًا في مجالات مثل التصميم الجرافيكي، حيث يستطيع المحترفون تحويل الأفكار النصية بسرعة إلى نماذج مرئية أولية، مما يوفر الوقت ويعزز الإنتاجية.

الشكل 4. صورة أُنشئت باستخدام DALL-E من OpenAI.

قد تتساءل عن علاقة هذا برؤية الحاسوب؛ أليس هذا مجرد ذكاء اصطناعي توليدي؟ في الواقع، يرتبط المجالان ارتباطًا وثيقًا. إذ يبني الذكاء الاصطناعي التوليدي على أسس رؤية الحاسوب لإنشاء مخرجات مرئية جديدة بالكامل.

تُدرَّب نماذج الذكاء الاصطناعي التوليدي التي تنشئ صورًا من مطالبات نصية على مجموعات بيانات كبيرة من الصور المقترنة بأوصاف نصية. ويتيح لها ذلك تعلم العلاقات بين اللغة والمفاهيم المرئية مثل الكائنات والأنسجة والعلاقات المكانية.

لا تفسر هذه النماذج البيانات المرئية بالطريقة نفسها التي تتبعها أنظمة رؤية الحاسوب التقليدية، مثل التعرف على الكائنات في الصور الواقعية. بل تستخدم فهمها المكتسب لهذه المفاهيم لإنشاء صور مرئية جديدة استنادًا إلى المطالبات. ومن خلال الجمع بين هذه المعرفة والمطالبات المصاغة جيدًا، يستطيع الذكاء الاصطناعي التوليدي إنتاج صور واقعية ومفصلة تطابق مدخلات المستخدم.

الإجابة عن الأسئلة (QA)#

صُممت أنظمة الإجابة عن الأسئلة لفهم الأسئلة المطروحة باللغة الطبيعية وتقديم إجابات دقيقة وذات صلة. وتستخدم تقنيات مثل استرجاع المعلومات والفهم الدلالي والتعلم العميق لتفسير الاستفسارات والرد عليها.

يمكن للنماذج المتقدمة مثل GPT-4o من OpenAI التعامل مع الإجابة المرئية عن الأسئلة (VQA)، أي إنها تستطيع تحليل الصور والإجابة عن الأسئلة المتعلقة بها. ومع ذلك، لا ينفذ GPT-4o مهام رؤية الحاسوب مباشرةً. بل يستخدم مُرمِّزًا متخصصًا للصور لمعالجة الصور واستخراج السمات منها، ثم يدمجها مع فهمه اللغوي لتقديم الإجابات.

الشكل 5. قدرة ChatGPT على الإجابة المرئية عن الأسئلة. الصورة من إعداد المؤلف.

يمكن لأنظمة أخرى أن تتقدم خطوة إضافية من خلال دمج قدرات رؤية الحاسوب بالكامل. إذ تستطيع هذه الأنظمة تحليل الصور أو مقاطع الفيديو مباشرةً لتحديد الكائنات أو المشاهد أو النصوص. وعند دمجها مع معالجة اللغة الطبيعية، يمكنها التعامل مع أسئلة أكثر تعقيدًا حول المحتوى المرئي. فعلى سبيل المثال، يمكنها الإجابة عن سؤال «ما الكائنات الموجودة في هذه الصورة؟» أو «من الموجود في هذا التسجيل؟» من خلال اكتشاف العناصر المرئية وتفسيرها.

التعلم من دون أمثلة (ZSL)#

التعلم من دون أمثلة (ZSL) هو أسلوب في التعلم الآلي يتيح لنماذج الذكاء الاصطناعي التعامل مع مهام جديدة وغير مرئية من دون تدريبها عليها تحديدًا. ويتم ذلك باستخدام معلومات إضافية، مثل الأوصاف أو العلاقات الدلالية، لربط ما يعرفه النموذج بالفعل (الفئات المرئية) بفئات جديدة غير مرئية.

في معالجة اللغة الطبيعية، يساعد ZSL النماذج على فهم الموضوعات التي لم تُدرَّب عليها والتعامل معها، من خلال الاعتماد على العلاقات بين الكلمات والمفاهيم. وبالمثل، في رؤية الحاسوب، يتيح ZSL للنماذج التعرف على الكائنات أو المشاهد التي لم تصادفها من قبل، من خلال ربط السمات المرئية، مثل الأجنحة أو الريش، بمفاهيم معروفة مثل الطيور.

يربط ZSL بين NLP وCV من خلال الجمع بين الفهم اللغوي والتعرف المرئي، مما يجعله مفيدًا بصفة خاصة للمهام التي تتضمن كليهما. فعلى سبيل المثال، في الإجابة المرئية عن الأسئلة، يمكن للنموذج تحليل صورة مع فهم سؤال ذي صلة لتقديم إجابة دقيقة. كما يفيد في مهام مثل وصف الصور.

أهم النقاط المستخلصة#

أدى الجمع بين معالجة اللغة الطبيعية ورؤية الحاسوب إلى ظهور أنظمة ذكاء اصطناعي قادرة على فهم النصوص والصور معًا. ويُستخدم هذا المزيج في العديد من الصناعات، بدءًا من مساعدة السيارات ذاتية القيادة على قراءة إشارات الطريق، وصولًا إلى تحسين التشخيصات الطبية وجعل وسائل التواصل الاجتماعي أكثر أمانًا. ومع تحسن هذه التقنيات، ستواصل جعل الحياة أسهل وفتح فرص جديدة في مجموعة واسعة من المجالات. لمعرفة المزيد، تفضل بزيارة مستودع GitHub الخاص بنا، وتفاعل مع مجتمعنا. واستكشف تطبيقات الذكاء الاصطناعي في السيارات ذاتية القيادة والزراعة عبر صفحات حلولنا. 🚀