CLIP (Contrastive Language-Image Pre-training)

CLIP (Contrastive Language-Image Pre-training) هي بنية neural network ثورية تم تطويرها بواسطة OpenAI والتي تسد الفجوة بين البيانات المرئية واللغة الطبيعية. على عكس أنظمة computer vision (CV) التقليدية التي تتطلب data labeling كثيف العمالة لمجموعة ثابتة من الفئات، تتعلم CLIP فهم الصور من خلال التدريب على ملايين ازواج الصور والنصوص التي يتم جمعها من الإنترنت. يتيح هذا النهج للنموذج أداء zero-shot learning، مما يعني أنه يمكنه تحديد الكائنات أو المفاهيم أو الأساليب التي لم يسبق له رؤيتها صراحة أثناء التدريب، ببساطة عن طريق قراءة وصف نصي. من خلال ربط المعلومات المرئية واللغوية في مساحة ميزات مشتركة، تعمل CLIP كنموذج foundation model قوي لمجموعة واسعة من المهام اللاحقة دون الحاجة إلى fine-tuning واسع النطاق خاص بالمهمة.

كيفية عمل البنية#

تتضمن الآلية الأساسية لـ CLIP مشفرين متوازيين: مشفر صور يعتمد عادةً على Vision Transformer (ViT) أو ResNet، وTransformer للنصوص يشبه تلك المستخدمة في نماذج large language models (LLMs) الحديثة. من خلال عملية تُعرف باسم contrastive learning، يتم تدريب النظام على التنبؤ بمقاطع النص التي تتطابق مع أي صورة داخل الدفعة.

أثناء التدريب، يقوم النموذج بتحسين معلماته لتقريب embeddings المتجهة لازواج الصور والنصوص المتطابقة بينما يبعد الأزواج غير المتطابقة. يؤدي هذا إلى إنشاء latent space متعدد الوسائط حيث يقع التمثيل الرياضي لصورة "الكلب المسترد الذهبي" مكانيًا بالقرب من تضمين النص الخاص بـ "صورة لكلب". من خلال حساب cosine similarity بين هذه المتجهات، يمكن للنموذج قياس مدى توافق الصورة مع موجه اللغة الطبيعية، مما يتيح إجراء image classification والاسترجاع بمرونة.

تطبيقات العالم الحقيقي#

إن القدرة على ربط الرؤية واللغة جعلت CLIP تقنية حجر الزاوية في تطبيقات الذكاء الاصطناعي الحديثة:

• Semantic Search الذكي: تتيح CLIP للمستخدمين البحث في قواعد بيانات الصور الكبيرة باستخدام استعلامات natural language processing (NLP) المعقدة. على سبيل المثال، في مجال AI in retail، يمكن للمتسوّق البحث عن "فستان صيفي مزخرف عتيق" واسترداد نتائج دقيقة بصريًا دون أن تحتوي الصور على علامات البيانات الوصفية المحددة تلك. وغالبًا ما يتم تشغيل هذا بواسطة vector databases عالية الأداء.
• التحكم في الذكاء الاصطناعي التوليدي: تعتمد نماذج مثل Stable Diffusion على CLIP لتفسير مطالبات المستخدم وتوجيه عملية التوليد. تعمل CLIP كمُقيم، حيث تقيّم مدى توافق الناتج البصري المولّد مع الوصف النصي، وهو أمر ضروري لتوليف text-to-image عالي الجودة.
• Object Detection مفتوح المفردات: تدمج البنى المتقدمة مثل YOLO-World تضمينات CLIP لاكتشاف الكائنات بناءً على مدخلات نصية تعسفية. يتيح هذا الكشف الديناميكي في مجالات مثل AI in healthcare، حيث يكون تحديد المعدات أو الحالات الشاذة الجديدة ضروريًا دون إعادة التدريب.

استخدام ميزات CLIP مع Ultralytics#

بينما تقتصر كواشف الكائنات القياسية على فئات التدريب الخاصة بها، فإن استخدام الميزات المستندة إلى CLIP يسمح باكتشاف المفردات المفتوحة. يوضح كود Python التالي كيفية استخدام الحزمة ultralytics لاكتشاف الكائنات باستخدام مطالبات نصية مخصصة:

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model utilizing CLIP features
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference on an image to detect the text-defined objects
results = model.predict("travelers.jpg")

# Display the results
results[0].show()

التمييز بين المفاهيم ذات الصلة#

من المفيد التمييز بين CLIP ونماذج الذكاء الاصطناعي الشائعة الأخرى لفهم فائدته المحددة:

• CLIP مقابل Supervised Learning: تتطلب النماذج الخاضعة للإشراف التقليدية تعاريف صارمة وأمثلة مصنفة لكل فئة (مثل "قطة"، "سيارة"). تتعلم CLIP من أزواج النصوص والصور الخام الموجودة على الويب، مما يوفر مرونة أكبر ويزيل الاختناق المتمثل في الشرح اليدوي وغالبًا ما تتم إدارته عبر أدوات مثل Ultralytics Platform.
• CLIP مقابل YOLO26: بينما توفر CLIP فهمًا عامًا للمفردات، فإن YOLO26 هو كاشف كائنات متخصص في الوقت الفعلي ومُحسّن للسرعة والتوطين الدقيق. غالبًا ما يُستخدم CLIP كأداة استخراج ميزات أو مصنف بدون تدريب مسبق، بينما YOLO26 هو المحرك لـ real-time inference عالي السرعة في بيئات الإنتاج.
• CLIP مقابل التعلم التبايني القياسي: تقارن طرق مثل SimCLR بشكل عام عرضين معززين لنفس الصورة لتعلم الميزات. تقوم CLIP بمقارنة صورة بوصف نصي، مما يربط بين نوعين مختلفين من البيانات بدلاً من نوع واحد فقط.