الترميز

الترميز هو العملية الأساسية لتحويل دفق من البيانات الأولية - مثل النصوص أو الرموز أو الصور - إلى وحدات أصغر, وحدات منفصلة أصغر تُعرف بالرموز. يعمل هذا التحويل كجسر حاسم في خط أنابيب المعالجة المسبقة للبيانات، حيث يقوم بترجمة المعلومات البشرية غير المهيكلة إلى صيغة رقمية يمكن لأنظمة يمكن لأنظمة الذكاء الاصطناعي (AI) تفسيرها. من خلال تقسيم البيانات المعقدة إلى أجزاء يمكن التحكم فيها، يمكّن الترميز نماذج التعلم الآلي من تحديد الأنماط وتعلم العلاقات الدلالية، وأداء مهام الاستدلال المعقدة. بدون هذه الخطوة الأولية، فإن الشبكات العصبية التي تشغل التكنولوجيا الحديثة غير قادرة على معالجة مجموعات البيانات الضخمة المطلوبة للتدريب.

الترميز مقابل الرمز المميز

في حين أن المصطلحين غالبًا ما يستخدمان بشكل متقارب، إلا أنه من المهم التمييز بين الطريقة والنتيجة.

• الترميز هو الإجراء أو الخوارزمية المطبقة على البيانات. وهو يتضمن قواعد محددة لتقسيم السلاسل أو تجزئة الصور. أدوات مثل spaCy أو أو NLTK لتسهيل هذه العملية للنصوص.
• الرمز المميز هو وحدة الإخراج الناتجة عن العملية. لمزيد من التفاصيل حول طبيعة هذه هذه الوحدات، راجع صفحة مسرد المصطلحات الخاصة بالرمز.

كيف يعمل الترميز في الذكاء الاصطناعي

يختلف تطبيق الترميز اختلافًا كبيرًا اعتمادًا على نوع البيانات التي تتم معالجتها، على الرغم من أن الهدف النهائي من توليد التضمينات - المتجهات للبيانات لا يزال هو نفسه.

ترميز النص في البرمجة اللغوية العصبية

في معالجة اللغة الطبيعية (NLP), تتضمن العملية تقسيم الجمل إلى كلمات أو كلمات فرعية أو أحرف. كانت الطرق القديمة تقسم النص ببساطة حسب المسافات البيضاء، ولكن نماذج اللغات الكبيرة (LLMs) الحديثة تستخدم خوارزميات متقدمة مثل ترميز أزواج البايتات (BPE) من أجل للتعامل مع الكلمات النادرة بكفاءة. هذا يسمح لنماذج مثل GPT-4 بمعالجة المفردات المعقدة دون الحاجة إلى قاموس لا نهائي.

الترميز البصري في الرؤية الحاسوبية

تقليدياً، كانت الرؤية الحاسوبية (CV) تعمل على مصفوفات البكسل. ومع ذلك، فإن ظهور محول الرؤية (ViT) قدم مفهوم مفهوم تقسيم الصورة إلى رقع ذات حجم ثابت (على سبيل المثال، 16 × 16 بكسل). يتم تسطيح هذه الرقع ومعالجتها على أنها رموز بصرية، مما يسمح للنموذج باستخدام الانتباه الذاتي لتقييم أهمية مناطق الصورة المختلفة مناطق الصورة المختلفة، على غرار كيفية معالجة الجملة.

تطبيقات واقعية

الترميز ليس مجرد مفهوم نظري؛ فهو يدعم العديد من تطبيقات الذكاء الاصطناعي المستخدمة يومياً.

1. الكشف متعدد الوسائط: نماذج متقدمة مثل YOLO تسد الفجوة بين النص والرؤية. من خلال ترميز مدخلات المستخدم (على سبيل المثال، "سيارة حمراء") ومطابقتها مع الميزات المرئية، تقوم هذه النماذج اكتشاف الكائنات ذات المفردات المفتوحة دون الحاجة إلى إلى إعادة تدريبها صراحةً على فئات جديدة.
2. الترجمة اللغوية: خدمات مثل ترجمةGoogle تعتمد على تقسيم النص المُدخل إلى رموز، وترجمتها عبر نموذج نموذج تسلسل إلى تسلسل، و وإعادة تجميع رموز المخرجات إلى اللغة الهدف.
3. الفن التوليدي: النماذج القادرة على تحويل النص إلى صورة، مثل الانتشار المستقر، تقوم بتحويل الرموز النصية إلى رموز لتوجيه عملية إزالة الضوضاء، وإنشاء صور تتوافق مع المعنى الدلالي للرموز المدخلة.

مثال على ذلك: الترميز في YOLO

يوضح المثال التالي كيف ultralytics يستخدم الترميز الضمني داخل نموذج YOLO سير العمل. إن .set_classes() ترميز قائمة النصوص لتوجيه تركيز اكتشاف النموذج ديناميكيًا.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model
model = YOLO("yolov8s-world.pt")

# Define custom classes; the model tokenizes these strings to search for specific objects
model.set_classes(["backpack", "person"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

الأهمية في أداء النموذج

يؤثر اختيار استراتيجية الترميز بشكل مباشر على الدقة والكفاءة الحسابية. يمكن أن يؤدي الترميز الترميز غير الفعال يمكن أن يؤدي إلى أخطاء "خارج المفردات" في معالجة اللغات الطبيعية أو فقدان التفاصيل الدقيقة في تجزئة الصور. أطر مثل PyTorch و TensorFlow أدوات مرنة مرنة لتحسين هذه الخطوة. مع تطوّر البنى - مثل أحدث YOLO11-تضمن المعالجة الفعالة للبيانات إمكانية تشغيل النماذج الاستدلال في الوقت الحقيقي على أجهزة متنوعة، من وحدات معالجة الرسومات السحابية القوية إلى الأجهزة المتطورة.