الترميز

الترميز هو العملية الأساسية لتقسيم تدفق من البيانات، مثل النص الخام أو الصورة، إلى وحدات أصغر منفصلة تسمى الرموز. هذه هي الخطوة الأولى الحاسمة في مسار معالجة البيانات المسبقة لجميع أنظمة الذكاء الاصطناعي (AI) تقريبًا. من خلال تحويل البيانات غير المنظمة إلى تنسيق موحد، يُمكّن الترميز نماذج التعلم الآلي من تفسير وتحليل وتعلم الأنماط بشكل فعال. بدون هذه الخطوة، لن تتمكن معظم النماذج من معالجة البيانات الواسعة والمتنوعة التي تغذي تطبيقات الذكاء الاصطناعي الحديثة.

الأهمية والتطبيقات الواقعية

الترميز أمر بالغ الأهمية لأن معظم هياكل التعلم العميق تتطلب مدخلات رقمية بدلاً من النصوص أو وحدات البكسل الأولية. من خلال تحويل البيانات إلى رموز منفصلة، يمكننا بعد ذلك تعيين هذه الرموز إلى تمثيلات رقمية، مثل التضمينات. تلتقط هذه المتجهات الرقمية المعنى والعلاقات الدلالية، مما يسمح للنماذج المبنية باستخدام أطر عمل مثل PyTorch أو TensorFlow بالتعلم من البيانات. هذه الخطوة التأسيسية تدعم العديد من تطبيقات الذكاء الاصطناعي:

1. Natural Language Processing (NLP): يعد الترميز أمرًا أساسيًا لجميع مهام البرمجة اللغوية العصبية (NLP) تقريبًا.

   • الترجمة الآلية: تقوم خدمات مثل ترجمة Google بتقسيم جملة الإدخال في اللغة المصدر إلى رموز، ومعالجة هذه الرموز باستخدام نماذج معقدة (غالبًا ما تعتمد على بنية المحول (Transformer))، ثم إنشاء رموز في اللغة الهدف، والتي يتم تجميعها أخيرًا في الجملة المترجمة.
   • تحليل المشاعر: لتحديد ما إذا كانت مراجعة العميل إيجابية أم سلبية، يتم أولاً تقسيم النص إلى رموز. ثم يحلل النموذج هذه الرموز لتصنيف المشاعر العامة. تعرف على المزيد حول تحليل المشاعر. تعتمد تقنيات مثل ضبط المطالبات أيضًا على معالجة تسلسل الرموز. بالنسبة للمطورين، توفر المكتبات مثل spaCy و NLTK أدوات قوية لتقسيم الرموز.

2. الرؤية الحاسوبية (CV): في حين أن المفهوم يرتبط تقليديًا بمعالجة اللغات الطبيعية، إلا أنه يمتد إلى الرؤية الحاسوبية.

   • محولات الرؤية (ViT): في نماذج مثل محولات الرؤية (ViT)، يتم تقسيم الصور إلى بقع ذات حجم ثابت. كما هو موضح في ورقة بحث ViT الأصلية، يتم التعامل مع هذه البقع على أنها 'رموز مرئية' ويتم تسطيحها إلى تسلسلات. يتم بعد ذلك تغذية هذه التسلسلات في شبكة Transformer، والتي تستخدم آليات مثل الانتباه الذاتي لفهم العلاقات بين أجزاء الصورة المختلفة. يتيح ذلك مهام مثل تصنيف الصور و اكتشاف الكائنات.
   • نماذج متعددة الوسائط: نماذج مثل CLIP و YOLO-World تربط الرؤية واللغة من خلال معالجة كل من الرموز النصية والرموز المرئية لأداء مهام مثل اكتشاف الكائنات بدون تدريب مسبق (zero-shot object detection). وبالمثل، فإن نماذج تجزئة الصور المتقدمة مثل نموذج تجزئة أي شيء (SAM) تستخدم أيضًا مفاهيم شبيهة بالرموز.

طرق تجزئة النص الشائعة

توجد استراتيجيات مختلفة لترميز البيانات، ولكل منها مزاياها وعيوبها. يمكن أن يؤثر اختيار الطريقة بشكل كبير على أداء النموذج.

• ترميز يعتمد على الكلمات: تقسم هذه الطريقة النص بناءً على المسافات وعلامات الترقيم. على الرغم من بساطتها وسهولة فهمها، إلا أنها تعاني من مفردات كبيرة وكلمات "خارج المفردات" (كلمات لم تتم رؤيتها أثناء التدريب).
• الترميز المستند إلى الأحرف: تقسم هذه الطريقة النص إلى أحرف فردية. إنه يحل مشكلة المفردات غير الموجودة ولكنه يمكن أن يؤدي إلى تسلسلات طويلة جدًا تفقد المعنى الدلالي عالي المستوى، مما يجعل من الصعب على النماذج تعلم العلاقات بين الكلمات.
• تقطيع الكلمات الفرعية: هذا نهج هجين أصبح المعيار لنماذج البرمجة اللغوية العصبية الحديثة. فهو يكسر الكلمات إلى وحدات فرعية أصغر وذات معنى. تظل الكلمات الشائعة كرموز فردية، بينما يتم تقسيم الكلمات النادرة إلى رموز كلمات فرعية متعددة. تعالج هذه الطريقة الكلمات المعقدة بكفاءة وتتجنب مشكلة المفردات غير المألوفة. تتضمن الخوارزميات الشائعة ترميز أزواج البايت (BPE) و WordPiece، والتي تُستخدم في نماذج مثل BERT و GPT.

الترميز مقابل الرموز المميزة

من المهم التمييز بين 'الترميز' و 'رمز'.

• الترميز (Tokenization): يشير إلى عملية تقسيم البيانات إلى وحدات أصغر. إنها خطوة معالجة مسبقة أساسية لكيفية عمل النماذج اللغوية.
• الرمز المميز (Token): يشير إلى نتيجة عملية الترميز - الوحدة الفردية (كلمة أو كلمة فرعية أو حرف أو رقعة صورة) التي يعالجها النموذج.

يُعد فهم تجزئة النصوص أمرًا أساسيًا لفهم كيفية تفسير نماذج الذكاء الاصطناعي للبيانات المتنوعة والتعلم منها. غالبًا ما تتضمن إدارة مجموعات البيانات ونماذج التدريب منصات مثل Ultralytics HUB، والتي تساعد في تبسيط المعالجة المسبقة للبيانات وسير عمل تدريب النموذج. مع تطور الذكاء الاصطناعي، تستمر طرق تجزئة النصوص في التكيف، وتلعب دورًا رئيسيًا في بناء نماذج أكثر تطوراً للمهام التي تتراوح من إنشاء النصوص إلى الفهم البصري المعقد في مجالات مثل المركبات ذاتية القيادة و تحليل الصور الطبية.