رمز

في الذكاء الاصطناعي، الرمز المميز هو الوحدة الأساسية المنفصلة للبيانات التي يعالجها النموذج. قبل أن يتمكن نموذج الذكاء الاصطناعي من تحليل نص أو صورة، يجب تقسيم البيانات الأولية إلى هذه الأجزاء التي يمكن التحكم فيها. بالنسبة إلى نموذج لغوي، يمكن أن يكون الرمز المميز كلمة أو جزءًا من كلمة (كلمة فرعية) أو حرفًا واحدًا. بالنسبة إلى نموذج الرؤية الحاسوبية (CV)، يمكن أن يكون الرمز المميز عبارة عن رقعة صغيرة ذات حجم ثابت من الصورة. تعتبر عملية تقسيم البيانات هذه خطوة أولى حاسمة في مسار المعالجة المسبقة للبيانات، لأنها تحول البيانات المعقدة غير المنظمة إلى تنسيق منظم يمكن أن تفهمه الشبكات العصبية.

الرمز مقابل الترميز

من الضروري التمييز بين 'رمز' و 'الترميز'.

• الرمز المميز (Token): الوحدة الفردية الناتجة عن عملية التقسيم. إنها الجزء الفعلي من البيانات - مثل الكلمة "learn" أو رقعة صورة بحجم 16 × 16 بكسل - التي يتم إدخالها في النموذج.
• الترميز (Tokenization): طريقة أو عملية إجراء هذا التقسيم. إنه إجراء لتحويل سلسلة من النصوص أو صورة إلى سلسلة من الرموز.

باختصار، الترميز هو الفعل، والرمز المميز هو نتيجة هذا الإجراء.

أنواع الرموز وأهميتها

الرموز هي اللبنات الأساسية لكيفية إدراك نماذج الذكاء الاصطناعي للبيانات وتفسيرها. بمجرد ترميز البيانات، يتم عادةً تعيين كل رمز لتمثيل متجه رقمي يسمى تضمين. تلتقط هذه التضمينات المعنى والسياق الدلالي، مما يسمح للنماذج المبنية باستخدام أطر عمل مثل PyTorch أو TensorFlow بتعلم الأنماط المعقدة.

• كلمات ورموز الكلمات الفرعية: في معالجة اللغة الطبيعية (NLP)، يمكن أن يؤدي استخدام الكلمات بأكملها كرموز إلى مفردات هائلة ومشاكل مع الكلمات غير المعروفة. يعد ترميز الكلمات الفرعية، باستخدام خوارزميات مثل Byte Pair Encoding (BPE) (ترميز أزواج البايت) أو WordPiece، حلاً شائعًا. فهو يكسر الكلمات النادرة إلى أجزاء أصغر ذات معنى. على سبيل المثال، قد تصبح الكلمة "tokenization" رمزين: "token" و "##ization". يساعد هذا النهج، الذي تستخدمه نماذج مثل BERT و GPT-4، النموذج على التعامل مع المفردات المعقدة والهياكل النحوية. يمكنك استكشاف التطبيقات الحديثة في مكتبات مثل Hugging Face Tokenizers.

• الرموز المرئية: يمتد مفهوم الرموز المميزة إلى ما هو أبعد من النص ليشمل رؤية الحاسوب. في نماذج مثل محول الرؤية (ViT)، يتم تقسيم الصورة إلى شبكة من الرقع (مثل 16 × 16 بكسل). يتم تسطيح كل رقعة ومعاملتها على أنها "رمز مرئي". يتيح ذلك لبنى Transformer القوية، التي تتفوق في معالجة التسلسلات باستخدام الانتباه الذاتي، أداء مهام مثل تصنيف الصور و اكتشاف الكائنات. هذا النهج القائم على الرموز المميزة هو أيضًا أساسي لـ النماذج متعددة الوسائط التي تفهم كلاً من الصور والنصوص، مثل CLIP.

تطبيقات واقعية

يعد استخدام الرموز أمرًا أساسيًا للعديد من أنظمة الذكاء الاصطناعي، من التطبيقات البسيطة إلى النماذج المعقدة والحديثة.

1. الترجمة الآلية: تعتمد خدمات مثل Google Translate بشكل كبير على الرموز المميزة. عندما تدخل جملة، يتم تقسيمها أولاً إلى سلسلة من الرموز النصية. يقوم نموذج تسلسل إلى تسلسل متطور بمعالجة هذه الرموز، وفهم معناها الجماعي، وإنشاء تسلسل جديد من الرموز في اللغة الهدف. يتم بعد ذلك تجميع هذه الرموز الناتجة مرة أخرى في جملة مترجمة متماسكة. تتيح هذه العملية الترجمة في الوقت الفعلي عبر عشرات اللغات.

2. المركبات ذاتية القيادة: في مجال المركبات ذاتية القيادة، يجب على النماذج تفسير المشاهد المرئية المعقدة في الوقت الفعلي. يعالج نموذج مثل Ultralytics YOLO11 بيانات الكاميرا لتنفيذ مهام مثل تتبع الأجسام و تجزئة المثيلات. في حين أن النماذج الكلاسيكية القائمة على الشبكات العصبونية الالتفافية (CNN) مثل YOLO لا تستخدم "رموزًا" بشكل صريح بنفس طريقة المحولات (Transformers)، فإن متغيرات رؤية المحولات المصممة للكشف تفعل ذلك. إنها تقسم المدخلات المرئية إلى رموز (رقع) لتحديد وتحديد مواقع المشاة والمركبات الأخرى وإشارات المرور بدقة عالية. هذا الفهم الرمزي للبيئة أمر بالغ الأهمية للملاحة الآمنة. يمكن تبسيط إدارة سير العمل بأكمله، من جمع البيانات إلى نشر النموذج، باستخدام منصات مثل Ultralytics HUB.