Token

في البنية المتطورة للـذكاء الاصطناعي الحديث، يمثل الرمز المميز وحدة المعلومات الأساسية والذرية التي يعالجها النموذج. قبل أن تتمكن خوارزمية من تفسير جملة، أو تحليل نص برمجي، أو التعرف على كائنات في صورة، يجب تفكيك بيانات الإدخال الخام إلى هذه العناصر المنفصلة والموحّدة. تُعد هذه التجزئة خطوة محورية في المعالجة المسبقة للبيانات، إذ تحوّل المدخلات غير المنظمة إلى تنسيق رقمي يمكن لـالشبكات العصبية حسابه بكفاءة. وبينما يدرك البشر اللغة كتدفق متواصل من الأفكار أو الصور كمشاهد بصرية متكاملة، تحتاج النماذج الحاسوبية إلى هذه اللبنات الدقيقة لتنفيذ عمليات مثل التعرّف على الأنماط والتحليل الدلالي.

الرمز المميز مقابل التجزئة إلى رموز#

لفهم آليات التعلّم الآلي، من الضروري التمييز بين وحدة البيانات والعملية المستخدمة لإنشائها. ويساعد هذا التمييز على منع الالتباس عند تصميم مسارات البيانات وإعداد مواد التدريب على منصة Ultralytics.

• تجزئة الرموز: هي العملية الخوارزمية (الفعل) لتقسيم البيانات الخام إلى أجزاء. وبالنسبة إلى النصوص، قد تتضمن استخدام مكتبات مثل مجموعة أدوات اللغة الطبيعية (NLTK) لتحديد موضع انتهاء إحدى الوحدات وبدء أخرى.
• الرمز المميز: هو الناتج (الاسم) عن هذه العملية. وهو جزء البيانات الفعلي—مثل كلمة، أو جزء من كلمة، أو رقعة من صورة—الذي يُحوَّل في النهاية إلى متجه رقمي يُعرف باسم التضمين.

الرموز المميزة في مجالات الذكاء الاصطناعي المختلفة#

تختلف طبيعة الرمز المميز اختلافًا كبيرًا تبعًا لنمط البيانات التي تجري معالجتها، ولا سيما بين المجالين النصي والبصري.

الرموز المميزة النصية في معالجة اللغة الطبيعية#

في مجال معالجة اللغة الطبيعية (NLP)، تمثل الرموز المميزة مدخلات نماذج اللغة الكبيرة (LLMs). كانت الأساليب المبكرة تربط المدخلات بالكلمات الكاملة فقط، إلا أن البنى الحديثة تستخدم خوارزميات الأجزاء الفرعية من الكلمات مثل ترميز أزواج البايتات (BPE). وتتيح هذه الطريقة للنماذج التعامل مع الكلمات النادرة عبر تقسيمها إلى مقاطع ذات معنى، محققةً توازنًا بين حجم المفردات والتغطية الدلالية. فعلى سبيل المثال، قد تُجزَّأ الكلمة "unhappiness" إلى الرموز "un" و"happi" و"ness".

الرموز المميزة البصرية في الرؤية الحاسوبية#

امتد مفهوم التجزئة إلى الرؤية الحاسوبية مع ظهور محوّل الرؤية (ViT). وعلى خلاف الشبكات الالتفافية التقليدية التي تعالج وحدات البكسل ضمن نوافذ منزلقة، تقسم المحوّلات الصورة إلى شبكة من الرقع ذات الحجم الثابت (مثل 16x16 بكسل). تُسطَّح كل رقعة وتُعامل بوصفها رمزًا بصريًا مميزًا. ويتيح هذا النهج للنموذج استخدام آليات الانتباه الذاتي لفهم العلاقة بين الأجزاء المتباعدة من الصورة، على نحو مشابه للطريقة التي طبقت بها Google Research المحوّلات على النصوص في الأصل.

التطبيقات الواقعية#

تعمل الرموز المميزة جسرًا بين البيانات البشرية والذكاء الآلي في عدد لا يحصى من التطبيقات.

1. اكتشاف الكائنات ذات المفردات المفتوحة: تستخدم النماذج المتقدمة مثل YOLO-World نهجًا متعدد الوسائط، تتفاعل فيه الرموز النصية مع السمات البصرية. ويمكن للمستخدم إدخال مطالبات نصية مخصصة (مثل "خوذة زرقاء")، ثم يجزّئها النموذج إلى رموز ويطابقها مع الكائنات الموجودة في الصورة. ويتيح ذلك التعلّم من دون أمثلة، مما يسمح باكتشاف كائنات لم يُدرَّب النموذج عليها صراحةً.

2. الذكاء الاصطناعي التوليدي: في أنظمة توليد النصوص مثل روبوتات الدردشة، يعمل الذكاء الاصطناعي من خلال التنبؤ باحتمال الرمز المميز التالي في تسلسل ما. وباختيار الرمز المميز اللاحق الأكثر احتمالًا تكراريًا، ينشئ النظام جملًا وفقرات مترابطة، مما يتيح تشغيل أدوات تتراوح بين دعم العملاء المؤتمت والمساعدين الافتراضيين.

مثال بلغة Python: استخدام الرموز المميزة النصية للاكتشاف#

يوضح مقتطف التعليمات البرمجية التالي كيفية استخدام الحزمة ultralytics للرموز المميزة النصية لتوجيه اكتشاف الكائنات. وبينما يُوصى باستخدام YOLO26، الأحدث للاستدلال عالي السرعة ذي الفئات الثابتة، تتيح بنية YOLO-World للمستخدمين بشكل فريد تعريف الفئات بوصفها رموزًا نصية أثناء التشغيل.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

يُعد فهم الرموز المميزة أمرًا أساسيًا للتعامل مع مجال الذكاء الاصطناعي التوليدي والتحليلات المتقدمة. وسواء أكانت تُمكّن روبوت الدردشة من إجراء محادثات بطلاقة أم تساعد نظام رؤية على التمييز بين فئات دقيقة من الكائنات، تظل الرموز المميزة العملة الأساسية للذكاء الآلي التي تستخدمها أطر عمل مثل PyTorch وTensorFlow.