Token

في البنية المتطورة لـ الذكاء الاصطناعي الحديث، يمثل الرمز (Token) الوحدة الأساسية والذرية للمعلومات التي يعالجها النموذج. وقبل أن يتمكن الخوارزم من تفسير جملة، أو تحليل نص برمجي، أو التعرف على كائنات في صورة ما، يجب تقسيم بيانات الإدخال الخام إلى هذه العناصر المنفصلة والمعيارية. وتعد عملية التجزئة هذه خطوة محورية في معالجة البيانات، حيث تحول المدخلات غير المهيكلة إلى تنسيق رقمي يمكن لـ الشبكات العصبية حسابه بكفاءة. وفي حين يدرك البشر اللغة كسيل متصل من الأفكار أو الصور كمشاهد بصرية متكاملة، تتطلب النماذج الحاسوبية هذه اللبنات الأساسية الدقيقة لتنفيذ عمليات مثل التعرف على الأنماط والتحليل الدلالي.

Link to this sectionالرمز (Token) مقابل الرميزة (Tokenization)#

لإدراك آليات التعلم الآلي، من الضروري التمييز بين وحدة البيانات والعملية المستخدمة لإنشائها. يمنع هذا التمييز حدوث ارتباك عند تصميم خطوط أنابيب البيانات وإعداد مواد التدريب على منصة Ultralytics.

• الرميزة: هي العملية الخوارزمية (الفعل) لتقسيم البيانات الخام إلى أجزاء. بالنسبة للنص، قد يتضمن ذلك استخدام مكتبات مثل Natural Language Toolkit (NLTK) لتحديد أين تنتهي وحدة وأين تبدأ الأخرى.
• الرمز (Token): هو المخرج الناتج (الاسم). وهو قطعة البيانات الفعلية - مثل كلمة، أو جزء من كلمة، أو رقعة من صورة - التي يتم تعيينها في النهاية إلى متجه رقمي يُعرف بـ التضمين.

Link to this sectionالرموز في مجالات الذكاء الاصطناعي المختلفة#

تختلف طبيعة الرمز بشكل كبير اعتمادًا على نمط البيانات التي تتم معالجتها، خاصة بين المجالات النصية والبصرية.

Link to this sectionرموز النص في معالجة اللغات الطبيعية#

في مجال معالجة اللغات الطبيعية (NLP)، تعد الرموز هي المدخلات لـ نماذج اللغات الكبيرة (LLMs). كانت الأساليب المبكرة تعتمد بدقة على الكلمات الكاملة، لكن البنى الحديثة تستخدم خوارزميات أجزاء الكلمات مثل ترميز أزواج البايت (BPE). تسمح هذه الطريقة للنماذج بالتعامل مع الكلمات النادرة عن طريق تقسيمها إلى مقاطع ذات معنى، مما يوازن بين حجم المفردات والتغطية الدلالية. على سبيل المثال، قد يتم تقسيم كلمة "unhappiness" إلى "un" و"happi" و"ness".

Link to this sectionالرموز البصرية في الرؤية الحاسوبية#

توسع مفهوم الرميزة ليشمل الرؤية الحاسوبية مع ظهور محول الرؤية (ViT). وخلافاً للشبكات التلافيفية التقليدية التي تعالج البكسلات في نوافذ منزلقة، تقوم المحولات (Transformers) بتقسيم الصورة إلى شبكة من الرقع ذات الحجم الثابت (مثلاً 16x16 بكسل). يتم تسطيح كل رقعة ومعاملتها كرمز بصري متميز. يمكّن هذا النهج النموذج من استخدام آليات الانتباه الذاتي لفهم العلاقة بين الأجزاء المتباعدة من الصورة، بشكل مشابه لكيفية تطبيق Google Research للمحولات على النص في الأصل.

Link to this sectionتطبيقات العالم الحقيقي#

تعمل الرموز كجسر بين بيانات البشر وذكاء الآلة في تطبيقات لا حصر لها.

1. اكتشاف الكائنات بالمفردات المفتوحة: تستخدم النماذج المتقدمة مثل YOLO-World نهجاً متعدد الوسائط حيث تتفاعل رموز النص مع السمات البصرية. يمكن للمستخدم إدخال مطالبات نصية مخصصة (مثلاً "خوذة زرقاء")، والتي يقوم النموذج بتحويلها إلى رموز ومطابقتها مع الكائنات الموجودة في الصورة. يتيح هذا التعلم بدون أمثلة (zero-shot learning)، مما يسمح باكتشاف كائنات لم يتم تدريب النموذج عليها بشكل صريح.

2. الذكاء الاصطناعي التوليدي: في أنظمة توليد النصوص مثل روبوتات الدردشة، يعمل الذكاء الاصطناعي عن طريق التنبؤ باحتمالية الرمز التالي في تسلسل ما. ومن خلال اختيار الرمز اللاحق الأكثر احتمالاً بشكل متكرر، يبني النظام جملاً وفقرات متماسكة، مما يدعم أدوات تتراوح من دعم العملاء الآلي إلى المساعدين الافتراضيين.

Link to this sectionمثال بلغة Python: استخدام رموز النص للاكتشاف#

يوضح مقتطف الكود التالي كيف تستخدم حزمة ultralytics رموز النص لتوجيه اكتشاف الكائنات. وفي حين يوصى بـ YOLO26 المتطور للاستدلال عالي السرعة للفئات الثابتة، تسمح بنية YOLO-World للمستخدمين بشكل فريد بتعريف الفئات كرموز نصية أثناء وقت التشغيل.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

يعد فهم الرموز أمراً أساسياً للتنقل في مشهد الذكاء الاصطناعي التوليدي والتحليلات المتقدمة. سواء كان ذلك لتمكين روبوت الدردشة من المحادثة بطلاقة أو مساعدة نظام الرؤية على التمييز بين فئات الكائنات الدقيقة، تظل الرموز هي العملة الأساسية لذكاء الآلة التي تستخدمها أطر عمل مثل PyTorch وTensorFlow.