Token

في الهندسة المعقدة لـ الذكاء الاصطناعي الحديث، يمثل الرمز (token) وحدة المعلومات الأساسية والذرية التي يعالجها النموذج. قبل أن يتمكن أي خوارزمية من تفسير جملة، أو تحليل برنامج نصي، أو التعرف على كائنات في صورة، يجب تقسيم بيانات الإدخال الخام إلى هذه العناصر المنفصلة والموحدة. يُعد هذا التقسيم خطوة محورية في معالجة البيانات، حيث يحول المدخلات غير المنظمة إلى تنسيق عددي يمكن لـ الشبكات العصبية حسابه بكفاءة. وفي حين يدرك البشر اللغة كتدفق مستمر للأفكار أو الصور كمشاهد مرئية متصلة، تتطلب نماذج الحساب هذه لبنات البناء الدقيقة لتنفيذ عمليات مثل التعرف على الأنماط والتحليل الدلالي.

الرمز (Token) مقابل الرميزة (Tokenization)#

لفهم آليات تعلم الآلة، من الضروري التمييز بين وحدة البيانات والعملية المستخدمة لإنشائها. يمنع هذا التمييز حدوث أي ارتباك عند تصميم خطوط أنابيب البيانات وإعداد مواد التدريب على منصة Ultralytics.

• الترميز: هذه هي العملية الخوارزمية (الفعل) المتمثلة في تقسيم البيانات الخام إلى أجزاء. بالنسبة للنص، قد يتضمن ذلك استخدام مكتبات مثل مجموعة أدوات اللغات الطبيعية (NLTK) لتحديد المكان الذي تنتهي فيه وحدة ما ويبدأ فيه أخرى.
• الرمز (Token): هذه هي النتيجة النهائية (الاسم). وهو جزء البيانات الفعلي - مثل كلمة، أو كلمة فرعية، أو رقعة صورة - والذي يتم تعيينه في النهاية إلى متجه عددي يُعرف باسم التضمين (Embedding).

الرموز في مجالات الذكاء الاصطناعي المختلفة#

تختلف طبيعة الرمز بشكل كبير اعتمادًا على نمط البيانات التي تتم معالجتها، خاصة بين المجالات النصية والبصرية.

رموز النص في معالجة اللغات الطبيعية#

في مجال معالجة اللغات الطبيعية (NLP)، تُعد الرموز مدخلات لـ نماذج اللغة الكبيرة (LLMs). كانت النهج المبكرة تعتمد حصريًا على الكلمات الكاملة، ولكن الهندسة المعمارية الحديثة تستخدم خوارزميات الكلمات الفرعية مثل ترميز أزواج البايت (BPE). تتيح هذه الطريقة للنماذج التعامل مع الكلمات النادرة عن طريق تقسيمها إلى مقاطع لفظية ذات معنى، مما يحقق التوازن بين حجم مفردات اللغة والتغطية الدلالية. على سبيل المثال، قد يتم ترميز كلمة "unhappiness" إلى "un" و"happi" و"ness".

الرموز البصرية في الرؤية الحاسوبية#

لقد توسع مفهوم الترميز ليشمل رؤية الحاسوب مع ظهور محول الرؤية (ViT). وعلى عكس شبكات الالتفاف التقليدية التي تعالج وحدات البكسل في نوافذ منزلقة، يقوم المحول بتقسيم الصورة إلى شبكة من الرقع ذات الحجم الثابت (مثل 16x16 بكسل). يتم تسطيح كل رقعة ومعاملتها كرمز مرئي مميز. يتيح هذا النهج للنموذج استخدام آليات الانتباه الذاتي لفهم العلاقة بين الأجزاء البعيدة من الصورة، تمامًا كما قامت بحث Google في الأصل بتطبيق المحولات على النصوص.

تطبيقات العالم الحقيقي#

تعمل الرموز كجسر بين بيانات البشر وذكاء الآلة في تطبيقات لا حصر لها.

1. كشف الكائنات ذو المفردات المفتوحة: تستخدم النماذج المتقدمة مثل YOLO-World نهجًا متعدد الوسائط حيث تتفاعل رموز النص مع الميزات المرئية. يمكن للمستخدم إدخال مطالبات نصية مخصصة (مثل "خوذة زرقاء")، والتي يقوم النموذج بترمزها ومطابقتها مع الكائنات الموجودة في الصورة. يتيح هذا التعلم الصفري (Zero-shot learning)، مما يسمح باكتشاف كائنات لم يتم تدريب النموذج عليها صراحةً.

2. الذكاء الاصطناعي التوليدي: في أنظمة توليد النص مثل روبوتات المحادثة، يعمل الذكاء الاصطناعي عن طريق التنبؤ باحتمالية الرمز التالي في تسلسل ما. ومن خلال تحديد الرمز اللاحق الأكثر ترجيحًا بشكل تكراري، ينشئ النظام جُملاً وفقرات متماسكة، مما يدعم الأدوات التي تتراوح من دعم العملاء الآلي إلى المساعدين الافتراضيين.

مثال بلغة Python: استخدام رموز النص للاكتشاف#

يوضح مقتطف الكود التالي كيف تستخدم حزمة ultralytics رموز النص لتوجيه اكتشاف الكائنات. وفي حين يوصى باستخدام YOLO26 المتطور للاستدلال عالي السرعة وذو الفئات الثابتة، فإن هندسة YOLO-World تتيح للمستخدمين بشكل فريد تحديد الفئات كرموز نصية وقت التشغيل.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

يُعد فهم الرموز أمرًا أساسيًا لتنقل مشهد الذكاء الاصطناعي التوليدي والتحليلات المتقدمة. وسواء أكان ذلك تمكين روبوت محادثة من المحادثة بطلاقة أو مساعدة نظام الرؤية على التمييز بين فئات الكائنات الدقيقة، تظل الرموز هي العملة الأساسية لذكاء الآلة المستخدم من قبل أطر العمل مثل PyTorch وTensorFlow.