Tokenization

التجزئة إلى رموز هي عملية خوارزمية لتقسيم تدفق من البيانات الخام—مثل النصوص أو الصور أو الصوت—إلى وحدات أصغر يمكن إدارتها تُسمى الرموز. ويعمل هذا التحويل كحلقة وصل أساسية في مسار المعالجة المسبقة للبيانات، إذ يحوّل الإدخال غير المنظم إلى صيغة رقمية تستطيع أن تفسرها أنظمة الذكاء الاصطناعي (AI). لا تستطيع أجهزة الكمبيوتر فهم اللغة البشرية أو المشاهد المرئية فطريًا؛ فهي تحتاج إلى تمثيلات رقمية لإجراء الحسابات. ومن خلال تقسيم البيانات إلى رموز، يتيح المهندسون لـالشبكات العصبية ربط هذه الوحدات بـالتضمينات—وهي تمثيلات متجهية تلتقط المعنى الدلالي. ومن دون هذه الخطوة الأساسية، لن تتمكن نماذج التعلم الآلي من تحديد الأنماط أو تعلم السياق أو معالجة مجموعات البيانات الضخمة اللازمة للتدريب الحديث.

التجزئة إلى رموز مقابل الرمز#

على الرغم من أن المصطلحين يُذكران غالبًا معًا في مناقشات التعلم العميق، فمن المفيد التمييز بين الطريقة والنتيجة لفهم سير العمل.

• التجزئة إلى رموز هي العملية (الفعل). وتشير إلى مجموعة القواعد أو الخوارزميات المحددة المستخدمة لتقسيم البيانات. وبالنسبة إلى النصوص، قد يتضمن ذلك استخدام مكتبات مثل NLTK أو spaCy لتحديد موضع انتهاء وحدة وبدء أخرى.
• الرمز هو الناتج (الاسم). وهو الوحدة الفردية التي تنتجها العملية، مثل كلمة واحدة أو كلمة فرعية أو محرف أو رقعة من وحدات البكسل.

الأساليب عبر المجالات المختلفة#

تختلف استراتيجية التجزئة إلى رموز اختلافًا كبيرًا تبعًا لنمط البيانات، مما يؤثر في كيفية إدراك النموذج الأساسي للعالم.

تجزئة النصوص إلى رموز في NLP#

في معالجة اللغة الطبيعية (NLP)، يتمثل الهدف في تقسيم النص مع الحفاظ على المعنى. اعتمدت الأساليب المبكرة على تقنيات بسيطة، مثل فصل الكلمات باستخدام المسافات أو إزالة الكلمات المستبعدة. إلا أن النماذج اللغوية الكبيرة (LLMs) الحديثة تستخدم خوارزميات أكثر تطورًا للكلمات الفرعية، مثل ترميز أزواج البايتات (BPE) أو WordPiece. وتدمج هذه الخوارزميات تكراريًا أزواج المحارف الأكثر تكرارًا، مما يتيح للنموذج التعامل مع الكلمات النادرة بتقسيمها إلى مكونات فرعية مألوفة (مثل تحول "smartphones" إلى "smart" + "phones"). ويوازن هذا النهج بين حجم المفردات والقدرة على تمثيل اللغة المعقدة.

التجزئة المرئية إلى رموز في الرؤية الحاسوبية#

تقليديًا، كانت نماذج الرؤية الحاسوبية (CV) مثل CNNs تعالج وحدات البكسل باستخدام نوافذ منزلقة. وقد أدى ظهور المحوّل المرئي (ViT) إلى تغيير هذا النهج من خلال تطبيق التجزئة إلى رموز على الصور. تُقسّم الصورة إلى رقع ذات حجم ثابت (مثل 16x16 بكسل)، ثم تُسطّح وتُسقط خطيًا. وتتيح هذه "الرموز المرئية" للنموذج استخدام آليات الانتباه الذاتي لتعلم العلاقات الشاملة عبر الصورة، على نحو مشابه لمعالجة Transformer لجملة.

التطبيقات الواقعية#

التجزئة إلى رموز هي المحرك الخفي وراء العديد من تطبيقات الذكاء الاصطناعي المستخدمة في بيئات الإنتاج اليوم.

1. اكتشاف الكائنات ذات المفردات المفتوحة: تستخدم البنى المتقدمة مثل YOLO-World نهج النموذج متعدد الوسائط. عندما يُدخل المستخدم مطالبة مثل "person wearing a red hat"، يقسم النظام هذا النص إلى رموز ويربطه بفضاء السمات نفسه الذي تنتمي إليه البيانات المرئية. ويتيح ذلك التعلم صفري اللقطات، مما يسمح للنموذج باكتشاف كائنات لم يُدرَّب عليها صراحةً، وذلك من خلال مطابقة الرموز النصية بالسمات المرئية.

2. الفن والتصميم التوليدي: في توليد النص إلى الصورة، تُجزّأ مطالبات المستخدم إلى رموز لتوجيه عملية الانتشار. ويستخدم النموذج هذه الرموز لتهيئة التوليد، مما يضمن توافق الصورة الناتجة مع المفاهيم الدلالية (مثل "sunset" و"beach") المستخرجة أثناء مرحلة التجزئة إلى رموز.

مثال باستخدام Python: الاكتشاف القائم على الرموز#

يوضح المثال التالي كيفية استخدام الحزمة ultralytics لتجزئة النصوص إلى رموز ضمنيًا في سير عمل YOLO-World. ومن خلال تحديد فئات مخصصة، يجزّئ النموذج هذه السلاسل النصية إلى رموز للبحث ديناميكيًا عن كائنات محددة.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

التأثير في أداء النموذج#

يؤثر اختيار استراتيجية التجزئة إلى رموز مباشرةً في الدقة والكفاءة الحاسوبية. وقد تؤدي التجزئة غير الفعالة إلى أخطاء "خارج المفردات" في NLP أو إلى فقدان التفاصيل الدقيقة في تحليل الصور. وتوفر أطر العمل مثل PyTorch وTensorFlow أدوات مرنة لتحسين هذه الخطوة. ومع تطور البنى—مثل YOLO26 المتطور وفق أحدث التقنيات—تضمن معالجة البيانات بكفاءة قدرة النماذج على تنفيذ الاستدلال في الوقت الفعلي على أجهزة متنوعة، بدءًا من وحدات GPU السحابية القوية ووصولًا إلى الأجهزة الطرفية. وغالبًا ما تعتمد الفرق التي تدير مسارات عمل البيانات المعقدة هذه على منصة Ultralytics لتبسيط وسم مجموعات البيانات وتدريب النماذج والنشر.