Tokenization

تجزئة النص إلى رموز هي الخطوة التي تحوّل المدخل الخام إلى تسلسل من الرموز، وهي الوحدات المنفصلة التي يقرأها النموذج، وتمنح كل رمز معرّفًا صحيحًا من مفردات ثابتة. يحوّل محلّل النص «توقفت الحافلة.» إلى أربعة معرّفات، ويسترجع النموذج متجه تضمين لكل منها، لذا يحدد محلّل النص ما يعتبره النموذج اللغوي الكبير (LLM) وحدة واحدة. والرموز هي أيضًا وحدات نافذة سياق النموذج، وزمن الاستدلال أثناء توليد النص، وتسعير API. وتمتد الفكرة نفسها إلى ما وراء النص: إذ يحوّل Vision Transformer (ViT) الصورة إلى رقع، بينما تحوّل نماذج الكلام الصوت إلى إطارات قصيرة.

آلية عمل ترميز الوحدات الفرعية#

كانت معالجة اللغة الطبيعية (NLP) المبكرة تقسّم النص عند المسافات وعلامات الترقيم، ما يترك الكلمات النادرة والجديدة خارج المفردات، بينما يجعل الترميز على مستوى الأحرف التسلسلات طويلة جدًا. تستخدم المحوّلات الحديثة مرمّزات للوحدات الفرعية تحتفظ بالكلمات الشائعة كاملةً وتجزّئ الكلمات النادرة إلى أجزاء قابلة لإعادة الاستخدام. تتعلم خوارزمية ترميز أزواج البايتات (BPE)، التي كيّفها Sennrich وآخرون لـالترجمة الآلية عام 2015، مفرداتها من مجموعة تدريب: إذ تبدأ بأحرف أو بايتات مفردة، وتدمج مرارًا الزوج المتجاور الأكثر شيوعًا في رمز جديد حتى تبلغ المفردات الحجم المستهدف. ويعيد ترميز النص الجديد تطبيق عمليات الدمج المتعلّمة بالترتيب.

يبدأ BPE على مستوى البايت، المستخدم منذ GPT-2، بالقيم الـ256 الممكنة للبايت، لذا يمكن ترميز أي سلسلة أو رمز تعبيري أو ملف مصدر من دون رمز مجهول. وتختار خوارزميات أخرى أجزاءها بطرق مختلفة. يدمج WordPiece، المستخدم في BERT، الزوج الذي يزيد احتمال بيانات التدريب بأكبر قدر، بينما تبدأ طريقة Unigram في مكتبة SentencePiece من Google بمفردات مرشحة كبيرة ثم تختزلها، وتعامل المسافة رمزًا عاديًا كي يتعامل مرمّز واحد مع اللغات المكتوبة من دون مسافات. وقد كبرت المفردات بمرور الوقت: يستخدم BERT عدد 30,522 رمزًا، ويستخدم GPT-2 وGPT-3 عدد 50,257، ويستخدم Llama 3 عدد 128,256، بينما يستخدم o200k_base من OpenAI نحو 200,000. تقارن مكتبة tiktoken من OpenAI بين أقدم هذه المفردات وأحدثها:

import tiktoken

# Byte-level BPE vocabularies from GPT-2 (2019) and GPT-4o (2024)
for name in ["gpt2", "o200k_base"]:
    encoding = tiktoken.get_encoding(name)
    print(f"{name}: {encoding.n_vocab:,} tokens in the vocabulary")
    for text in ["Ultralytics YOLO26 detects buses.", "バスが止まった。"]:
        ids = encoding.encode(text)

        # Decode each ID on its own to see where the tokenizer split the text
        pieces = [encoding.decode([i]) for i in ids]
        print(f"  {len(ids)} tokens: {pieces}")

تستهلك مفردات GPT-2 عدد 11 رمزًا في الجملة الإنجليزية، إذ تقسّم "Ultralytics" إلى Ult وral وy وtics، بينما يحتاج o200k_base إلى 9 رموز. أما في الجملة اليابانية "the bus stopped"، فيحتاج GPT-2 إلى 9 رموز ويقسّم الحرف 止 إلى رمزين على مستوى البايت، يُفك ترميز كل منهما منفردًا إلى رمز الاستبدال �، بينما يحتاج o200k_base إلى 7 رموز.

ترميز الرموز والمصطلحات ذات الصلة#

• الرمز: الوحدة الناتجة عن الترميز، مثل كلمة أو وحدة فرعية أو بايت أو رقعة صورة أو إطار صوتي.
• التضمينات: المتجهات المتعلّمة التي يبحث عنها النموذج لكل معرّف رمز، وتُدرّب مع بقية الشبكة باستخدام مفردات ثبّتها المرمّز مسبقًا.
• تجزئة الكلمات في معالجة اللغة الطبيعية التقليدية: تقسّم مكتبات مثل spaCy وNLTK النص إلى كلمات وعلامات ترقيم للتحليل والوسم، وغالبًا ما يتبع ذلك اشتقاق الجذور أو إرجاع الكلمات إلى صيغها المعجمية للتحليل اللغوي.
• الترميز إلى رموز في أمن البيانات: في المدفوعات وحماية البيانات، يستبدل الترميز إلى رموز قيمة حساسة، مثل رقم البطاقة، بقيمة بديلة عشوائية تُخزَّن في خزنة محمية.

أهمية أعداد الرموز#

في النصوص الإنجليزية، يبلغ متوسط طول الرمز في مُرمِّزات OpenAI نحو أربعة أحرف، لكن اللغات الأخرى والشفرة البرمجية قد تتطلب رموزًا أكثر بكثير. وجد Petrov et al. (2023) أن النص نفسه قد يختلف طوله بعد تحويله إلى رموز بما يصل إلى 15 ضعفًا عند ترجمته إلى لغات مختلفة، ما يرفع تكاليف API ويقلص السياق المتاح لتلك اللغات. كما تؤثر حدود الرموز في ما يستطيع النموذج رؤيته. فإذا قرأ نموذج لغوي كبير "strawberry" على هيئة بضعة رموز متعددة الأحرف، فلن يرى حروفها مباشرةً، ويقسّم o200k_base العدد "3.14159" إلى 3 و. و141 و59، ما يصعّب إجراء العمليات الحسابية على مستوى الأرقام. وتتجنب التصاميم الخالية من المُرمِّزات، مثل Byte Latent Transformer من Meta، المفردات الثابتة عبر تجميع البايتات الخام في رقع يعتمد حجمها على مدى إمكانية توقع البايت التالي.

تحويل الصور والصوت والفيديو إلى رموز#

يقسّم ViT الصورة إلى رقع ثابتة الحجم؛ لذا تتحول صورة بأبعاد 224×224 إلى 196 رمز رقعة عند استخدام رقع بحجم 16×16 بكسل، وتُسطَّح كل رقعة وتُسقط خطيًا إلى تضمين قبل الانتباه الذاتي. تمرر النماذج البصرية اللغوية (VLMs) تضمينات الرقع إلى نموذج لغوي كبير إلى جانب رموز النص، لذا تعني دقة الصورة الأعلى مزيدًا من الرموز لكل طلب. وغالبًا ما تستخدم مولدات الصور بدلًا من ذلك رموزًا بصرية متقطعة: إذ يستبدل دفتر شيفرات التكميم المتجهي كل رقعة بمعرّف أقرب متجه شيفرة إليها، ما يتيح لـالنماذج البصرية ذاتية الانحدار توليد الصور رمزًا تلو الآخر مثل النص، بينما يقلل دمج الرموز عددها في تسلسلات الصور والفيديو الطويلة بدمج الرموز المتشابهة.

تحوّل نماذج الرؤية النصوص إلى رموز أيضًا. عندما يتلقى YOLOE-26 أسماء الفئات عبر set_classes، تمرر Ultralytics كل اسم عبر مُرمِّز BPE على مستوى البايتات الخاص بـCLIP، مع الحشو أو الاقتطاع إلى 77 رمزًا، ثم يحول مُرمِّز النص MobileCLIP2 من Apple الناتج إلى التضمين الذي يقارنه رأس الكشف بمناطق الصورة. في التعرّف على الكلام، يحول Whisper من OpenAI كل نافذة صوتية مدتها 30 ثانية إلى إطارات مخطط طيفي لوغاريتمي من نوع Mel، ويعالجها المُرمِّز كسلسلة من 1,500 موضع.