Tokenization

Tokenization là bước chuyển đầu vào thô thành chuỗi token, tức các đơn vị rời rạc mà model đọc được; mỗi token được gán một ID số nguyên từ bộ từ vựng cố định. Tokenizer văn bản chuyển câu "The bus stopped." thành bốn ID, rồi model tra cứu vector embedding cho từng ID, vì vậy tokenizer quyết định đơn vị mà mô hình ngôn ngữ lớn (LLM) xử lý. Token cũng là đơn vị của cửa sổ ngữ cảnh của model, độ trễ suy luận trong quá trình sinh văn bản và mức giá API. Khái niệm tương tự cũng áp dụng ngoài văn bản: Vision Transformer (ViT) chia ảnh thành các patch để token hóa, còn model giọng nói token hóa âm thanh thành các khung ngắn.

Cách tokenization tiểu từ hoạt động#

Các phương pháp xử lý ngôn ngữ tự nhiên (NLP) đời đầu tách văn bản theo dấu cách và dấu câu, khiến từ hiếm và từ mới nằm ngoài bộ từ vựng; tokenization ở cấp ký tự lại tạo ra chuỗi rất dài. Các Transformer hiện đại sử dụng tokenizer tiểu từ, giữ nguyên các từ phổ biến và chia từ hiếm thành những thành phần có thể tái sử dụng. Mã hóa cặp byte (BPE), được Sennrich và cộng sự điều chỉnh cho dịch máy năm 2015, học bộ từ vựng từ tập ngữ liệu huấn luyện: thuật toán bắt đầu từ ký tự hoặc byte đơn rồi liên tục ghép cặp liền kề xuất hiện thường xuyên nhất thành token mới cho đến khi bộ từ vựng đạt kích thước mục tiêu. Khi mã hóa văn bản mới, thuật toán lần lượt áp dụng lại các phép ghép đã học.

BPE ở cấp byte, được sử dụng từ GPT-2, bắt đầu với 256 giá trị byte có thể có, nhờ đó mã hóa được mọi chuỗi, emoji hoặc tệp mã nguồn mà không cần token chưa biết. Các thuật toán khác chọn thành phần theo cách khác. WordPiece, được dùng bởi BERT, ghép cặp giúp tăng likelihood của dữ liệu huấn luyện nhiều nhất; phương pháp Unigram trong thư viện SentencePiece của Google bắt đầu từ bộ từ vựng ứng viên lớn rồi cắt tỉa, đồng thời coi dấu cách như một ký hiệu thông thường để một tokenizer có thể xử lý ngôn ngữ không dùng dấu cách. Kích thước bộ từ vựng tăng theo thời gian: BERT dùng 30,522 token, GPT-2 và GPT-3 dùng 50,257, Llama 3 dùng 128,256, còn o200k_base của OpenAI dùng khoảng 200,000. Thư viện tiktoken của OpenAI so sánh bộ từ vựng cũ nhất và mới nhất trong số này:

import tiktoken

# Byte-level BPE vocabularies from GPT-2 (2019) and GPT-4o (2024)
for name in ["gpt2", "o200k_base"]:
    encoding = tiktoken.get_encoding(name)
    print(f"{name}: {encoding.n_vocab:,} tokens in the vocabulary")
    for text in ["Ultralytics YOLO26 detects buses.", "バスが止まった。"]:
        ids = encoding.encode(text)

        # Decode each ID on its own to see where the tokenizer split the text
        pieces = [encoding.decode([i]) for i in ids]
        print(f"  {len(ids)} tokens: {pieces}")

Bộ từ vựng của GPT-2 cần 11 token cho câu tiếng Anh, tách "Ultralytics" thành Ult, ral, y và tics, trong khi o200k_base chỉ cần 9 token. Với câu tiếng Nhật "the bus stopped," GPT-2 cần 9 token và tách ký tự 止 thành hai token cấp byte; khi giải mã riêng, mỗi token đều thành ký tự thay thế �, trong khi o200k_base chỉ cần 7 token.

Tokenization và các thuật ngữ liên quan#

• Token: Đơn vị được tạo ra qua tokenization, chẳng hạn như từ, tiểu từ, byte, patch ảnh hoặc khung âm thanh.
• Embedding: Các vector đã học mà model tra cứu cho mỗi ID token; chúng được huấn luyện cùng phần còn lại của mạng dựa trên bộ từ vựng do tokenizer xác định từ trước.
• Tách từ trong NLP cổ điển: Các thư viện như spaCy và NLTK tách văn bản thành từ và dấu câu để phân tích cú pháp và gán nhãn; quá trình này thường được tiếp nối bằng stemming hoặc lemmatization để phân tích ngôn ngữ.
• Token hóa trong bảo mật dữ liệu: Trong thanh toán và bảo vệ dữ liệu, token hóa thay thế một giá trị nhạy cảm, chẳng hạn như số thẻ, bằng một giá trị đại diện ngẫu nhiên được lưu trong kho bảo mật.

Vì sao số lượng token quan trọng#

Với văn bản tiếng Anh, tokenizer của OpenAI trung bình xử lý khoảng bốn ký tự mỗi token, nhưng các ngôn ngữ khác và mã có thể cần nhiều token hơn đáng kể. Petrov và cộng sự (2023) phát hiện rằng cùng một văn bản khi được dịch sang các ngôn ngữ khác nhau có thể chênh lệch độ dài sau token hóa tới 15 lần, làm tăng chi phí API và thu hẹp ngữ cảnh khả dụng cho những ngôn ngữ đó. Ranh giới token cũng định hình những gì model có thể nhìn thấy. Một LLM đọc "strawberry" thành một vài token gồm nhiều chữ cái sẽ không trực tiếp nhìn thấy các chữ cái riêng lẻ; còn o200k_base tách "3.14159" thành 3, ., 141 và 59, khiến phép tính ở cấp chữ số trở nên khó hơn. Các thiết kế không dùng tokenizer cố định như Byte Latent Transformer của Meta tránh từ vựng cố định bằng cách nhóm byte thô thành các mảng có kích thước tùy thuộc vào mức độ dự đoán được của byte tiếp theo.

Token hóa hình ảnh, âm thanh và video#

ViT chia hình ảnh thành các patch có kích thước cố định, vì vậy ảnh 224×224 với các patch 16×16 pixel sẽ tạo thành 196 token patch; mỗi token được làm phẳng và chiếu tuyến tính thành embedding trước khi đưa vào self-attention. Model ngôn ngữ-thị giác (VLM) đưa embedding của các patch vào LLM cùng với token văn bản, nên độ phân giải hình ảnh càng cao thì mỗi request càng có nhiều token. Thay vào đó, trình tạo ảnh thường dùng token thị giác rời rạc: codebook lượng tử hóa vector thay mỗi patch bằng ID của vector mã gần nhất, cho phép model tự hồi quy thị giác tạo ảnh từng token giống như văn bản; còn gộp token giảm số lượng token trong các chuỗi hình ảnh và video dài bằng cách kết hợp những token tương tự.

Model thị giác cũng token hóa văn bản. Khi YOLOE-26 nhận tên lớp thông qua set_classes, Ultralytics đưa từng tên qua tokenizer BPE cấp byte của CLIP, đệm hoặc cắt xuống 77 token; sau đó bộ mã hóa văn bản MobileCLIP2 của Apple chuyển kết quả thành embedding để head phát hiện đối chiếu với các vùng ảnh. Trong nhận dạng giọng nói, Whisper của OpenAI chuyển từng cửa sổ âm thanh 30 giây thành các khung phổ Mel-log, rồi bộ mã hóa xử lý chúng thành chuỗi gồm 1.500 vị trí.