Token

Token là đơn vị cơ bản của dữ liệu đầu vào và đầu ra mà model AI xử lý: một từ, một phần của từ, một ký tự hoặc một byte trong văn bản, hoặc một vùng gồm các pixel trong ảnh. Trước khi một Transformer có thể đọc một câu hoặc một hình ảnh, tokenizer phân tách đầu vào thành các token và ánh xạ từng token thành một ID số nguyên, rồi model tra cứu vector embedding cho mỗi ID. Số lượng token xác định cả lượng dữ liệu model có thể xử lý lẫn chi phí: cửa sổ ngữ cảnh được đo bằng token, các mô hình ngôn ngữ lớn (LLMs) tạo văn bản từng token một, và các API thương mại tính phí theo từng token đầu vào và đầu ra.

Token, tokenization và các thuật ngữ liên quan#

• Tokenization: Quá trình chia đầu vào thô thành các token. Token là một đơn vị trong đầu ra của quá trình này.
• Vocabulary và ID token: Vocabulary của tokenizer là tập hợp token cố định mà tokenizer nhận biết, mỗi token có một ID số nguyên. BERT sử dụng 30,522 token, GPT-2 sử dụng 50,257, Llama 3 sử dụng 128,256 và Gemma 3 sử dụng khoảng 262,000.
• Token đặc biệt: Các dấu đánh dấu cấu trúc của chuỗi, chẳng hạn token bắt đầu văn bản, kết thúc văn bản và padding, hoặc token [CLS] có embedding cuối cùng được BERT dùng để phân loại.
• Embedding: Các vector đã học mà lớp đầu tiên của model tra cứu cho từng ID token, truyền ý nghĩa của token vào mạng.

Token văn bản#

Vocabulary gồm toàn từ không thể bao quát mọi tên riêng, lỗi chính tả và thuật ngữ mới, còn token theo từng ký tự khiến chuỗi trở nên rất dài. Vì vậy, tokenizer hiện đại sử dụng từ con: từ thường gặp trở thành một token, còn từ hiếm được chia thành các thành phần có thể tái sử dụng. Mã hóa cặp byte (BPE), được Sennrich và các cộng sự điều chỉnh cho dịch máy bằng mạng nơ-ron vào năm 2016, bắt đầu từ các ký tự đơn rồi liên tục gộp cặp liền kề xuất hiện thường xuyên nhất cho đến khi vocabulary đạt kích thước mục tiêu. Các model GPT áp dụng BPE trên byte, nhờ đó có thể mã hóa mọi văn bản, kể cả code và emoji. WordPiece (được BERT sử dụng) và mô hình Unigram của SentencePiece là các phương pháp từ con liên quan. Tokenizer BPE của CLIP, được tải từ Hub Hugging Face tại đây, minh họa cách chia từ:

from transformers import AutoTokenizer

# Load CLIP's byte-pair-encoding (BPE) tokenizer from the Hugging Face Hub
tokenizer = AutoTokenizer.from_pretrained("openai/clip-vit-base-patch32")

for text in ["bus", "double-decker bus", "unhappiness", "Ultralytics"]:
    tokens = tokenizer.tokenize(text)
    print(f"{text!r} -> {tokens} -> {tokenizer.convert_tokens_to_ids(tokens)}")

“bus” là một token duy nhất, ID 2840; “unhappiness” được chia thành un và happiness; từ hiếm “Ultralytics” được chia thành ba phần, ultr, aly và tics. Hậu tố </w> đánh dấu cuối từ trong vocabulary 49,408 token của CLIP; bộ mã hóa văn bản của CLIP đọc tối đa 77 token cho mỗi prompt.

Token thị giác#

Vision Transformer (ViT), được giới thiệu trong bài báo An Image Is Worth 16x16 Words, chia ảnh thành các patch có kích thước cố định: 16 × 16 pixel trong ViT-B/16; sau đó chiếu mỗi patch thành một embedding, nên ảnh 224 × 224 trở thành 196 token. Embedding vị trí ghi lại vị trí ban đầu của từng patch, còn một token lớp bổ sung tổng hợp thông tin để phân loại. Phép chiếu thường được triển khai bằng một phép tích chập có stride bằng kích thước kernel:

import torch

# ViT-B/16 patch embedding: a 16x16 convolution with stride 16 turns each patch into one 768-dim token
patch_embed = torch.nn.Conv2d(3, 768, kernel_size=16, stride=16)

for size in (224, 448):
    image = torch.rand(1, 3, size, size)
    tokens = patch_embed(image).flatten(2).transpose(1, 2)  # (batch, tokens, dims)
    print(f"{size}x{size} image -> {tuple(tokens.shape)}")

Ảnh 224 × 224 tạo ra 196 token, mỗi token gồm 768 giá trị; khi tăng gấp đôi chiều dài cạnh lên 448 pixel, số token tăng lên 784, gấp bốn lần. Self-attention so sánh mỗi token với mọi token khác, vì vậy số token tăng gấp bốn đồng nghĩa chi phí attention tăng khoảng 16 lần. Do đó, các model độ phân giải cao sử dụng attention theo cửa sổ, như trong Swin Transformer, hoặc gộp các token tương tự bằng token merging.

Model ngôn ngữ thị giác đưa token thị giác từ bộ mã hóa ảnh vào LLM cùng với token văn bản, để một transformer duy nhất attention trên cả hai loại token và tạo câu trả lời từng token văn bản một:

Vì sao số lượng token quan trọng#

• Giới hạn ngữ cảnh: Prompt, tài liệu hoặc ảnh được truy xuất và câu trả lời được tạo ra đều phải nằm trong cửa sổ ngữ cảnh của model.
• Chi phí và độ trễ: API tính phí riêng cho token đầu vào và đầu ra. Thời gian tạo tăng theo số token đầu ra, vì mỗi token cần một bước giải mã đọc KV cache của model.
• Ngôn ngữ và định dạng: Tokenizer chủ yếu được huấn luyện bằng tiếng Anh sẽ chia các ngôn ngữ khác, code và số dài thành nhiều token hơn trên mỗi từ, khiến cùng một nội dung tốn nhiều chi phí hơn và lấp đầy cửa sổ ngữ cảnh nhanh hơn.
• Tác vụ cấp ký tự: Model nhìn thấy các token từ con, vì vậy những tác vụ phụ thuộc vào từng chữ cái—chẳng hạn đếm số chữ trong một từ hoặc đảo ngược từ đó—khó hơn đối với model so với vẻ bề ngoài.

Ứng dụng thực tế#

• Tạo văn bản: LLM gán xác suất cho từng token trong vocabulary, lấy mẫu một token, nối token đó vào chuỗi rồi lặp lại. Các phương pháp lấy mẫu như nucleus sampling chọn trong số những token có khả năng xuất hiện cao.
• Tạo ảnh: Model ảnh tự hồi quy dự đoán các token thị giác rời rạc từ codebook đã học, được xây dựng bằng lượng tử hóa vector, tương tự cách LLM dự đoán từ.
• Phát hiện với vocabulary mở: YOLOE-26, phiên bản dựa trên YOLO26 của YOLOE thuộc Đại học Thanh Hoa trong package Ultralytics, tìm đối tượng dựa trên tên lớp được nhập vào. Phương thức set_classes() token hóa từng tên bằng tokenizer BPE của CLIP; bộ mã hóa văn bản MobileCLIP2 của Apple chuyển token thành embedding, rồi model đối chiếu các embedding đó với vùng ảnh, nhờ vậy có thể phát hiện “double-decker bus”—một lớp không có trong dataset COCO—chỉ từ văn bản.