Tokenization

Tokenization là quy trình thuật toán dùng để phân tách luồng dữ liệu thô—như văn bản, hình ảnh hoặc âm thanh—thành các đơn vị nhỏ hơn, dễ quản lý được gọi là token. Sự chuyển đổi này đóng vai trò như một cầu nối quan trọng trong quy trình data preprocessing, chuyển đổi dữ liệu đầu vào phi cấu trúc sang định dạng số mà các hệ thống artificial intelligence (AI) có thể diễn giải. Máy tính không thể tự hiểu ngôn ngữ của con người hoặc các cảnh quan trực quan; chúng cần các biểu diễn số để thực hiện tính toán. Bằng cách phân đoạn dữ liệu thành các token, các kỹ sư cho phép neural networks ánh xạ các đơn vị này tới các embeddings—các biểu diễn vector ghi lại ý nghĩa ngữ nghĩa. Nếu thiếu bước cơ bản này, các mô hình machine learning sẽ không thể xác định các mô hình, tìm hiểu ngữ cảnh hoặc xử lý các datasets khổng lồ cần thiết cho quá trình training hiện đại.

Link to this sectionTokenization so với Token#

Mặc dù các thuật ngữ này thường được nghe cùng nhau trong các cuộc thảo luận về deep learning, việc phân biệt phương pháp với kết quả sẽ giúp ích cho việc hiểu rõ quy trình làm việc.

• Tokenization là quy trình (động từ). Nó đề cập đến tập hợp cụ thể các quy tắc hoặc thuật toán được sử dụng để phân tách dữ liệu. Đối với văn bản, việc này có thể bao gồm sử dụng các thư viện như NLTK hoặc spaCy để xác định nơi một đơn vị kết thúc và một đơn vị khác bắt đầu.
• Token là đầu ra (danh từ). Đó là đơn vị riêng lẻ được tạo ra bởi quy trình này, chẳng hạn như một từ đơn, một phần của từ, một ký tự hoặc một mảng các pixel.

Link to this sectionCác phương pháp trên các lĩnh vực khác nhau#

Chiến lược tokenization thay đổi đáng kể tùy thuộc vào phương thức của dữ liệu, ảnh hưởng đến cách một foundation model cảm nhận thế giới.

Link to this sectionTokenization văn bản trong NLP#

Trong Natural Language Processing (NLP), mục tiêu là phân đoạn văn bản trong khi vẫn bảo toàn ý nghĩa. Các phương pháp ban đầu dựa vào các kỹ thuật đơn giản như tách từ bằng dấu cách hoặc loại bỏ stop words. Tuy nhiên, các Large Language Models (LLMs) hiện đại sử dụng các thuật toán subword tinh vi hơn, chẳng hạn như Byte Pair Encoding (BPE) hoặc WordPiece. Các thuật toán này lặp đi lặp lại việc hợp nhất các cặp ký tự thường gặp nhất, cho phép mô hình xử lý các từ hiếm bằng cách chia chúng thành các thành phần phụ quen thuộc (ví dụ: "smartphones" trở thành "smart" + "phones"). Cách tiếp cận này cân bằng giữa kích thước từ vựng với khả năng biểu diễn ngôn ngữ phức tạp.

Link to this sectionTokenization trực quan trong Computer Vision#

Theo truyền thống, các mô hình computer vision (CV) như CNN xử lý pixel bằng các cửa sổ trượt. Sự ra đời của Vision Transformer (ViT) đã thay đổi mô hình này bằng cách áp dụng tokenization cho hình ảnh. Hình ảnh được cắt thành các bản vá (patch) có kích thước cố định (ví dụ: 16x16 pixel), sau đó được làm phẳng và chiếu tuyến tính. Các "visual token" này cho phép mô hình sử dụng các cơ chế self-attention để tìm hiểu các mối quan hệ toàn cục trong toàn bộ hình ảnh, tương tự như cách một Transformer xử lý một câu.

Link to this sectionCác ứng dụng trong thực tế#

Tokenization là động cơ thầm lặng đằng sau nhiều ứng dụng AI được sử dụng trong các môi trường production hiện nay.

1. Open-Vocabulary Object Detection: Các kiến trúc nâng cao như YOLO-World sử dụng phương pháp multi-modal model. Khi người dùng nhập một prompt như "người đang đội mũ đỏ", hệ thống sẽ token hóa văn bản này và ánh xạ nó vào cùng không gian đặc trưng (feature space) như dữ liệu trực quan. Điều này cho phép zero-shot learning, cho phép mô hình phát hiện các đối tượng mà nó chưa từng được train một cách rõ ràng bằng cách khớp các token văn bản với các đặc trưng trực quan.

2. Generative Art and Design: Trong tạo text-to-image, các prompt của người dùng được token hóa để hướng dẫn quy trình khuếch tán. Mô hình sử dụng các token này để điều khiển quá trình tạo, đảm bảo hình ảnh kết quả phù hợp với các khái niệm ngữ nghĩa (ví dụ: "hoàng hôn", "bãi biển") được trích xuất trong giai đoạn tokenization.

Link to this sectionVí dụ về Python: Phát hiện dựa trên token#

Ví dụ sau đây minh họa cách gói ultralytics sử dụng tokenization văn bản một cách ẩn trong quy trình làm việc của YOLO-World. Bằng cách xác định các class tùy chỉnh, mô hình token hóa các chuỗi này để tìm kiếm các đối tượng cụ thể một cách linh hoạt.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Link to this sectionTác động đến hiệu suất mô hình#

Việc lựa chọn chiến lược tokenization ảnh hưởng trực tiếp đến accuracy và hiệu quả tính toán. Tokenization không hiệu quả có thể dẫn đến lỗi "out-of-vocabulary" trong NLP hoặc mất các chi tiết tinh vi trong phân tích hình ảnh. Các khung như PyTorch và TensorFlow cung cấp các công cụ linh hoạt để tối ưu hóa bước này. Khi các kiến trúc phát triển—chẳng hạn như YOLO26 hiện đại nhất—xử lý dữ liệu hiệu quả đảm bảo rằng các mô hình có thể chạy real-time inference trên nhiều phần cứng khác nhau, từ GPU đám mây mạnh mẽ đến các thiết bị biên (edge devices). Các nhóm quản lý các quy trình dữ liệu phức tạp này thường dựa vào Ultralytics Platform để hợp lý hóa việc gán nhãn dataset, model training và triển khai.