Tokenization

Tokenization là quá trình thuật toán chia nhỏ dòng dữ liệu thô—chẳng hạn như văn bản, hình ảnh hoặc âm thanh—thành các đơn vị nhỏ hơn, dễ quản lý được gọi là token. Quá trình biến đổi này đóng vai trò là cầu nối quan trọng trong đường ống data preprocessing, chuyển đổi dữ liệu đầu vào phi cấu trúc thành định dạng số mà hệ thống artificial intelligence (AI) có thể diễn giải. Máy tính không thể tự hiểu ngôn ngữ loài người hoặc cảnh trực quan; chúng cần các biểu diễn số để thực hiện tính toán. Bằng cách phân đoạn dữ liệu thành các token, kỹ sư cho phép neural networks ánh xạ các đơn vị này tới các embeddings—các biểu diễn véc-tơ nắm bắt ý nghĩa ngữ nghĩa. Nếu không có bước cơ bản này, các mô hình machine learning sẽ không thể xác định các mẫu, tìm hiểu ngữ cảnh hoặc xử lý các datasets khổng lồ cần thiết cho quá trình huấn luyện hiện đại.

Tokenization so với Token#

Mặc dù các thuật ngữ này thường xuất hiện cùng nhau trong các cuộc thảo luận về deep learning, việc phân biệt phương pháp với kết quả sẽ giúp ích cho việc hiểu rõ quy trình làm việc.

• Tokenization là quá trình (động từ). Nó đề cập đến tập hợp quy tắc hoặc thuật toán cụ thể được sử dụng để chia nhỏ dữ liệu. Đối với văn bản, quá trình này có thể liên quan đến việc sử dụng các thư viện như NLTK hoặc spaCy để xác định vị trí một đơn vị kết thúc và đơn vị tiếp theo bắt đầu.
• Token là kết quả đầu ra (danh từ). Đây là đơn vị riêng lẻ do quá trình tạo ra, chẳng hạn như một từ đơn, một từ phụ, một ký tự hoặc một bản vá pixel.

Các phương pháp trên các lĩnh vực khác nhau#

Chiến lược tokenization thay đổi đáng kể tùy theo phương thức của dữ liệu, ảnh hưởng đến cách một foundation model nhận thức thế giới.

Tokenization văn bản trong NLP#

Trong Natural Language Processing (NLP), mục tiêu là phân đoạn văn bản đồng thời bảo tồn ý nghĩa. Các phương pháp trước đây dựa trên các kỹ thuật đơn giản như tách từ bằng dấu cách hoặc loại bỏ stop words. Tuy nhiên, các Large Language Models (LLMs) hiện đại sử dụng các thuật toán từ phụ phức tạp hơn, chẳng hạn như Byte Pair Encoding (BPE) hoặc WordPiece. Các thuật toán này hợp nhất lặp đi lặp lại các cặp ký tự thường xuyên nhất, cho phép mô hình xử lý các từ hiếm bằng cách chia chúng thành các thành phần phụ quen thuộc (ví dụ: "smartphones" trở thành "smart" + "phones"). Cách tiếp cận này cân bằng kích thước từ vựng với khả năng biểu diễn ngôn ngữ phức tạp.

Tokenization trực quan trong Computer Vision#

Theo truyền thống, các mô hình computer vision (CV) như CNN xử lý các pixel bằng cách sử dụng cửa sổ trượt. Sự ra đời của Vision Transformer (ViT) đã thay đổi mô hình này bằng cách áp dụng tokenization cho hình ảnh. Hình ảnh được chia thành các bản vá có kích thước cố định (ví dụ: 16x16 pixel), sau đó được làm phẳng và chiếu tuyến tính. Các "visual tokens" này cho phép mô hình tận dụng các cơ chế self-attention để tìm hiểu các mối quan hệ toàn cục trên hình ảnh, tương tự như cách Transformer xử lý một câu.

Các ứng dụng trong thực tế#

Tokenization là động cơ thầm lặng đằng sau nhiều ứng dụng AI được sử dụng trong các môi trường production hiện nay.

1. Open-Vocabulary Object Detection: Các kiến trúc tiên tiến như YOLO-World áp dụng phương pháp multi-modal model. Khi người dùng nhập một câu lệnh như "person wearing a red hat", hệ thống sẽ tokenization văn bản này và ánh xạ nó tới cùng một không gian đặc trưng như dữ liệu trực quan. Điều này cho phép zero-shot learning, cho phép mô hình phát hiện các đối tượng mà nó chưa được huấn luyện rõ ràng bằng cách khớp các token văn bản với các đặc trưng trực quan.

2. Generative Art and Design: Trong quá trình tạo text-to-image, các câu lệnh của người dùng được tokenization để hướng dẫn quy trình khuếch tán. Mô hình sử dụng các token này để điều hòa quá trình tạo, đảm bảo hình ảnh kết quả phù hợp với các khái niệm ngữ nghĩa (ví dụ: "sunset", "beach") được trích xuất trong giai đoạn tokenization.

Ví dụ về Python: Phát hiện dựa trên token#

Ví dụ sau minh họa cách gói ultralytics sử dụng tokenization văn bản một cách ẩn trong quy trình làm việc của YOLO-World. Bằng cách xác định các lớp tùy chỉnh, mô hình sẽ tokenization các chuỗi này để tìm kiếm các đối tượng cụ thể một cách động.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Tác động đến hiệu suất mô hình#

Sự lựa chọn chiến lược tokenization ảnh hưởng trực tiếp đến accuracy và hiệu quả tính toán. Tokenization không hiệu quả có thể dẫn đến lỗi "out-of-vocabulary" trong NLP hoặc mất các chi tiết tinh vi trong phân tích hình ảnh. Các framework như PyTorch và TensorFlow cung cấp các công cụ linh hoạt để tối ưu hóa bước này. Khi các kiến trúc tiến hóa—chẳng hạn như YOLO26 tiên tiến—việc xử lý dữ liệu hiệu quả đảm bảo rằng các mô hình có thể chạy real-time inference trên nhiều phần cứng đa dạng, từ GPU đám mây mạnh mẽ đến các thiết bị biên. Các nhóm quản lý các quy trình dữ liệu phức tạp này thường dựa vào Ultralytics Platform để đơn giản hóa việc gán nhãn tập dữ liệu, model training và triển khai.