Token

Trong kiến trúc tinh vi của trí tuệ nhân tạo hiện đại, một token đại diện cho đơn vị thông tin cơ bản và nguyên tử mà một model xử lý. Trước khi một thuật toán có thể diễn giải một câu, phân tích một script phần mềm, hoặc nhận diện các đối tượng trong một hình ảnh, dữ liệu đầu vào thô phải được chia nhỏ thành các phần tử rời rạc và được chuẩn hóa này. Việc phân đoạn này là một bước quan trọng trong tiền xử lý dữ liệu, chuyển đổi các đầu vào phi cấu trúc thành định dạng số mà mạng nơ-ron có thể tính toán hiệu quả. Trong khi con người nhận thức ngôn ngữ như một dòng suy nghĩ liên tục hoặc hình ảnh như các khung cảnh trực quan liền mạch, các model tính toán đòi hỏi các khối xây dựng chi tiết này để thực hiện các thao tác như nhận diện mẫu và phân tích ngữ nghĩa.

Token so với Tokenization#

Để nắm bắt cơ chế hoạt động của machine learning, điều thiết yếu là phải phân biệt giữa đơn vị dữ liệu và quy trình được sử dụng để tạo ra nó. Sự phân biệt này giúp tránh nhầm lẫn khi thiết kế các đường ống dữ liệu và chuẩn bị tài liệu huấn luyện trên Ultralytics Platform.

• Tokenization: Đây là quy trình thuật toán (động từ) chia dữ liệu thô thành các phần nhỏ. Đối với văn bản, điều này có thể bao gồm việc sử dụng các thư viện như Natural Language Toolkit (NLTK) để xác định nơi một đơn vị kết thúc và đơn vị khác bắt đầu.
• Token: Đây là kết quả đầu ra (danh từ). Đây là đoạn dữ liệu thực tế—chẳng hạn như một từ, một từ phụ (subword), hoặc một bản vá hình ảnh (image patch)—được ánh xạ cuối cùng tới một vector số được gọi là embedding.

Token trong các lĩnh vực AI khác nhau#

Bản chất của một token thay đổi đáng kể tùy thuộc vào phương thức của dữ liệu đang được xử lý, đặc biệt là giữa miền văn bản và miền thị giác.

Token văn bản trong NLP#

Trong lĩnh vực Natural Language Processing (NLP), các token là đầu vào cho Large Language Models (LLMs). Các phương pháp tiếp cận trước đây ánh xạ nghiêm ngặt tới các từ nguyên vẹn, nhưng các kiến trúc hiện đại sử dụng các thuật toán từ phụ như Byte Pair Encoding (BPE). Phương pháp này cho phép các model xử lý các từ hiếm bằng cách chia chúng thành các âm tiết có nghĩa, cân bằng giữa kích thước từ vựng và độ bao phủ ngữ nghĩa. Ví dụ, từ "unhappiness" có thể được token hóa thành "un", "happi", và "ness".

Token thị giác trong thị giác máy tính#

Khái niệm tokenization đã mở rộng sang computer vision với sự ra đời của Vision Transformer (ViT). Không giống như các mạng tích chập truyền thống xử lý các điểm ảnh trong các cửa sổ trượt, các Transformer chia một hình ảnh thành một lưới các bản vá có kích thước cố định (ví dụ: 16x16 pixel). Mỗi bản vá được làm phẳng và được coi như một token thị giác riêng biệt. Phương pháp này cho phép model sử dụng các cơ chế self-attention để hiểu mối quan hệ giữa các phần xa nhau của một hình ảnh, tương tự cách mà Google Research ban đầu áp dụng các transformer vào văn bản.

Các ứng dụng trong thực tế#

Các token đóng vai trò là cầu nối giữa dữ liệu của con người và trí tuệ máy móc trong vô số ứng dụng.

1. Open-Vocabulary Object Detection: Các model nâng cao như YOLO-World sử dụng phương pháp đa phương thức trong đó các token văn bản tương tác với các đặc trưng thị giác. Người dùng có thể nhập các câu lệnh văn bản tùy chỉnh (ví dụ: "blue helmet"), mà model sẽ tiến hành token hóa và khớp với các đối tượng trong hình ảnh. Điều này cho phép zero-shot learning, cho phép phát hiện các đối tượng mà model chưa từng được huấn luyện rõ ràng trước đó.

2. Generative AI: Trong các hệ thống sinh văn bản như chatbot, AI hoạt động bằng cách dự đoán xác suất của token tiếp theo trong một chuỗi. Bằng cách lặp đi lặp lại việc chọn token tiếp theo có khả năng cao nhất, hệ thống xây dựng các câu và đoạn văn mạch lạc, cung cấp năng lượng cho các công cụ từ hỗ trợ khách hàng tự động đến trợ lý ảo.

Ví dụ Python: Sử dụng Token văn bản để phát hiện#

Đoạn mã mẫu sau đây minh họa cách gói ultralytics sử dụng các token văn bản để hướng dẫn phát hiện đối tượng. Trong khi YOLO26 tiên tiến được khuyến nghị cho việc suy luận tốc độ cao, lớp cố định, kiến trúc YOLO-World cho phép người dùng định nghĩa các lớp dưới dạng token văn bản tại thời điểm chạy một cách độc đáo.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Hiểu về các token là nền tảng để điều hướng bức tranh toàn cảnh về generative AI và phân tích nâng cao. Cho dù là giúp một chatbot trò chuyện trôi chảy hay giúp hệ thống thị giác phân biệt giữa các lớp đối tượng tinh tế, các token vẫn là loại tiền tệ thiết yếu của trí tuệ máy móc được sử dụng bởi các framework như PyTorch và TensorFlow.