Token

在现代人工智能复杂的技术架构中，token 代表了模型处理信息的基本原子单位。在算法能够解释句子、分析软件脚本或识别图像中的对象之前，原始输入数据必须被分解为这些离散的、标准化的元素。这种分割是数据预处理中的关键一步，它将非结构化输入转换为神经网络能够高效计算的数值格式。尽管人类将语言感知为连续的思想流，或将图像感知为无缝的视觉场景，但计算模型需要这些颗粒状的构建块来执行模式识别和语义分析等操作。

Token 与 Tokenization#

要理解机器学习的运作机制，区分数据单位与用于创建它的过程至关重要。这种区分有助于在Ultralytics Platform上设计数据管道和准备训练材料时避免混淆。

• Tokenization： 这是将原始数据分割成片段的算法过程（动词）。对于文本，这可能涉及使用诸如 Natural Language Toolkit (NLTK) 之类的库来确定一个单位的结束和另一个单位的开始。
• Token： 这是生成的结果（名词）。它是实际的数据块——例如单词、子词或图像块——最终会被映射到一个称为嵌入 (embedding)的数值向量。

不同 AI 领域的 Tokens#

token 的性质会根据所处理数据的模态而有显著差异，特别是在文本领域和视觉领域之间。

NLP 中的文本 Tokens#

在自然语言处理 (NLP)领域中，token 是大语言模型 (LLM) 的输入。早期方法严格对应完整的单词，但现代架构采用了诸如字节对编码 (BPE) 等子词算法。这种方法允许模型通过将罕见词分解为有意义的音节来处理它们，从而在词汇量大小和语义覆盖范围之间取得平衡。例如，“unhappiness”这个词可能会被 token 化为“un”、“happi”和“ness”。

计算机视觉中的视觉 Tokens#

随着Vision Transformer (ViT) 的出现，token 化概念已扩展到计算机视觉领域。与通过滑动窗口处理像素的传统卷积网络不同，Transformer 将图像分割为固定大小的图块网格（例如 16x16 像素）。每个图块都被展平并视为独特的视觉 token。这种方法使模型能够利用自注意力 (self-attention) 机制来理解图像遥远部分之间的关系，类似于Google Research最初将 Transformer 应用于文本的方式。

实际应用#

在无数的应用中，token 是连接人类数据与机器智能的桥梁。

1. 开放词汇目标检测： 像 YOLO-World 这样先进的模型采用多模态方法，其中文本 token 与视觉特征进行交互。用户可以输入自定义文本提示（例如“blue helmet”），模型将其进行 token 化并与图像中的对象进行匹配。这实现了零样本学习，允许检测模型未曾明确训练过的对象。

2. 生成式 AI： 在诸如聊天机器人等文本生成系统中，AI 通过预测序列中下一个 token 的概率来运作。通过迭代选择最可能的后续 token，系统构建出连贯的句子和段落，从而为从自动化客户支持到虚拟助手等各种工具提供动力。

Python 示例：使用文本 Tokens 进行检测#

以下代码片段演示了 ultralytics 软件包如何使用文本 token 来指导目标检测。虽然推荐使用最先进的 YOLO26 进行高速、固定类别的推理，但 YOLO-World 架构独树一帜，允许用户在运行时将类别定义为文本 token。

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

理解 token 是探索生成式 AI和高级分析领域的基石。无论是使聊天机器人能够流利对话，还是帮助视觉系统区分微妙的对象类别，token 始终是 PyTorch 和 TensorFlow 等框架所使用的机器智能的核心通用货币。