Tokenization
探索分词 (Tokenization) 如何将原始文本和图像转换为 AI 就绪的数据。学习 Ultralytics YOLO26 等模型所使用的 NLP 和计算机视觉方法。
标记化是一种算法过程，它将原始数据流（例如文本、图像或音频）分解为更小、可管理的单元，称为标记。这种转换是数据预处理流程中的关键环节，将非结构化输入转换为人工智能 (AI) 系统可以理解的数字格式。计算机无法天然理解人类语言或视觉场景，它们需要数字表示来执行计算。通过将数据分段为标记，工程师使神经网络能够将这些单元映射到嵌入——即捕捉语义含义的向量表示。没有这一基础步骤，机器学习模型将无法识别模式、学习上下文或处理现代训练所需的庞大数据集。
Link to this section标记化与标记#
虽然在深度学习讨论中经常听到这两个术语，但区分方法与结果有助于理解工作流。
- 标记化 是过程（动词）。它指的是用于分割数据的特定规则或算法集合。对于文本而言，这可能涉及使用像 NLTK 或 spaCy 这样的库来确定一个单元在哪里结束，另一个从哪里开始。
- 标记 是输出（名词）。它是该过程生成的单个单元，例如一个单词、子词、字符或像素块。
Link to this section跨领域方法#
标记化策略根据数据模态的不同而有很大差异，这影响了基础模型感知世界的方式。
Link to this sectionNLP 中的文本标记化#
在自然语言处理 (NLP) 中，目标是在保留含义的同时对文本进行分段。早期方法依赖于简单的技术，例如按空格分隔单词或删除停用词。然而，现代大语言模型 (LLMs) 使用更复杂的子词算法，例如 Byte Pair Encoding (BPE) 或 WordPiece。这些算法迭代合并最频繁的字符对，使模型能够通过将罕见词分解为熟悉的子组件（例如，“smartphones”变为“smart”+“phones”）来处理它们。这种方法在词汇量与表示复杂语言的能力之间取得了平衡。
Link to this section计算机视觉中的视觉标记化#
传统上，像 CNN 这样的计算机视觉 (CV) 模型使用滑动窗口处理像素。视觉 Transformer (ViT) 的引入通过对图像应用标记化改变了这种范式。图像被切成固定大小的块（例如 16x16 像素），然后被展平并进行线性投影。这些“视觉标记”允许模型利用自注意力机制学习跨图像的全局关系，类似于 Transformer 处理句子的方式。
Link to this section实际应用#
标记化是当今生产环境中使用的许多 AI 应用背后的无声引擎。
-
开放词汇目标检测： 像 YOLO-World 这样的先进架构采用了多模态模型方法。当用户输入诸如“戴红帽子的人”之类的提示时，系统会对该文本进行标记化，并将其映射到与视觉数据相同的特征空间。这实现了零样本学习，允许模型通过将文本标记与视觉特征匹配，来检测其未经过明确训练的对象。
-
生成式艺术与设计： 在文生图生成中，用户提示会被标记化以指导扩散过程。模型利用这些标记来调节生成，确保最终生成的图像与标记化阶段提取的语义概念（例如“日落”、“海滩”）保持一致。
Link to this sectionPython 示例：基于标记的检测#
以下示例展示了 ultralytics 软件包如何在 YOLO-World 工作流中隐式利用文本标记化。通过定义自定义类，模型可以动态标记这些字符串以搜索特定对象。
from ultralytics import YOLO
# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")
# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])
# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")
# Show results (only detects the tokenized classes defined above)
results[0].show()Link to this section对模型性能的影响#
标记化策略的选择直接影响准确性和计算效率。低效的标记化可能导致 NLP 中的“词汇表外”错误，或图像分析中细粒度细节的丢失。像 PyTorch 和 TensorFlow 这样的框架提供了灵活的工具来优化这一步骤。随着架构的发展——例如最先进的 YOLO26——高效的数据处理确保了模型可以在从强大的云端 GPU 到边缘设备的各种硬件上进行实时推理。管理这些复杂数据工作流的团队通常依赖 Ultralytics Platform 来简化数据集标注、模型训练和部署。
