Tokenization

Токенизация — это алгоритмический процесс разбиения потока необработанных данных, таких как текст, изображения или аудио, на более мелкие и удобные единицы, называемые токенами. Это преобразование служит критически важным связующим звеном в конвейере предварительной обработки данных, преобразуя неструктурированные входные данные в числовой формат, который могут интерпретировать системы искусственного интеллекта (ИИ). Компьютеры не могут по своей природе понимать человеческий язык или визуальные сцены; им требуются числовые представления для выполнения вычислений. Сегментируя данные на токены, инженеры позволяют нейронным сетям сопоставлять эти единицы с эмбеддингами — векторными представлениями, которые отражают семантический смысл. Без этого фундаментального шага модели машинного обучения не смогли бы выявлять закономерности, изучать контекст или обрабатывать огромные наборы данных, необходимые для современного обучения.

Link to this sectionТокенизация против Токена#

Хотя эти термины часто звучат вместе в дискуссиях о глубоком обучении, полезно различать метод и результат, чтобы понять рабочий процесс.

• Токенизация — это процесс (глагол). Он относится к конкретному набору правил или алгоритмов, используемых для разделения данных. Для текста это может включать использование библиотек, таких как NLTK или spaCy, чтобы определить, где заканчивается одна единица и начинается другая.
• Токен — это результат (существительное). Это отдельная единица, созданная в процессе, например, отдельное слово, часть слова, символ или фрагмент пикселей.

Link to this sectionМетоды в различных областях#

Стратегия токенизации значительно варьируется в зависимости от модальности данных, влияя на то, как фундаментальная модель воспринимает мир.

Link to this sectionТокенизация текста в NLP#

В обработке естественного языка (NLP) цель состоит в том, чтобы сегментировать текст, сохраняя его смысл. Ранние методы опирались на простые техники, такие как разделение слов пробелами или удаление стоп-слов. Однако современные большие языковые модели (LLM) используют более сложные алгоритмы работы с частями слов, такие как Byte Pair Encoding (BPE) или WordPiece. Эти алгоритмы итеративно объединяют наиболее частые пары символов, позволяя модели обрабатывать редкие слова, разбивая их на знакомые компоненты (например, "смартфоны" превращается в "смарт" + "фоны"). Этот подход позволяет сбалансировать размер словаря и способность представлять сложный язык.

Link to this sectionВизуальная токенизация в компьютерном зрении#

Традиционно модели компьютерного зрения (CV), такие как CNN, обрабатывали пиксели с помощью скользящих окон. Появление Vision Transformer (ViT) изменило эту парадигму, применив токенизацию к изображениям. Изображение нарезается на фрагменты фиксированного размера (например, 16x16 пикселей), которые затем выравниваются и линейно проецируются. Эти "визуальные токены" позволяют модели использовать механизмы самовнимания для изучения глобальных связей внутри изображения, подобно тому как Transformer обрабатывает предложение.

Link to this sectionРеальные приложения#

Токенизация — это невидимый двигатель, стоящий за многими ИИ-приложениями, которые сегодня используются в производственных средах.

1. Детектирование объектов с открытым словарем: Передовые архитектуры, такие как YOLO-World, используют подход мультимодальной модели. Когда ты вводишь запрос, например "человек в красной шляпе", система токенизирует этот текст и сопоставляет его с тем же пространством признаков, что и визуальные данные. Это обеспечивает zero-shot обучение, позволяя модели обнаруживать объекты, на которых она не была явно обучена, путем сопоставления текстовых токенов с визуальными признаками.

2. Генеративное искусство и дизайн: При генерации текста в изображение пользовательские запросы токенизируются для управления процессом диффузии. Модель использует эти токены для обусловливания генерации, гарантируя, что полученное изображение соответствует семантическим концепциям (например, "закат", "пляж"), извлеченным на этапе токенизации.

Link to this sectionПример на Python: Детектирование на основе токенов#

Следующий пример демонстрирует, как пакет ultralytics неявно использует токенизацию текста в рабочем процессе YOLO-World. Определяя пользовательские классы, модель токенизирует эти строки для динамического поиска конкретных объектов.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Link to this sectionВлияние на производительность модели#

Выбор стратегии токенизации напрямую влияет на точность и вычислительную эффективность. Неэффективная токенизация может привести к ошибкам "вне словаря" в NLP или потере мелких деталей при анализе изображений. Такие фреймворки, как PyTorch и TensorFlow, предоставляют гибкие инструменты для оптимизации этого шага. По мере развития архитектур, таких как современная YOLO26, эффективная обработка данных гарантирует, что модели могут выполнять инференс в реальном времени на различном оборудовании, от мощных облачных GPU до периферийных устройств. Команды, управляющие этими сложными потоками данных, часто полагаются на платформу Ultralytics для оптимизации аннотирования наборов данных, обучения моделей и развертывания.