Tokenization

Токенизация — это алгоритмический процесс разбиения потока необработанных данных, таких как текст, изображения или аудио, на более мелкие управляемые единицы, называемые токенами. Это преобразование служит важным связующим звеном в конвейере предварительной обработки данных, преобразуя неструктурированный вход в числовой формат, который могут интерпретировать системы искусственного интеллекта (AI). Компьютеры не способны изначально понимать человеческий язык или визуальные сцены; для выполнения вычислений им нужны числовые представления. Сегментируя данные на токены, инженеры позволяют нейронным сетям сопоставлять эти единицы с эмбеддингами — векторными представлениями, отражающими семантическое значение. Без этого фундаментального шага модели машинного обучения не смогли бы выявлять закономерности, усваивать контекст или обрабатывать огромные наборы данных, необходимые для современного обучения.

Токенизация и токен#

Хотя эти термины часто употребляются вместе в обсуждениях глубокого обучения, для понимания рабочего процесса полезно различать метод и результат.

• Токенизация — это процесс (глагол). Так называют конкретный набор правил или алгоритмов, используемых для разделения данных. Для текста это может включать использование таких библиотек, как NLTK или spaCy, чтобы определить, где заканчивается одна единица и начинается другая.
• Токен — это результат (существительное). Это отдельная единица, созданная в ходе процесса, например одно слово, субслово, символ или фрагмент изображения из пикселей.

Методы в разных предметных областях#

Стратегия токенизации значительно различается в зависимости от модальности данных и влияет на то, как фундаментальная модель воспринимает мир.

Токенизация текста в NLP#

В обработке естественного языка (NLP) цель состоит в сегментации текста с сохранением смысла. Ранние методы основывались на простых приемах, таких как разделение слов пробелами или удаление стоп-слов. Однако современные большие языковые модели (LLMs) используют более сложные алгоритмы работы с субсловами, такие как кодирование пар байтов (BPE) или WordPiece. Эти алгоритмы итеративно объединяют наиболее часто встречающиеся пары символов, позволяя модели обрабатывать редкие слова, разбивая их на знакомые компоненты (например, "smartphones" превращается в "smart" + "phones"). Такой подход обеспечивает баланс между размером словаря и способностью представлять сложный язык.

Визуальная токенизация в компьютерном зрении#

Традиционно модели компьютерного зрения (CV), такие как CNN, обрабатывали пиксели с помощью скользящих окон. Появление Vision Transformer (ViT) изменило эту парадигму: токенизация стала применяться к изображениям. Изображение разделяется на фрагменты фиксированного размера (например, 16x16 пикселей), которые затем преобразуются в плоский вектор и проецируются линейно. Эти «визуальные токены» позволяют модели использовать механизмы самообслуживания для изучения глобальных взаимосвязей по всему изображению — подобно тому, как Transformer обрабатывает предложение.

Практические применения#

Токенизация — это незаметный механизм, лежащий в основе многих приложений AI, используемых сегодня в производственных средах.

1. Детектирование объектов с открытым словарём: передовые архитектуры, такие как YOLO-World, используют подход мультимодальной модели. Когда пользователь вводит запрос вроде "person wearing a red hat", система токенизирует этот текст и сопоставляет его с тем же пространством признаков, что и визуальные данные. Это обеспечивает обучение без примеров, позволяя модели обнаруживать объекты, на которых она явно не обучалась, сопоставляя текстовые токены с визуальными признаками.

2. Генеративное искусство и дизайн: при генерации изображения по тексту запросы пользователя токенизируются для управления процессом диффузии. Модель использует эти токены для задания условий генерации, обеспечивая соответствие итогового изображения семантическим концепциям (например, "sunset", "beach"), извлеченным на этапе токенизации.

Пример на Python: детектирование на основе токенов#

В следующем примере показано, как пакет ultralytics неявно использует токенизацию текста в рабочем процессе YOLO-World. Определяя пользовательские классы, модель токенизирует эти строки для динамического поиска конкретных объектов.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Влияние на производительность модели#

Выбор стратегии токенизации напрямую влияет на точность и вычислительную эффективность. Неэффективная токенизация может приводить к ошибкам «вне словаря» в NLP или к потере мелких деталей при анализе изображений. Такие фреймворки, как PyTorch и TensorFlow, предоставляют гибкие инструменты для оптимизации этого шага. По мере развития архитектур, включая передовую YOLO26, эффективная обработка данных гарантирует, что модели смогут выполнять вывод в реальном времени на различном оборудовании — от мощных облачных GPU до периферийных устройств. Команды, управляющие такими сложными рабочими процессами обработки данных, часто используют платформу Ultralytics для упрощения разметки наборов данных, обучения моделей и развертывания.