Tokenization

Токенизация — это алгоритмический процесс разбиения потока необработанных данных (таких как текст, изображения или аудио) на более мелкие, управляемые единицы, называемые токенами. Это преобразование служит важнейшим мостом в конвейере предобработки данных, преобразуя неструктурированные входные данные в числовой формат, который могут интерпретировать системы искусственного интеллекта (ИИ). Компьютеры не способны напрямую понимать человеческий язык или визуальные сцены; им требуются числовые представления для выполнения вычислений. Сегментируя данные на токены, инженеры позволяют нейронным сетям сопоставлять эти единицы с эмбеддингами — векторными представлениями, которые отражают семантический смысл. Без этого фундаментального шага модели машинного обучения не смогли бы выявлять закономерности, изучать контекст или обрабатывать огромные наборы данных, необходимые для современного обучения.

Токенизация против Токена#

Хотя эти термины часто звучат вместе в обсуждениях глубокого обучения, для понимания рабочего процесса полезно отличать метод от результата.

• Токенизация — это процесс (глагол). Он относится к конкретному набору правил или алгоритмов, используемых для разделения данных. Для текста это может включать использование таких библиотек, как NLTK или spaCy, чтобы определить, где заканчивается одна единица и начинается другая.
• Токен — это результат (существительное). Это отдельная единица, генерируемая процессом, такая как отдельное слово, подслово, символ или фрагмент пикселей.

Методы в различных областях#

Стратегия токенизации значительно различается в зависимости от модальности данных, влияя на то, как базовая модель воспринимает мир.

Токенизация текста в NLP#

В области обработки естественного языка (NLP) цель состоит в том, чтобы сегментировать текст, сохраняя при этом смысл. Ранние методы опирались на простые приемы, такие как разделение слов по пробелам или удаление стоп-слов. Однако современные большие языковые модели (LLM) используют более сложные алгоритмы подслов, такие как кодирование пар байтов (BPE) или WordPiece. Эти алгоритмы итеративно объединяют наиболее частые пары символов, позволяя модели работать с редкими словами путем разбиения их на знакомые подкомпоненты (например, «smartphones» превращается в «smart» + «phones»). Такой подход балансирует размер словаря со способностью представлять сложный язык.

Визуальная токенизация в компьютерном зрении#

Традиционно модели компьютерного зрения (CV), такие как сверточные нейросети, обрабатывали пиксели с помощью скользящих окон. Появление визуального трансформера (ViT) изменило эту парадигму, применив токенизацию к изображениям. Изображение разрезается на патчи фиксированного размера (например, 16x16 пикселей), которые затем выравниваются и линейно проецируются. Эти «визуальные токены» позволяют модели использовать механизмы внимания для изучения глобальных связей по всему изображению, подобно тому, как Transformer обрабатывает предложение.

Реальные приложения#

Токенизация — это невидимый двигатель, стоящий за многими ИИ-приложениями, которые сегодня используются в производственных средах.

1. Детекция объектов с открытым словарем: Передовые архитектуры, такие как YOLO-World, используют подход модели с поддержкой нескольких модальностей. Когда ты вводишь подсказку вроде «человек в красной шляпе», система токенизирует этот текст и сопоставляет его с тем же пространством признаков, что и визуальные данные. Это обеспечивает обучение в условиях нулевой выборки, позволяя модели обнаруживать объекты, на обучение которым она явно не настраивалась, путем сопоставления текстовых токенов с визуальными признаками.

2. Генеративное искусство и дизайн: При генерации изображений по тексту text-to-image пользовательские подсказки токенизируются для направления процесса диффузии. Модель использует эти токены для обусловливания генерации, гарантируя, что получаемое изображение соответствует семантическим концепциям (например, «закат», «пляж»), извлеченным на этапе токенизации.

Пример на Python: Детектирование на основе токенов#

Следующий пример демонстрирует, как пакет ultralytics неявно использует токенизацию текста в рабочем процессе YOLO-World. Определяя пользовательские классы, модель токенизирует эти строки для динамического поиска конкретных объектов.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of text-based detection
model = YOLO("yolov8s-world.pt")

# Define custom classes; these are tokenized internally to guide the model
# The model will look for visual features matching these text tokens
model.set_classes(["backpack", "bus"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Влияние на производительность модели#

Выбор стратегии токенизации напрямую влияет на точность и вычислительную эффективность. Неэффективная токенизация может привести к ошибкам выхода за пределы словаря в NLP или к потере мелкозернистых деталей при анализе изображений. Такие фреймворки, как PyTorch и TensorFlow, предоставляют гибкие инструменты для оптимизации этого шага. По мере развития архитектур — таких как ультрасовременная YOLO26 — эффективная обработка данных гарантирует, что модели смогут выполнять инференс в реальном времени на различных аппаратных средствах, от мощных облачных GPU до периферийных устройств. Команды, управляющие этими сложными рабочими процессами данных, часто полагаются на платформу Ultralytics Platform для оптимизации аннотирования наборов данных, обучения моделей и развертывания.