Token

В сложной архитектуре современного искусственного интеллекта токен представляет собой фундаментальную, неделимую единицу информации, которую обрабатывает модель. Прежде чем алгоритм сможет интерпретировать предложение, проанализировать программный скрипт или распознать объекты на изображении, исходные входные данные должны быть разбиты на эти дискретные стандартизированные элементы. Эта сегментация является ключевым шагом в предобработке данных, преобразуя неструктурированные входные данные в числовой формат, который нейронные сети могут эффективно вычислять. В то время как люди воспринимают язык как непрерывный поток мыслей или изображения как цельные визуальные сцены, вычислительным моделям требуются эти гранулярные строительные блоки для выполнения таких операций, как распознавание образов и семантический анализ.

Токен против токенизации#

Чтобы понять механики машинного обучения, важно различать единицу данных и процесс, используемый для ее создания. Это разграничение помогает избежать путаницы при проектировании конвейеров данных и подготовке обучающих материалов на Ultralytics Platform.

• Токенизация: Это алгоритмический процесс (глагол) разделения исходных данных на части. Для текста это может включать использование библиотек вроде Natural Language Toolkit (NLTK), чтобы определить, где заканчивается одна единица и начинается другая.
• Токен: Это получаемый результат (существительное). Это фактический фрагмент данных — например, слово, подслово или патч изображения, — который в конечном итоге сопоставляется с числовым вектором, известным как эмбеддинг.

Токены в различных областях ИИ#

Природа токена значительно варьируется в зависимости от модальности обрабатываемых данных, особенно между текстовыми и визуальными доменами.

Текстовые токены в NLP#

В области обработки естественного языка (NLP) токены служат входными данными для больших языковых моделей (LLMs). Ранние подходы строго сопоставлялись с целыми словами, но современные архитектуры используют алгоритмы подслов, такие как Byte Pair Encoding (BPE). Этот метод позволяет моделям работать с редкими словами, разбивая их на значимые слоги, что обеспечивает баланс между размером словаря и семантическим охватом. Например, слово "unhappiness" может быть токенизировано на "un", "happi" и "ness".

Визуальные токены в компьютерном зрении#

Концепция токенизации распространилась и на компьютерное зрение с появлением Vision Transformer (ViT). В отличие от традиционных сверточных сетей, обрабатывающих пиксели скользящими окнами, трансформеры делят изображение на сетку патчей фиксированного размера (например, 16x16 пикселей). Каждый патч выравнивается и рассматривается как отдельный визуальный токен. Такой подход позволяет модели использовать механизмы самообучения для понимания взаимосвязей между удаленными частями изображения, подобно тому, как Google Research изначально применяла трансформеры к тексту.

Реальные приложения#

Токены служат мостом между человеческими данными и машинным интеллектом в бесчисленных приложениях.

1. Обнаружение объектов с открытым словарем: Передовые модели, такие как YOLO-World, используют мультимодальный подход, где текстовые токены взаимодействуют с визуальными признаками. Пользователь может вводить произвольные текстовые подсказки (например, "blue helmet"), которые модель токенизирует и сопоставляет с объектами на изображении. Это обеспечивает обучение с нулевым уровнем выборки, позволяя обнаруживать объекты, на распознавание которых модель не обучалась явно.

2. Генеративный ИИ: В системах генерации текста, таких как чат-боты, искусственный интеллект работает путем предсказания вероятности следующего токена в последовательности. Итеративно выбирая наиболее вероятный последующий токен, система строит связные предложения и абзацы, обеспечивая работу инструментов от автоматизированной техподдержки до виртуальных ассистентов.

Пример на Python: Использование текстовых токенов для детекции#

Следующий фрагмент кода демонстрирует, как пакет ultralytics использует текстовые токены для управления обнаружением объектов. Хотя современная модель YOLO26 рекомендуется для высокоскоростного вывода с фиксированными классами, архитектура YOLO-World уникальна тем, что позволяет пользователям определять классы в виде текстовых токенов во время выполнения.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Понимание токенов имеет фундаментальное значение для ориентации в мире генеративного ИИ и передовой аналитики. Помогают ли они чат-боту свободно поддерживать беседу или позволяют системе зрения различать тонкие классы объектов, токены остаются незаменимой валютой машинного интеллекта, используемой такими фреймворками, как PyTorch и TensorFlow.