Token

В сложной архитектуре современного искусственного интеллекта токен представляет собой фундаментальную, атомарную единицу информации, которую обрабатывает модель. Прежде чем алгоритм сможет интерпретировать предложение, проанализировать программный скрипт или распознать объекты на изображении, исходные данные должны быть разбиты на эти дискретные, стандартизированные элементы. Эта сегментация является ключевым шагом в предварительной обработке данных, преобразуя неструктурированные входные данные в числовой формат, который нейронные сети могут эффективно вычислять. В то время как люди воспринимают язык как непрерывный поток мыслей или изображения как целостные визуальные сцены, вычислительным моделям требуются эти гранулярные строительные блоки для выполнения таких операций, как распознавание образов и семантический анализ.

Link to this sectionТокен против токенизации#

Чтобы понять механизмы машинного обучения, важно различать единицу данных и процесс, используемый для ее создания. Это разграничение помогает избежать путаницы при проектировании конвейеров данных и подготовке обучающих материалов на платформе Ultralytics.

• Токенизация: Это алгоритмический процесс (глагол) разбиения исходных данных на части. Для текста это может включать использование библиотек, таких как Natural Language Toolkit (NLTK), для определения того, где заканчивается одна единица и начинается другая.
• Токен: Это полученный результат (существительное). Это фактический фрагмент данных — например, слово, подслово или фрагмент изображения, — который в конечном итоге отображается в числовой вектор, известный как эмбеддинг.

Link to this sectionТокены в различных областях ИИ#

Природа токена значительно варьируется в зависимости от модальности обрабатываемых данных, особенно между текстовыми и визуальными доменами.

Link to this sectionТекстовые токены в NLP#

В области обработки естественного языка (NLP) токены являются входными данными для больших языковых моделей (LLM). Ранние подходы строго сопоставлялись с целыми словами, но современные архитектуры используют алгоритмы подслов, такие как Byte Pair Encoding (BPE). Этот метод позволяет моделям обрабатывать редкие слова, разбивая их на значимые слоги, балансируя размер словаря с семантическим охватом. Например, слово «unhappiness» может быть токенизировано на «un», «happi» и «ness».

Link to this sectionВизуальные токены в компьютерном зрении#

Концепция токенизации распространилась на компьютерное зрение с появлением Vision Transformer (ViT). В отличие от традиционных сверточных сетей, которые обрабатывают пиксели в скользящих окнах, трансформеры разбивают изображение на сетку из патчей фиксированного размера (например, 16x16 пикселей). Каждый патч выравнивается и рассматривается как отдельный визуальный токен. Этот подход позволяет модели использовать механизмы self-attention для понимания взаимосвязи между удаленными частями изображения, подобно тому, как Google Research первоначально применяли трансформеры к тексту.

Link to this sectionРеальные приложения#

Токены служат мостом между человеческими данными и машинным интеллектом в бесчисленных приложениях.

1. Детекция объектов с открытым словарем: Передовые модели, такие как YOLO-World, используют мультимодальный подход, где текстовые токены взаимодействуют с визуальными признаками. Ты можешь вводить пользовательские текстовые подсказки (например, «синий шлем»), которые модель токенизирует и сопоставляет с объектами на изображении. Это позволяет осуществлять обучение с нулевым примером (zero-shot learning), обеспечивая обнаружение объектов, на которых модель не обучалась напрямую.

2. Генеративный ИИ: В системах генерации текста, таких как чат-боты, ИИ работает путем прогнозирования вероятности следующего токена в последовательности. Итеративно выбирая наиболее вероятный последующий токен, система выстраивает связные предложения и абзацы, обеспечивая работу инструментов от автоматизированной поддержки клиентов до виртуальных помощников.

Link to this sectionПример на Python: Использование текстовых токенов для детекции#

Следующий фрагмент кода демонстрирует, как пакет ultralytics использует текстовые токены для управления детектированием объектов. Хотя современная модель YOLO26 рекомендуется для высокоскоростного вывода на фиксированных классах, архитектура YOLO-World уникальна тем, что позволяет тебе определять классы как текстовые токены во время выполнения программы.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Понимание токенов является фундаментальным для навигации в ландшафте генеративного ИИ и передовой аналитики. Независимо от того, позволяешь ли ты чат-боту общаться свободно или помогаешь системе зрения различать тонкие классы объектов, токены остаются важнейшей валютой машинного интеллекта, используемой такими фреймворками, как PyTorch и TensorFlow.