Token

En la sofisticada arquitectura de la inteligencia artificial moderna, un token representa la unidad fundamental y atómica de información que procesa un modelo. Antes de que un algoritmo pueda interpretar una frase, analizar un script de software o reconocer objetos en una imagen, los datos de entrada brutos deben descomponerse en estos elementos discretos y estandarizados. Esta segmentación es un paso fundamental en el preprocesamiento de datos, ya que transforma las entradas no estructuradas en un formato numérico que las redes neuronales pueden procesar de manera eficiente. Aunque los humanos perciben el lenguaje como un flujo continuo de pensamientos o las imágenes como escenas visuales fluidas, los modelos computacionales necesitan estos bloques de construcción granulares para realizar operaciones como el reconocimiento de patrones y el análisis semántico.

Token frente a tokenización#

Para comprender la mecánica del aprendizaje automático, es esencial distinguir entre la unidad de datos y el proceso utilizado para crearla. Esta diferenciación evita confusiones al diseñar pipelines de datos y preparar material de entrenamiento en la Ultralytics Platform.

• Tokenización: Este es el proceso algorítmico (el verbo) de dividir los datos brutos en partes. Para el texto, esto puede implicar el uso de librerías como el Natural Language Toolkit (NLTK) para determinar dónde termina una unidad y empieza otra.
• Token: Este es el resultado obtenido (el sustantivo). Es el fragmento real de datos —como una palabra, un subtoken o un parche de imagen— que finalmente se mapea a un vector numérico conocido como embedding.

Tokens en diferentes dominios de IA#

La naturaleza de un token varía significativamente según la modalidad de los datos procesados, particularmente entre los dominios textual y visual.

Tokens de texto en NLP#

En el campo del procesamiento del lenguaje natural (PLN), los tokens son las entradas para los grandes modelos de lenguaje (LLMs). Los primeros enfoques se mapeaban estrictamente a palabras completas, pero las arquitecturas modernas utilizan algoritmos de subtokens como la codificación de pares de bytes (BPE). Este método permite a los modelos manejar palabras poco comunes dividiéndolas en sílabas significativas, equilibrando el tamaño del vocabulario con la cobertura semántica. Por ejemplo, la palabra "unhappiness" podría tokenizarse en "un", "happi" y "ness".

Tokens visuales en visión artificial#

El concepto de tokenización se ha expandido a la visión artificial con la llegada del Vision Transformer (ViT). A diferencia de las redes convolucionales tradicionales que procesan píxeles en ventanas deslizantes, los Transformers dividen una imagen en una cuadrícula de parches de tamaño fijo (por ejemplo, 16x16 píxeles). Cada parche se aplana y se trata como un token visual distinto. Este enfoque permite al modelo utilizar mecanismos de autoatención para comprender la relación entre partes distantes de una imagen, de manera similar a como Google Research aplicó originalmente los transformers al texto.

Aplicaciones en el mundo real#

Los tokens actúan como puente entre los datos humanos y la inteligencia de las máquinas en innumerables aplicaciones.

1. Detección de objetos de vocabulario abierto: Los modelos avanzados como YOLO-World utilizan un enfoque multimodal donde los tokens de texto interactúan con las características visuales. Un usuario puede introducir prompts de texto personalizados (por ejemplo, "casco azul"), los cuales el modelo tokeniza y compara con los objetos de la imagen. Esto permite el aprendizaje sin muestras previas, posibilitando la detección de objetos para los que el modelo no ha sido entrenado explícitamente.

2. IA generativa: En los sistemas de generación de texto como los chatbots, la IA opera prediciendo la probabilidad del siguiente token en una secuencia. Al seleccionar de forma iterativa el token subsiguiente más probable, el sistema construye frases y párrafos coherentes, impulsando herramientas que van desde la atención al cliente automatizada hasta los asistentes virtuales.

Ejemplo en Python: Uso de tokens de texto para detección#

El siguiente fragmento de código demuestra cómo el paquete ultralytics utiliza tokens de texto para guiar la detección de objetos. Aunque se recomienda el modelo de vanguardia YOLO26 para inferencias de alta velocidad y clases fijas, la arquitectura YOLO-World permite de forma única que los usuarios definan clases como tokens de texto en tiempo de ejecución.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model capable of understanding text tokens
model = YOLO("yolov8s-world.pt")

# Define specific classes; these text strings are tokenized internally
# The model will look specifically for these "tokens" in the visual data
model.set_classes(["bus", "backpack"])

# Run prediction on an image using the defined tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results showing only the tokenized classes
results[0].show()

Comprender los tokens es fundamental para navegar por el panorama de la IA generativa y el análisis avanzado. Ya sea permitiendo que un chatbot converse con fluidez o ayudando a un sistema de visión a distinguir entre clases de objetos sutiles, los tokens siguen siendo la moneda esencial de la inteligencia de las máquinas utilizada por frameworks como PyTorch y TensorFlow.