Token

En el panorama de la inteligencia artificial, un token sirve como la unidad atómica fundamental de información que procesa un modelo de aprendizaje automático. Antes de que una analizar una frase, un fragmento de código o de código o incluso una imagen, los datos brutos deben segmentarse en estas piezas discretas y manejables mediante un paso crítico del preprocesamiento de datos. Mientras que los humanos perciben el lenguaje como un flujo de palabras o las imágenes como una escena continua, los algoritmos requieren que estos datos se descompongan en elementos estandarizados para realizar los cálculos. en elementos estandarizados para realizar los cálculos con eficacia.

Token frente a Tokenización

Para entender cómo funcionan los modernos sistemas de aprendizaje profundo es esencial distinguir entre la unidad de datos y el proceso que los crea. Esta distinción suele aclarar comparando el "qué" con el "cómo".

• Ficha: Es la salida, el trozo de datos que se introduce en el modelo. En el tratamiento de textos, un token puede representar una palabra entera, parte de una palabra (subpalabra) o un solo carácter. En visión por ordenador, a menudo representa de píxeles.
• Tokenización: Es el proceso proceso algorítmico de dividir los datos brutos en tokens. Por ejemplo, las herramientas especializadas de bibliotecas como spaCy o NLTK gestionan las reglas de dónde termina un termina un token y empieza el siguiente.

El papel de los tokens en las arquitecturas de IA

Una vez tokenizados los datos, los tokens resultantes no se utilizan directamente como cadenas de texto o parches de imagen. En su lugar, se vectores numéricos conocidos como incrustaciones. En Estos vectores de alta dimensión captan el significado semántico y las relaciones entre los tokens, lo que permite a marcos como PyTorch puedan realizar operaciones matemáticas con ellos.

Tokens de texto en PNL

En Procesamiento del Lenguaje Natural (PLN) los tokens son las entradas para grandes modelos lingüísticos (LLM ) como la serie GPT. Los modelos modernos suelen utilizar algoritmos de tokenización de subpalabras, como la Codificación por pares de bytes (BPE). Este método equilibra Este método equilibra la eficiencia y el tamaño del vocabulario manteniendo las palabras comunes como tokens únicos y dividiendo las palabras raras en sílabas significativas. en sílabas significativas.

Fichas visuales en visión por ordenador

El concepto de fichas ha revolucionado el análisis de imágenes a través de arquitecturas como el Transformador de Visión (ViT). En lugar de procesamiento de píxeles mediante convolución, estos modelos dividen una imagen en una cuadrícula de parches de tamaño fijo (por ejemplo, 16x16 píxeles). Cada parche se aplana y se trata como un "token visual", lo que permite el uso de potentes mecanismos de transformación como el ViT. Transformer como autoatención para comprender el contexto global de de una imagen.

Aplicaciones en el mundo real

Los tokens son los componentes básicos de algunas de las capacidades más avanzadas de la IA actual.

1. Detección de objetos de vocabulario abierto: Modelos como YOLO utilizan un enfoque multimodal en el que interactúan imagen interactúan. Los usuarios pueden definir clases personalizadas (por ejemplo, "mochila azul") como indicaciones de texto. El modelo El modelo tokeniza estas indicaciones y las compara con los tokens visuales de la imagen para llevar a cabo la detección del aprendizaje sin necesidad de realizar ningún disparo. sin necesidad de reentrenamiento. reentrenamiento.
2. IA Generativa y Chatbots: Al interactuar con un chatbot, el sistema utiliza generación de texto para predecir el siguiente más probable de una secuencia. Esta predicción permite crear respuestas coherentes y contextualmente relevantes. coherentes y contextualmente relevantes, desde la atención al cliente hasta la finalización de códigos.

Ejemplo: Uso de tokens de texto para la detección

El siguiente ejemplo muestra cómo se utiliza la función ultralytics aprovecha los tokens entre bastidores. En una lista de clases de texto, el modelo tokeniza estas entradas para identificar objetos específicos en una imagen de forma dinámica.

from ultralytics import YOLO

# Load a YOLO-World model capable of understanding text tokens
model = YOLO("yolo11s-world.pt")

# Define custom classes (these are tokenized internally)
model.set_classes(["helmet", "vest"])

# Run prediction; the model matches visual features to the text tokens
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results
results[0].show()

Comprender los tokens es fundamental para entender cómo los modelos fundacionales tienden puentes entre entre los datos humanos no estructurados y la comprensión computacional. clasificación de imágenes o tareas lingüísticas lenguaje.