Tokenización

La tokenización es el proceso fundamental de convertir un flujo de datos en bruto -como texto, código o imágenes- en unidades más pequeñas y discretas, conocidas como tokens, discretas conocidas como tokens. Esta transformación actúa como puente crítico en el preprocesamiento de datos, traduciendo la información información humana no estructurada a un formato numérico que sistemas de Inteligencia Artificial (IA) puedan interpretar. Al dividir los datos complejos en partes manejables, la tokenización permite que los modelos de aprendizaje automático identifiquen patrones, aprender relaciones semánticas y realizar sofisticadas tareas de inferencia. Sin este paso inicial, las sin este paso inicial, las redes neuronales que modernas serían incapaces de procesar los enormes conjuntos de datos necesarios para el entrenamiento.

Tokenización vs. Token

Aunque los términos se utilizan a menudo muy próximos, es importante distinguir el método del resultado.

• La tokenización es la acción o el algoritmo que se aplica a los datos. Implica reglas específicas para dividir cadenas o segmentar imágenes. Herramientas como spaCy o NLTK facilitan este proceso para el texto.
• Token es la unidad de salida generada por el proceso. Para más detalles sobre la naturaleza de estas unidades, consulte la página del glosario correspondiente a Token.

Cómo funciona la tokenización en la IA

La aplicación de la tokenización varía significativamente en función del tipo de datos que se procesen, aunque el objetivo último de generar representaciones de los datos sigue siendo el mismo.

Tokenización de textos en PNL

En Procesamiento del Lenguaje Natural (PLN), el proceso consiste en dividir las frases en palabras, subpalabras o caracteres. Los primeros métodos se limitaban a dividir el texto por espacios en blanco, pero los Modelos de Lenguaje Amplio (LLM) utilizan algoritmos avanzados como la codificación por pares de bytes (BPE) para palabras raras. Esto permite a modelos como GPT-4 procesar vocabulario complejo sin necesidad de un diccionario infinito. diccionario infinito.

Tokenización visual en visión por ordenador

Tradicionalmente, la visión por ordenador (CV) se basaba en matrices de píxeles. Sin embargo, la aparición del Transformador de Visión (ViT) introdujo el concepto de dividir una imagen en parches de tamaño fijo (por ejemplo, 16x16 píxeles). Estos parches se aplanan y se tratan como tokens visuales, lo que permite al modelo utilizar autoatención para ponderar la importancia de regiones de la imagen, de forma similar a cómo se procesa una frase.

Aplicaciones en el mundo real

La tokenización no es sólo un concepto teórico; impulsa muchas de las aplicaciones de IA que se utilizan a diario.

1. Detección multimodal: Modelos avanzados como YOLO tienden un puente entre el texto y la visión. Mediante usuario (por ejemplo, "coche rojo") y comparándolos con las características visuales, estos modelos detección de objetos de vocabulario abierto sin necesidad de reentrenarse explícitamente en nuevas clases.
2. Traducción de idiomas: Servicios como Google Translate se basan en dividir el texto de entrada en tokens, traduciéndolos mediante un modelo modelo secuencia a secuencia, y reensamblar los tokens de salida en el idioma de destino.
3. Arte generativo: Modelos capaces de generación de texto a imagen, como Stable Diffusion, tokenizan las indicaciones de texto para guiar el proceso de eliminación de ruido. para guiar el proceso de eliminación de ruido y crear imágenes que coincidan con el significado semántico de los tokens introducidos.

Ejemplo: Tokenización en YOLO

El siguiente ejemplo muestra cómo ultralytics utiliza la tokenización implícita dentro del Modelo YOLO flujo de trabajo. El sitio .set_classes() tokeniza la lista de texto para guiar dinámicamente el enfoque de detección del modelo.

from ultralytics import YOLO

# Load a pre-trained YOLO-World model
model = YOLO("yolov8s-world.pt")

# Define custom classes; the model tokenizes these strings to search for specific objects
model.set_classes(["backpack", "person"])

# Run prediction on an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show results (only detects the tokenized classes defined above)
results[0].show()

Importancia en el rendimiento del modelo

La elección de la estrategia de tokenización influye la precisión y la eficiencia computacional. Una tokenización ineficiente en de vocabulario" en PNL o la pérdida de detalles en la segmentación de imágenes. segmentación de imágenes. Marcos como PyTorch y TensorFlow ofrecen herramientas flexibles para optimizar este paso. A medida que evolucionan las arquitecturas -como las últimas YOLO11-el procesamiento eficiente de los datos garantiza que los modelos puedan ejecutar inferencia en tiempo real en hardware diverso, desde desde potentes GPU en la nube hasta dispositivos periféricos.