Ficha

Comprender las fichas

Las fichas son las salidas discretas de un proceso llamado tokenización. En PNL, por ejemplo, una frase comoUltralytics YOLO es rápido y preciso" puede tokenizarse en palabras individuales: ["Ultralytics", "YOLO", "is", "fast", "and", "accurate"]. Dependiendo de la estrategia de tokenización específica, los tokens también podrían ser unidades de subpalabras (por ejemplo, "Ultra", "lítica") o incluso caracteres individuales. Este desglose transforma el texto continuo o los datos complejos en trozos manejables.

La razón por la que los tokens son cruciales es que la mayoría de los modelos de aprendizaje profundo, incluidas las potentes arquitecturas como los Transformers utilizados en muchos sistemas modernos de IA, no pueden procesar directamente datos brutos y no estructurados. Necesitan datos en un formato estructurado, a menudo numérico. La tokenización proporciona este puente. Una vez que los datos están tokenizados, cada token se suele asignar a una representación numérica, como un ID en un vocabulario o, más comúnmente, a representaciones vectoriales densas llamadas incrustaciones. Estas incrustaciones capturan las relaciones semánticas entre los tokens, que los modelos aprenden durante el entrenamiento.

Métodos de tokenización

Existen distintos métodos para descomponer los datos en fichas:

• Tokenización basada en palabras: Divide el texto basándose en los espacios y la puntuación. Es sencillo, pero tiene dificultades con vocabularios extensos y palabras desconocidas.
• Tokenización basada en caracteres: Utiliza caracteres individuales como fichas. Sirve para cualquier palabra, pero da lugar a secuencias muy largas.
• Tokenización de subpalabras: Un equilibrio entre los métodos de palabras y caracteres. Técnicas como la codificación por pares de bytes (BPE) o WordPiece dividen las palabras en subunidades comunes, manejando eficazmente grandes vocabularios y palabras raras. Se utilizan mucho en los Grandes Modelos Lingüísticos (LLM).

Fichas vs. Conceptos relacionados

Es importante distinguir las fichas de los términos relacionados:

• Token vs. Tokenización: Un token es la unidad de salida (por ejemplo,Ultralytics", "parche de imagen"), mientras que la tokenización es el proceso de creación de estas unidades a partir de los datos brutos.
• Token vs. Incrustación: Un token es una unidad discreta de entrada. Una incrustación suele ser un vector numérico denso que representa el token, capturando su significado de forma que el modelo pueda entenderlo. Las fichas suelen convertirse en incrustaciones de palabras o incrustaciones visuales antes de introducirlas en el modelo.

Aplicaciones de las fichas

Las fichas son fundamentales en varios ámbitos de la IA. He aquí dos ejemplos concretos:

1. Traducción automática: En servicios como Google Translate, primero se tokeniza una frase de entrada en una lengua. Estos tokens son procesados por un modelo de secuencia a secuencia (a menudo un Transformador), que luego genera tokens que representan la frase traducida en la lengua de destino. La elección de la tokenización influye significativamente en la precisión y la fluidez de la traducción. Los LLM como GPT-4 y BERT dependen en gran medida del procesamiento de símbolos para tareas como la traducción, la generación de texto y el análisis de sentimientos. Técnicas como el ajuste y el encadenamiento de símbolos implican la manipulación de secuencias de símbolos de entrada para guiar el comportamiento del modelo.

2. Visión por ordenador con Transformadores: Aunque tradicionalmente se han asociado a la PNL, los tokens son ahora fundamentales para los modelos avanzados de visión por ordenador, como los Transformadores de Visión (ViT). En un ViT, una imagen se divide en parches de tamaño fijo que no se solapan (por ejemplo, 16x16 píxeles). Cada parche se trata como una "ficha visual". Estos tokens se incrustan linealmente y se introducen en una arquitectura Transformadora, que utiliza mecanismos de atención para analizar las relaciones entre las distintas partes de la imagen. Este enfoque se utiliza para tareas como la clasificación de imágenes, la detección de objetos y la segmentación de imágenes. Modelos como el Segment Anything Model (SAM) utilizan este enfoque basado en tokens. Incluso en modelos convolucionales como Ultralytics YOLOv8 o el más reciente Ultralytics YOLO11el sistema de celdas cuadriculadas utilizado para la detección puede considerarse una forma implícita de tokenización espacial.

Entender los tokens es fundamental para comprender cómo interpretan y procesan la información los modelos de IA. A medida que evolucione la IA, el concepto de tokens y los métodos para crearlos seguirán siendo fundamentales para manejar diversos tipos de datos y construir modelos más sofisticados para aplicaciones que van desde el análisis de imágenes médicas a los vehículos autónomos. Plataformas como Ultralytics HUB proporcionan herramientas para gestionar conjuntos de datos y entrenar modelos, a menudo con datos implícita o explícitamente tokenizados.