Transformer

Un Transformer es una arquitectura de deep learning que se basa en un mecanismo llamado autoatención para procesar datos de entrada secuenciales, como lenguaje natural o características visuales. Presentado originalmente por investigadores de Google en el influyente artículo Attention Is All You Need, el Transformer revolucionó el campo de la inteligencia artificial (IA) al prescindir de las limitaciones de procesamiento secuencial de las redes neuronales recurrentes (RNNs) anteriores. En su lugar, los Transformers analizan secuencias enteras de datos de manera simultánea, lo que permite una paralelización masiva y tiempos de entrenamiento notablemente más rápidos en hardware moderno como GPUs.

Cómo funcionan los Transformers#

La innovación principal del Transformer es el mecanismo de autoatención. Esto permite al modelo ponderar la importancia de las diferentes partes de los datos de entrada en relación entre sí. Por ejemplo, en una frase, el modelo puede aprender que la palabra "banco" se relaciona más estrechamente con "dinero" que con "río" basándose en el contexto circundante.

Esta arquitectura generalmente consta de dos componentes principales:

• Encoder: Procesa los datos de entrada en una representación numérica rica o embedding.
• Decodificador (Decoder): Utiliza la salida del codificador para generar el resultado final, como una frase traducida o un cuadro delimitador predicho.

En el ámbito de la visión por ordenador (CV), los modelos suelen emplear una variante llamada Vision Transformer (ViT). En lugar de procesar tokens de texto, la imagen se divide en parches de tamaño fijo (p. ej., 16x16 píxeles). Estos parches se aplanan y se tratan como una secuencia, lo que permite al modelo capturar el "contexto global" —comprendiendo las relaciones entre partes distantes de una imagen— de manera más eficaz que una red neuronal convolucional (CNN) estándar.

Transformers frente a conceptos relacionados#

Es importante distinguir la arquitectura Transformer de los términos relacionados:

• Mecanismo de atención: Este es el concepto general de centrarse en partes específicas de los datos. El Transformer es una arquitectura específica construida enteramente alrededor de capas de atención, mientras que otros modelos pueden utilizar la atención solo como un pequeño complemento.
• Modelo de lenguaje grande (LLM): Términos como "GPT" se refieren a modelos específicos entrenados con grandes cantidades de texto. Casi todos los LLM modernos utilizan la arquitectura Transformer como su motor subyacente.

Aplicaciones en el mundo real#

La versatilidad de los Transformers ha llevado a su adopción en diversos sectores:

1. Imagen médica: En la IA en la sanidad, los Transformers se utilizan para tareas complejas como el análisis de imágenes médicas. Su capacidad para comprender las relaciones espaciales globales ayuda a detectar anomalías sutiles en exploraciones de resonancia magnética (MRI) o tomografía computarizada (CT) de alta resolución que las CNN centradas en características locales podrían pasar por alto.

2. Sistemas autónomos: Para los vehículos autónomos, comprender la trayectoria de los peatones y otros vehículos es fundamental. Los Transformers sobresalen en la comprensión de vídeo mediante el seguimiento de objetos a través de fotogramas temporales, prediciendo movimientos futuros para garantizar una navegación segura.

Detección de objetos con Transformers#

Aunque las CNN han dominado tradicionalmente la detección de objetos, los modelos basados en Transformers como el Real-Time Detection Transformer (RT-DETR) han surgido como alternativas potentes. RT-DETR combina la velocidad de los backbones de CNN con la precisión de las cabezas de decodificación de Transformers.

Sin embargo, los modelos puramente Transformer pueden ser pesados a nivel computacional. Para muchas aplicaciones perimetrales, los modelos híbridos altamente optimizados como YOLO26 —que integran mecanismos de atención eficientes con un procesamiento convolucional rápido— ofrecen un equilibrio superior entre velocidad y precisión. Puedes gestionar el entrenamiento y el despliegue de estos modelos fácilmente a través de Ultralytics Platform, que optimiza el flujo de trabajo desde la anotación de conjuntos de datos hasta la exportación de modelos.

Ejemplo en Python: Uso de RT-DETR#

El siguiente ejemplo demuestra cómo realizar inferencias utilizando un modelo basado en Transformer dentro del paquete ultralytics. Este código carga un modelo RT-DETR preentrenado y detecta objetos en una imagen.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Para lecturas adicionales sobre las bases matemáticas, la documentación de PyTorch sobre capas de Transformer proporciona profundidad técnica, mientras que la guía de IBM sobre Transformers ofrece una perspectiva empresarial de alto nivel.