BERT (Bidirectional Encoder Representations from Transformers)

BERT (Representaciones bidireccionales del codificador a partir de Transformers) es una innovadora arquitectura de aprendizaje profundo diseñada por investigadores de Google para ayudar a las máquinas a comprender mejor los matices del lenguaje humano. Presentado en 2018, BERT revolucionó el campo del Procesamiento del lenguaje natural (NLP) al introducir un método de entrenamiento bidireccional. A diferencia de los modelos anteriores, que leían el texto secuencialmente de izquierda a derecha o de derecha a izquierda, BERT analiza el contexto de una palabra observando simultáneamente las palabras que aparecen tanto antes como después de ella. Este enfoque permite al modelo captar significados sutiles, modismos y homónimos (palabras con varios significados) de forma mucho más eficaz que sus predecesores.

Cómo funciona BERT#

En esencia, BERT se basa en la arquitectura Transformer, concretamente en el mecanismo del codificador. La naturaleza «bidireccional» se consigue mediante una técnica de entrenamiento denominada modelado del lenguaje enmascarado (MLM). Durante el preentrenamiento, aproximadamente el 15 % de las palabras de una frase se enmascaran (se ocultan) aleatoriamente y el modelo intenta predecir las palabras que faltan basándose en el contexto circundante. Esto obliga al modelo a aprender representaciones bidireccionales profundas.

Además, BERT utiliza la predicción de la siguiente frase (NSP) para comprender la relación entre frases. En esta tarea, se proporcionan al modelo pares de frases y debe determinar si la segunda frase se deriva lógicamente de la primera. Esta capacidad es crucial para tareas que requieren comprender el discurso, como la respuesta a preguntas y el resumen de textos.

Aplicaciones en el mundo real#

La versatilidad de BERT lo ha convertido en un componente estándar de muchos sistemas modernos de IA. Estos son dos ejemplos concretos de su aplicación:

1. Optimización para motores de búsqueda: Google integró BERT en sus algoritmos de búsqueda para interpretar mejor las consultas complejas. Por ejemplo, en la consulta «2019 brazil traveler to usa need a visa», la palabra «to» es fundamental. Los modelos tradicionales solían tratar «to» como una palabra vacía (palabras comunes que se filtran), pasando por alto la relación de dirección. BERT entiende que el usuario es brasileño y viaja a USA, no en la dirección contraria, y ofrece resultados de búsqueda muy relevantes.

2. Análisis de sentimientos en los comentarios de clientes: Las empresas utilizan BERT para analizar automáticamente miles de reseñas de clientes o tickets de soporte. Como BERT entiende el contexto, puede distinguir entre «This vacuum sucks» (sentimiento negativo) y «This vacuum sucks up all the dirt» (sentimiento positivo). Este preciso análisis de sentimientos ayuda a las empresas a clasificar los problemas de soporte y hacer un seguimiento preciso de la salud de la marca.

Comparación con conceptos relacionados#

Es útil distinguir BERT de otras arquitecturas destacadas para comprender su nicho específico.

• BERT frente a GPT (Transformer generativo preentrenado): Aunque ambos utilizan la arquitectura Transformer, sus objetivos son diferentes. BERT utiliza la pila del codificador y está optimizado para tareas de comprensión y discriminación (por ejemplo, clasificación y extracción de entidades). En cambio, GPT utiliza la pila del decodificador y está diseñado para la generación de texto, prediciendo la siguiente palabra de una secuencia para escribir ensayos o código.
• BERT frente a YOLO26: Estos modelos operan en dominios diferentes. BERT procesa datos de texto secuenciales para tareas lingüísticas. YOLO26 es un modelo de visión de última generación que procesa cuadrículas de píxeles para la detección de objetos en tiempo real. Sin embargo, los sistemas multimodales modernos suelen combinarlos; por ejemplo, un modelo YOLO podría detectar objetos en una imagen y, a continuación, un modelo basado en BERT podría responder a preguntas sobre sus relaciones.

Ejemplo de implementación: tokenización#

Para utilizar BERT, el texto sin procesar debe convertirse en tokens numéricos. El modelo utiliza un vocabulario específico (como WordPiece) para dividir las palabras. Aunque BERT es un modelo de texto, en visión por ordenador se aplican conceptos de preprocesamiento similares, ya que las imágenes se dividen en parches.

El siguiente fragmento de Python muestra cómo utilizar la biblioteca transformers para tokenizar una frase destinada al procesamiento con BERT. Ten en cuenta que, aunque Ultralytics se centra en la visión, comprender la tokenización es fundamental para los flujos de trabajo de IA multimodal.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

Importancia en el panorama de la IA#

La introducción de BERT marcó el «momento ImageNet» para el NLP, al demostrar que el aprendizaje por transferencia —preentrenar un modelo con un conjunto de datos masivo y ajustarlo después para una tarea específica— era muy eficaz para el texto. Esto redujo la necesidad de arquitecturas específicas para cada tarea y de grandes conjuntos de datos etiquetados para cada nuevo problema.

Hoy en día, variantes de BERT, como RoBERTa y DistilBERT, siguen impulsando la eficiencia en aplicaciones de IA en el perímetro. Los desarrolladores que buscan crear soluciones integrales de IA suelen integrar estos modelos de lenguaje con las herramientas de visión disponibles en la Ultralytics Platform para crear sistemas capaces tanto de ver como de comprender el mundo.