Language Modeling

El modelado del lenguaje consiste en asignar una probabilidad a una secuencia de palabras o tokens. Según la regla de la cadena de probabilidades, P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1); por tanto, un modelo que predice cada token siguiente a partir de los anteriores define la probabilidad de cualquier texto, y muestrear esas predicciones genera texto nuevo. Este objetivo de predecir el siguiente token entrena todos los modelos GPT y la mayoría de los modelos de lenguaje de gran tamaño (LLM). Durante décadas antes de los LLM, modelos de lenguaje más pequeños clasificaban resultados candidatos en sistemas de reconocimiento de voz y traducción automática, y todavía sugieren la siguiente palabra en los teclados de los teléfonos.

Cómo genera texto un modelo de lenguaje#

Un modelo entrenado lee la instrucción, puntúa todos los tokens de su vocabulario y convierte las puntuaciones en probabilidades del siguiente token mediante una softmax. A continuación, una regla de decodificación elige un token, el modelo lo añade y el bucle se repite hasta que genera un token de fin o alcanza un límite de longitud. Así funciona la generación de texto:

El muestreo con una temperatura o el muestreo por núcleo sacrifica parte de la probabilidad a cambio de variedad. Como cada token depende de los que ya se han escrito, la respuesta llega token a token. La interfaz LLM de Ultralytics transmite stream=True al proveedor, de modo que un flujo de trabajo de YOLO26 que pide a un modelo que describa una escena detectada puede mostrar cada fragmento de texto en cuanto llega.

De los n-gramas a los modelos neuronales#

En su artículo de 1948 sobre teoría de la información, Claude Shannon creó aproximaciones de palabras y letras en inglés a partir de estadísticas de n-gramas. Un modelo de n-gramas estima P(siguiente palabra | n-1 palabras anteriores) contando la frecuencia de las secuencias de palabras en un corpus; los sistemas de reconocimiento de voz de IBM de las décadas de 1970 y 1980 se basaban en ellos. Un modelo de bigramas, con n = 2, muestra la idea en unas pocas líneas de Python:

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

Después de «the», el modelo predice «cat» y «dog» con una probabilidad de 0,33 cada uno, y «mat» y «rug» con una probabilidad de 0,17 cada uno. Asigna a «dog sat on the mat» después de «the» una probabilidad de 0,0278, aunque esa frase no aparece en el corpus, porque sí aparecen todos sus pares de palabras. Cualquier par que no esté en el corpus obtiene una probabilidad de cero; por eso, los modelos de n-gramas prácticos necesitan métodos de suavizado como Kneser-Ney y siguen sin poder utilizar un contexto de más de n-1 palabras.

El modelo probabilístico neuronal del lenguaje de Yoshua Bengio y sus colaboradores, publicado en 2003, sustituyó los recuentos por embeddings aprendidos y una red neuronal, de modo que las palabras similares comparten información estadística. Las redes neuronales recurrentes (RNN) y las LSTM ampliaron el contexto utilizable, y el transformer, con autoatención en toda la ventana de contexto, se convirtió en la arquitectura estándar a partir de 2017. En 2020, GPT-3 demostró que un modelo de lenguaje con 175.000 millones de parámetros podía aprender tareas nuevas a partir de ejemplos incluidos en su instrucción.

Modelado causal y enmascarado del lenguaje#

El modelado causal del lenguaje, o autorregresivo, predice cada token a partir de los tokens anteriores y es el objetivo de los modelos generativos. El modelado enmascarado del lenguaje oculta algunos tokens y los predice a partir del contexto situado a ambos lados. BERT se entrena de esta forma con el 15 % de sus tokens de entrada; el contexto bidireccional lo hace eficaz en tareas de comprensión, como la clasificación y el reconocimiento de entidades con nombre, aunque no puede generar texto de izquierda a derecha. Los modelos de difusión del lenguaje amplían el enmascaramiento con un generador que completa muchas posiciones en paralelo a lo largo de varios pasos.

Entrenamiento y evaluación#

El entrenamiento es aprendizaje autosupervisado: el propio texto sin procesar proporciona las etiquetas y el modelo minimiza la función de pérdida de entropía cruzada entre la distribución predicha y cada token siguiente real. La exponencial de esa pérdida media es la perplejidad, la métrica intrínseca estándar; las leyes de escalado describen cómo disminuye la pérdida al aumentar el tamaño de los modelos, los datos y la capacidad de cálculo. Un modelo base preentrenado solo continúa textos; el ajuste de instrucciones y el aprendizaje por refuerzo a partir de comentarios humanos (RLHF) lo convierten en un asistente que sigue instrucciones.

Modelado del lenguaje y términos relacionados#

• Modelo de lenguaje y LLM: Un modelo de lenguaje es cualquier modelo entrenado para esta tarea, desde una tabla de bigramas hasta un transformer. Un LLM es un modelo de lenguaje con miles de millones de parámetros entrenado con billones de tokens.
• Procesamiento del lenguaje natural (NLP): Campo completo de la informática dedicado al lenguaje humano, del que el modelado del lenguaje es una tarea.
• Modelado autorregresivo visual (VAR): Aplica a las imágenes la misma predicción del siguiente paso y genera mapas de tokens desde las escalas de resolución más gruesas hasta las más finas, en lugar de palabras.