Machine Translation

La traducción automática (MT) es la traducción automática de texto o voz de un idioma a otro. Es una de las tareas más antiguas del procesamiento del lenguaje natural (NLP) y una de las más utilizadas: Google Translate, DeepL y Microsoft Translator traducen páginas web, documentos, mensajes de chat, fichas de productos y conversaciones habladas a una escala que ningún equipo de traductores humanos podría igualar. Los sistemas actuales utilizan redes neuronales, y los grandes modelos de lenguaje (LLMs) traducen como una de sus capacidades generales.

De las reglas a la estadística y las redes neuronales#

El experimento de Georgetown-IBM de 1954 tradujo más de sesenta frases del ruso al inglés con un vocabulario de 250 palabras y seis reglas gramaticales, y sus organizadores predijeron que la MT estaría resuelta en unos pocos años. En 1966, el informe ALPAC concluyó que la traducción automática era más lenta y menos precisa que la traducción humana, y se recortó drásticamente la financiación estadounidense para investigar la MT. Los sistemas basados en reglas, como SYSTRAN, fundada en 1968, codificaban manualmente diccionarios y reglas gramaticales para cada pareja de idiomas.

La MT estadística aprendía la traducción a partir de datos. En 1993, investigadores de IBM dirigidos por Peter Brown publicaron modelos de alineación de palabras que aprendían qué palabras francesas correspondían a qué palabras inglesas a partir de los registros bilingües del Parlamento canadiense; la MT basada en frases (2003) traducía fragmentos de varias palabras, el método que utilizó Google Translate cuando se lanzó en 2006. La MT neuronal sustituyó la cadena de procesamiento estadística por una única red entrenada de extremo a extremo: el modelo secuencia a secuencia de Ilya Sutskever y sus colegas (2014) utilizaba redes de memoria a largo y corto plazo (LSTM) para codificar una frase en un único vector y descodificarla en otro idioma, y Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio añadieron un mecanismo de atención que permite al descodificador volver a consultar cada palabra de origen. En una evaluación comparativa humana de frases sencillas realizada en 2016, el sistema neuronal de Google redujo los errores de traducción una media del 60 % frente a su sistema de producción basado en frases; el Transformer, presentado al año siguiente para la traducción, alcanzó 28,4 BLEU en inglés-alemán y 41,8 en inglés-francés en las pruebas de referencia WMT 2014.

Cómo funciona la traducción automática neuronal#

El texto de origen se divide en tokens de subpalabras mediante esquemas de tokenización como la codificación por pares de bytes, de modo que las palabras y los nombres poco frecuentes se descomponen en fragmentos conocidos. El codificador convierte toda la frase de origen en vectores contextuales, y el descodificador escribe la traducción token a token, prestando atención tanto a los tokens que ya ha escrito como, mediante la atención cruzada, a los vectores del codificador:

Como el codificador lee la frase completa antes de que el descodificador escriba nada, la traducción de cada palabra depende de su contexto:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

El T5-small de Google, con 60 millones de parámetros y entrenado con la traducción inglés-alemán como una de sus tareas, traduce «bank» como «Bank» (la entidad financiera) en «Sie ging an die Bank, um ein Konto zu eröffnen.» y como «Ufer» (la orilla de un río) en «Sie hatten ein Picknick am Ufer des Flusses.». También desplaza «eröffnen» (abrir) al final de su cláusula, como exige el orden de las palabras en alemán.

Evaluación de la traducción#

BLEU, presentado por Kishore Papineni y sus colegas de IBM en 2002, puntúa una traducción según la coincidencia de secuencias de palabras con una o varias traducciones humanas de referencia y penaliza las traducciones demasiado cortas. Es barato y reproducible, pero asigna puntuaciones bajas a traducciones correctas que expresan las cosas de forma distinta a las referencias. Las métricas aprendidas, como COMET (2020), puntúan las traducciones con una red neuronal entrenada con valoraciones humanas de calidad, y la tarea compartida de métricas WMT de 2022, titulada «Dejad de usar BLEU», concluyó que las métricas neuronales coinciden más con las valoraciones de expertos humanos que BLEU.

Sistemas actuales y desafíos#

NLLB-200 de Meta (2022) traduce entre 200 idiomas, muchos de ellos con poco texto digital, y mejoró BLEU un 44 % respecto al estado del arte anterior en su prueba de referencia Flores-200. Los idiomas con pocos recursos carecen de datos de entrenamiento paralelos, así que los sistemas generan pares sintéticos mediante traducción inversa, un método de aumento de datos que traduce texto monolingüe del idioma de destino al idioma de origen. Los sistemas neuronales también pueden alucinar texto fluido que no guarda relación con el original, especialmente cuando la entrada es ruidosa o procede de un idioma con pocos recursos. El género es una fuente conocida de sesgo: un pronombre turco sin género puede traducirse como «él» para un médico y «ella» para una enfermera, lo que llevó a Google Translate a mostrar traducciones tanto en femenino como en masculino para algunas consultas en 2018. La MT también se combina con otras modalidades: las aplicaciones de cámara de los móviles aplican el reconocimiento óptico de caracteres (OCR) a señales y menús antes de traducirlos, y la traducción de voz encadena voz a texto, MT y texto a voz, o realiza las tres tareas en un único modelo. La interfaz de LLM de Ultralytics acepta el argumento image junto con la petición, de modo que una canalización de Python puede enviar una foto de una señal a un modelo de visión y lenguaje y pedirle que devuelva su texto en inglés en una sola llamada.

Traducción automática y términos relacionados#

• NLP: Campo de la informática que trabaja con el lenguaje humano, del que la MT es una de sus tareas.
• Traducción con LLM: Los modelos generales, como GPT y Gemini, traducen cuando se les solicita y pueden utilizar un documento completo o un glosario como contexto. Los modelos de MT específicos se entrenan exclusivamente para traducir, y NLLB-200 ofrece versiones destiladas de 600 millones y 1.300 millones de parámetros que abarcan sus 200 idiomas.
• Localización: Adaptación de un producto a un mercado, incluidas las fechas, las monedas, las imágenes y las referencias culturales. La MT traduce el texto y los equipos de localización lo revisan y adaptan.