Machine Translation

A tradução automática (MT) é a tradução automática de texto ou fala de um idioma para outro. É uma das tarefas mais antigas do processamento de linguagem natural (NLP) e uma das mais utilizadas: Google Translate, DeepL e Microsoft Translator traduzem páginas web, documentos, mensagens de chat, anúncios de produtos e conversas faladas numa escala que nenhuma equipa de tradutores humanos conseguiria igualar. Os sistemas atuais usam redes neuronais, e os grandes modelos de linguagem (LLMs) traduzem como uma das suas capacidades gerais.

Das regras às estatísticas e às redes neuronais#

A experiência Georgetown-IBM de 1954 traduziu mais de sessenta frases russas para inglês com um vocabulário de 250 palavras e seis regras gramaticais, e os seus organizadores previram que a tradução automática seria resolvida em poucos anos. Em 1966, o relatório ALPAC concluiu que a tradução automática era mais lenta e menos precisa do que a tradução humana, e o financiamento dos EUA para a investigação em tradução automática foi drasticamente reduzido. Os sistemas baseados em regras, como o SYSTRAN, fundado em 1968, codificavam manualmente dicionários e regras gramaticais para cada par de idiomas.

A tradução automática estatística aprendeu a traduzir a partir de dados. Em 1993, investigadores da IBM liderados por Peter Brown publicaram modelos de alinhamento de palavras que aprendiam quais palavras francesas correspondiam a quais palavras inglesas a partir dos registos bilingues do Parlamento canadiano, e a tradução automática baseada em frases (2003) traduzia grupos de várias palavras, a abordagem usada pelo Google Translate quando foi lançado em 2006. A tradução automática neuronal substituiu o processo estatístico por uma única rede treinada de ponta a ponta: o modelo sequência a sequência (2014) de Ilya Sutskever e colegas usava redes de memória de longo e curto prazo (LSTM) para codificar uma frase num único vetor e descodificá-la noutro idioma, e Dzmitry Bahdanau, Kyunghyun Cho e Yoshua Bengio adicionaram um mecanismo de atenção que permite ao descodificador voltar a consultar cada palavra de origem. O sistema neuronal da Google reduziu os erros de tradução em média 60% face ao sistema de produção baseado em frases numa avaliação humana lado a lado, realizada em 2016 com frases simples, e o Transformer, introduzido no ano seguinte para tradução, alcançou 28,4 BLEU de inglês para alemão e 41,8 de inglês para francês nos benchmarks WMT 2014.

Como funciona a tradução automática neuronal#

O texto de origem é dividido em tokens de subpalavras por esquemas de tokenização, como a codificação por pares de bytes, para que palavras raras e nomes se decomponham em elementos conhecidos. O codificador transforma a frase de origem inteira em vetores contextuais, e o descodificador escreve a tradução token a token, prestando atenção tanto aos tokens que já escreveu como, através da atenção cruzada, aos vetores do codificador:

Como o codificador lê a frase inteira antes de o descodificador escrever qualquer coisa, a tradução de cada palavra depende do seu contexto:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

O T5-small da Google, com 60 milhões de parâmetros e treinado com a tradução de inglês para alemão como uma das suas tarefas, traduz "bank" como "Bank" (a instituição financeira) em "Sie ging an die Bank, um ein Konto zu eröffnen." e como "Ufer" (margem do rio) em "Sie hatten ein Picknick am Ufer des Flusses." Também desloca "eröffnen" (abrir) para o fim da oração, como exige a ordem das palavras em alemão.

Avaliação da tradução#

O BLEU, apresentado por Kishore Papineni e colegas da IBM em 2002, avalia uma tradução pelas sequências de palavras que partilha com uma ou mais traduções humanas de referência, aplicando uma penalização a resultados demasiado curtos. É barato e reproduzível, mas atribui pontuações baixas a traduções corretas que formulam as ideias de maneira diferente das referências. Métricas aprendidas, como o COMET (2020), avaliam uma tradução com uma rede neuronal treinada com avaliações humanas de qualidade, e a tarefa partilhada de métricas WMT de 2022, intitulada "Stop Using BLEU", concluiu que as métricas neuronais correspondem mais de perto às avaliações humanas especializadas do que o BLEU.

Sistemas e desafios atuais#

O NLLB-200 (2022) da Meta traduz entre 200 idiomas, muitos com pouco texto digital, e melhorou o BLEU em 44% em relação ao estado da arte anterior no seu benchmark Flores-200. Os idiomas com poucos recursos não dispõem de dados de treino paralelos, por isso os sistemas geram pares sintéticos através da tradução inversa, um método de aumento de dados que traduz texto monolingue no idioma-alvo para o idioma de origem. Os sistemas neuronais também podem alucinar resultados fluentes sem relação com a origem, especialmente com entradas ruidosas ou de idiomas com poucos recursos. O género é uma fonte conhecida de viés: um pronome turco sem género pode ser traduzido como "he" para um médico e "she" para uma enfermeira, o que levou o Google Translate a apresentar traduções femininas e masculinas para algumas consultas em 2018. A tradução automática também se combina com outras modalidades: as aplicações de câmara dos telemóveis executam reconhecimento ótico de caracteres (OCR) em placas e menus antes de os traduzirem, e a tradução de fala encadeia conversão de fala em texto, tradução automática e conversão de texto em fala, ou executa as três tarefas num único modelo. A interface LLM da Ultralytics aceita um argumento image juntamente com o prompt, permitindo que um pipeline Python envie a fotografia de uma placa para um modelo de visão e linguagem e peça o texto em inglês numa única chamada.

Tradução automática e termos relacionados#

• NLP: O campo da computação que trabalha com a linguagem humana, do qual a tradução automática é uma das tarefas.
• Tradução com LLM: Modelos gerais, como GPT e Gemini, traduzem quando recebem um prompt e podem usar um documento ou glossário completo como contexto. Os modelos dedicados à tradução automática são treinados apenas para traduzir, e o NLLB-200 disponibiliza versões destiladas com 600 milhões e 1,3 mil milhões de parâmetros que abrangem os seus 200 idiomas.
• Localização: Adaptação de um produto a um mercado, incluindo datas, moedas, imagens e referências culturais. A tradução automática traduz o texto, e as equipas de localização reveem-no e adaptam-no.