Machine Translation

Maschinelle Übersetzung (MT) ist die automatische Übersetzung von Text oder Sprache von einer Sprache in eine andere. Sie gehört zu den ältesten Aufgaben der Sprachverarbeitung (NLP) und wird besonders häufig eingesetzt: Google Translate, DeepL und Microsoft Translator übersetzen Webseiten, Dokumente, Chatnachrichten, Produktangebote und gesprochene Gespräche in einem Umfang, den kein Team menschlicher Übersetzer erreichen könnte. Heutige Systeme verwenden neuronale Netze, und große Sprachmodelle (LLMs) übersetzen als eine ihrer allgemeinen Fähigkeiten.

Von Regeln über Statistik zu neuronalen Netzen#

Das Georgetown-IBM-Experiment von 1954 übersetzte mehr als sechzig russische Sätze mit einem Wortschatz von 250 Wörtern und sechs Grammatikregeln ins Englische. Die Organisatoren sagten voraus, dass maschinelle Übersetzung innerhalb weniger Jahre gelöst sein würde. 1966 kam der ALPAC-Bericht zu dem Schluss, dass maschinelle Übersetzung langsamer und weniger genau als menschliche Übersetzung war; die US-Förderung der Forschung zur maschinellen Übersetzung wurde daraufhin stark gekürzt. Regelbasierte Systeme wie SYSTRAN, 1968 gegründet, enthielten von Hand erstellte Wörterbücher und Grammatikregeln für jedes Sprachpaar.

Die statistische maschinelle Übersetzung lernte Übersetzungen stattdessen aus Daten. IBM-Forschende unter der Leitung von Peter Brown veröffentlichten 1993 Wortausrichtungsmodelle, die anhand zweisprachiger Protokolle des kanadischen Parlaments lernten, welche französischen Wörtern welchen englischen Wörtern entsprechen. Die phrasenbasierte maschinelle Übersetzung (2003) übersetzte Wortgruppen – ein Ansatz, den Google Translate bei seiner Einführung 2006 verwendete. Die neuronale maschinelle Übersetzung ersetzte die statistische Verarbeitungskette durch ein einziges, durchgängig trainiertes Netz: Ilya Sutskever und seine Kollegen verwendeten in ihrem Sequenz-zu-Sequenz-Modell (2014) Netze mit Langzeit-Kurzzeitgedächtnis (LSTM), um einen Satz in einen Vektor zu kodieren und ihn in einer anderen Sprache zu dekodieren. Dzmitry Bahdanau, Kyunghyun Cho und Yoshua Bengio ergänzten einen Aufmerksamkeitsmechanismus, mit dem der Decoder auf jedes Wort der Quelle zurückblicken kann. Bei einer menschlichen direkten Vergleichsbewertung einfacher Sätze im Jahr 2016 verringerte das neuronale System von Google Übersetzungsfehler gegenüber dem produktiven phrasenbasierten System im Durchschnitt um 60 %. Der im darauffolgenden Jahr für die Übersetzung eingeführte Transformer erreichte auf den Benchmarks von WMT 2014 einen BLEU-Wert von 28,4 für Englisch-Deutsch und 41,8 für Englisch-Französisch.

So funktioniert neuronale maschinelle Übersetzung#

Der Quelltext wird durch Verfahren wie Byte-Pair-Encoding in Teilwort-Tokens zerlegt, ein Vorgang, der als Tokenisierung bezeichnet wird. So werden seltene Wörter und Namen in bekannte Bestandteile zerlegt. Der Encoder wandelt den gesamten Quellsatz in kontextbezogene Vektoren um. Der Decoder schreibt die Übersetzung Token für Token und berücksichtigt dabei sowohl die bereits geschriebenen Tokens als auch – über Cross-Attention – die Vektoren des Encoders:

Da der Encoder den ganzen Satz liest, bevor der Decoder etwas schreibt, hängt die Übersetzung jedes Wortes von seinem Kontext ab:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

Googles T5-small mit 60 Millionen Parametern, das unter anderem mit Englisch-Deutsch-Übersetzungen trainiert wurde, gibt „bank“ (das Geldinstitut) in „Sie ging an die Bank, um ein Konto zu eröffnen.“ als „Bank“ und „bank“ (Flussufer) in „Sie hatten ein Picknick am Ufer des Flusses.“ als „Ufer“ wieder. Außerdem verschiebt es „eröffnen“ ans Ende des Satzteils, wie es die deutsche Wortstellung erfordert.

Übersetzungen bewerten#

BLEU, 2002 von Kishore Papineni und seinen Kollegen bei IBM eingeführt, bewertet eine Übersetzung anhand der Wortfolgen, die sich mit einer oder mehreren menschlichen Referenzübersetzungen überschneiden. Dabei wird eine zu kurze Ausgabe abgewertet. BLEU ist kostengünstig und reproduzierbar, bewertet aber korrekte Übersetzungen niedrig, wenn sie die Dinge anders formulieren als die Referenzen. Gelernte Metriken wie COMET (2020) bewerten Übersetzungen mit einem neuronalen Netz, das anhand menschlicher Qualitätsurteile trainiert wurde. Die gemeinsame Metrikaufgabe von WMT aus dem Jahr 2022 mit dem Titel „Stop Using BLEU“ ergab, dass neuronale Metriken stärker mit den Bewertungen menschlicher Fachleute übereinstimmen als BLEU.

Aktuelle Systeme und Herausforderungen#

Metas NLLB-200 (2022) übersetzt zwischen 200 Sprachen, von denen viele nur über wenige digitale Texte verfügen, und verbesserte den BLEU-Wert auf dem Flores-200-Benchmark gegenüber dem vorherigen Stand der Technik um 44 %. Für Sprachen mit wenigen Ressourcen gibt es kaum parallele Trainingsdaten. Daher erzeugen Systeme mithilfe der Rückübersetzung synthetische Paare – eine Methode zur Datenerweiterung, bei der einsprachige Texte in der Zielsprache in die Quellsprache übersetzt werden. Neuronale Systeme können auch flüssige Ausgaben halluzinieren, die keinen Bezug zur Quelle haben, insbesondere bei verrauschten Eingaben oder Sprachen mit wenigen Ressourcen. Geschlecht ist eine bekannte Quelle für Verzerrungen: Ein geschlechtsneutrales türkisches Pronomen kann bei einem Arzt als „er“ und bei einer Pflegekraft als „sie“ wiedergegeben werden. Deshalb zeigte Google Translate 2018 für manche Anfragen sowohl weibliche als auch männliche Übersetzungen an. Maschinelle Übersetzung wird auch mit anderen Modalitäten kombiniert: Kamera-Apps auf Smartphones führen optische Zeichenerkennung (OCR) auf Schildern und Speisekarten aus, bevor sie diese übersetzen. Bei der Sprachübersetzung werden Sprache-zu-Text, maschinelle Übersetzung und Text-zu-Sprache aneinandergereiht oder alle drei Aufgaben in einem Modell ausgeführt. Die Ultralytics-LLM-Schnittstelle akzeptiert neben der Eingabeaufforderung ein Argument image. So kann eine Python-Pipeline einem Vision-Language-Modell ein Foto eines Schildes senden und es in einem einzigen Aufruf bitten, den Text auf Englisch wiederzugeben.

Maschinelle Übersetzung und verwandte Begriffe#

• NLP: Das Fachgebiet der Verarbeitung menschlicher Sprache mit Computern, zu dem auch die maschinelle Übersetzung gehört.
• Übersetzung mit LLMs: Allgemeine Modelle wie GPT und Gemini übersetzen auf Anfrage und können ein ganzes Dokument oder Glossar als Kontext verwenden. Spezialisierte Modelle für maschinelle Übersetzung werden ausschließlich mit Übersetzungen trainiert. NLLB-200 umfasst destillierte Versionen mit 600 Millionen und 1,3 Milliarden Parametern, die alle 200 Sprachen abdecken.
• Lokalisierung: Anpassung eines Produkts an einen Markt, einschließlich Datumsangaben, Währungen, Bildern und kulturellen Bezügen. Die maschinelle Übersetzung übersetzt den Text; Lokalisierungsteams prüfen und bearbeiten ihn.