Natural Language Understanding (NLU)

Das Verstehen natürlicher Sprache (NLU) ist der Teil der Verarbeitung natürlicher Sprache (NLP), der ermittelt, was ein Text bedeutet: was der Verfasser möchte, welche Dinge erwähnt werden und welche Lesart gemeint ist, wenn die Wörter mehrere Deutungen zulassen. Ein NLU-System wandelt „Reserviere morgen um 7 einen Tisch für zwei“ in eine strukturierte Anfrage um, etwa in eine Absicht wie reserve_table mit Angaben zur Personenzahl, Uhrzeit und Datum, auf die Software reagieren kann. Virtuelle Assistenten, Kundenservice-Chatbots und Suchmaschinen führen bei jeder Anfrage NLU aus, bevor sie entscheiden, was sie tun oder sagen.

Warum Sprache schwer zu verstehen ist#

Dieselben Wörter können auf jeder Ebene unterschiedliche Bedeutungen haben. „Bank“ kann ein Geldinstitut oder ein Flussufer bezeichnen; „Ich sah den Mann mit dem Teleskop“ sagt nicht, wer das Teleskop hält. Und in „Der Pokal passt nicht in den braunen Koffer, weil er zu groß ist“ bezieht sich „er“ auf den Pokal. Ersetzt man „groß“ durch „klein“, bezieht sich „er“ dagegen auf den Koffer. Hector Levesque schlug solche Winograd-Schemata 2011 als Test für maschinelles Verstehen vor, da ihre Auflösung Weltwissen und nicht bloß Wortstatistiken erfordert. Frühe regelbasierte Systeme wie Terry Winograds SHRDLU (1968–1970) verstanden getippte Befehle nur in einer simulierten Welt aus Bausteinen, die durch ihre Regeln vollständig beschrieben war.

Zentrale NLU-Aufgaben#

• Absichtsklassifizierung: Ordnet eine Anfrage einem der Ziele einer Anwendung zu, etwa Kontostand abfragen oder eine Karte sperren.
• Erkennung benannter Entitäten (NER): Findet Personen, Orte, Produkte, Daten und Beträge, die in einer Anfrage erwähnt werden und mit denen Assistenten die Angaben zu einer Absicht ausfüllen.
• Semantisches Parsen: Ordnet einen Satz einer formalen Darstellung zu, die ein Programm ausführen kann, etwa einer Datenbankabfrage oder einem API-Aufruf.
• Koreferenzauflösung: Verknüpft Pronomen und andere Verweise mit den Entitäten, auf die sie sich beziehen.
• Natürlichsprachliche Inferenz: Entscheidet, ob ein Satz einen anderen Satz impliziert, ihm widerspricht oder neutral zu ihm steht.
• Sentimentanalyse: Erkennt die in einem Text ausgedrückte Meinung.

Assistenten klassifizieren Absichten üblicherweise mit einem feinabgestimmten Transformer-Encoder. Ein Satz-Encoder kann Absichten auch mit nur einem Beispiel pro Absicht klassifizieren, indem er die Absicht auswählt, deren Beispiel der Anfrage inhaltlich am nächsten kommt:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# One labeled example per intent, as an assistant's training data would provide
intents = {
    "check_balance": "What is my account balance?",
    "block_card": "Please freeze my debit card",
    "transfer_money": "Send money to another account",
}
utterances = ["my card was stolen", "how much cash do I have left", "pay Alex back 20 dollars"]

# Assign each utterance the intent whose example is closest in meaning
scores = model.similarity(model.encode(utterances), model.encode(list(intents.values())))
for text, row in zip(utterances, scores):
    best = int(row.argmax())
    print(f"{text!r} -> {list(intents)[best]} ({row[best]:.2f})")

Alle drei Anfragen erhalten die richtige Absicht: block_card (0,42), check_balance (0,49) und transfer_money (0,28). „Wie viel Bargeld habe ich noch?“ und „Zahle Alex 20 Dollar zurück“ enthalten keine Wörter aus ihren Absichtsbeispielen. Die Übereinstimmung ergibt sich daher aus den Einbettungen und nicht aus Schlüsselwörtern. Die Anfrage zur Überweisung wird mit nur 0,28 gegenüber 0,17 für die anderen Absichten ausgewählt. Frameworks wie Rasa leiten Anfragen, deren bester Wert unter einem Konfidenzschwellwert liegt, an eine Rückfalloption weiter, die den Nutzer um eine Umformulierung bittet.

Benchmarks und Modelle#

GLUE (2018) vereinte neun Aufgaben mit einzelnen Sätzen und Satzpaaren – darunter Sentimentanalyse, Paraphrasenerkennung und natürlichsprachliche Inferenz – zu einem Gesamtwert. BERT steigerte diesen Wert 2018 auf 80,5. Der anspruchsvollere Nachfolger SuperGLUE (2019) ergänzte Koreferenzaufgaben nach dem Vorbild der Winograd-Schemata. Im Januar 2021 erzielten DeBERTa von Microsoft und T5 + Meena von Google beide Werte oberhalb des menschlichen Vergleichswerts von 89,8. Hohe Werte können auf Abkürzungslernen beruhen: Suchin Gururangan und Kollegen zeigten 2018, dass ein Klassifikator, der nur den zweiten Satz jedes Inferenzpaares auswertete, etwa 67 % des SNLI-Datensatzes korrekt klassifizierte, weil Hinweise wie Verneinungswörter mit dem Label „Widerspruch“ korrelieren. Große Sprachmodelle (LLMs) erledigen heute die meisten NLU-Aufgaben anhand eines Prompts. Kleine Encoder-Modelle sind weiterhin verbreitet, wenn Latenz und Kosten pro Anfrage eine Rolle spielen.

NLU in Suche und Computer Vision#

Semantische Suche wendet NLU auf Suchanfragen an und findet Inhalte anhand der Bedeutung einer Anfrage statt anhand ihrer exakten Wörter. Vektorsuche macht dies auch bei Millionen von Einträgen schnell. Dieselbe Idee funktioniert modalitätsübergreifend, wenn Text und Bilder einen Einbettungsraum teilen, wie bei CLIP. Der Tab „Bilder“ auf der Explore-Seite der Ultralytics Platform nimmt eine Szenenbeschreibung wie „Katzen auf einem Sofa“ entgegen und gibt Bilder aus öffentlichen Datensätzen zurück, die das Beschriebene zeigen – ohne sich auf Dateinamen oder Tags zu stützen.

NLU und verwandte Begriffe#

• NLP: Das gesamte Gebiet der computergestützten Verarbeitung menschlicher Sprache. NLU interpretiert Eingaben, und die natürliche Sprachgenerierung (NLG) verfasst Ausgaben.
• Spracherkennung: Wandelt gesprochene Sprache in Text um, den NLU anschließend interpretiert.
• Optische Zeichenerkennung (OCR): Extrahiert Zeichen aus Textbildern, die NLU anschließend inhaltlich verstehen kann.
• Fragebeantwortung: Gibt Antworten auf natürlichsprachliche Fragen zurück. Dafür muss NLU sowohl die Frage als auch den Text interpretieren, der die Antwort enthält.