Natural Language Processing (NLP)

Die Verarbeitung natürlicher Sprache (NLP) ist der Bereich der künstlichen Intelligenz (AI), der es Computern ermöglicht, menschliche Sprache in Text und gesprochener Form zu analysieren, zu verstehen und zu erzeugen. Die Aufgaben reichen vom Erkennen von Namen in einem Satz bis zum Übersetzen eines Buches oder Führen eines Gesprächs. Dabei verbindet das Fachgebiet Computerlinguistik mit maschinellem Lernen und Deep Learning. Websuche, Spamfilter, Sprachassistenten, Tastaturvorschläge auf dem Smartphone und Chatbots auf Basis großer Sprachmodelle (LLMs) nutzen alle NLP.

Von Regeln zu großen Sprachmodellen#

Das Georgetown-IBM-Experiment von 1954 übersetzte mit einem Wortschatz von 250 Wörtern und sechs Grammatikregeln mehr als sechzig russische Sätze ins Englische. ELIZA von Joseph Weizenbaum (1966) ahmte einen Psychotherapeuten nach, indem es Schlüsselwörter passenden vorgefertigten Antworten zuordnete. Von Hand geschriebene Regeln scheiterten an der Mehrdeutigkeit und Vielfalt echter Texte. Ab Ende der 1980er-Jahre lernte die statistische NLP deshalb Wahrscheinlichkeiten stattdessen aus annotierten Texten: Hidden-Markov-Modelle kennzeichneten Wortarten, und die statistische maschinelle Übersetzung lernte aus Millionen übersetzter Satzpaare.

In den 2010er-Jahren setzten sich neuronale Netze durch. Word2vec (2013) lernte Einbettungen, die verwandte Wörter nahe beieinander abbilden, und rekurrente neuronale Netze (RNNs) lasen Sätze Wort für Wort. Der Transformer (2017) ersetzte Rekurrenz durch Self-Attention, die jedes Wort parallel zu jedem anderen in Beziehung setzt. Vortrainierte Transformer wie BERT und GPT lernten Sprache aus nicht annotierten Texten und benötigten anschließend nur kleine annotierte Datensätze für einzelne Aufgaben. Seit der Veröffentlichung von ChatGPT im November 2022 bewältigen LLMs viele NLP-Aufgaben allein anhand einer schriftlichen Anweisung.

Wie NLP-Systeme Text darstellen#

Ein modernes NLP-System zerlegt Text zunächst in Tokens – ganze Wörter oder Teilwörter, die durch Tokenisierung entstehen – und ordnet jedem Token einen Einbettungsvektor zu. Ein neuronales Netz, meist ein Transformer, wandelt diese Abfolge in kontextbezogene Vektoren um, in denen der Vektor jedes Tokens dessen Nachbarwörter berücksichtigt. Eine aufgabenspezifische Ausgabe verarbeitet diese Vektoren: ein Label für den gesamten Text, ein Tag pro Token, Anfang und Ende eines Antwortabschnitts oder neu erzeugte Tokens. Da die Bedeutung in den Vektoren steckt, können Sätze mit unterschiedlichen Wörtern nahe beieinander liegen, wie der Satz-Encoder all-MiniLM-L6-v2 zeigt:

from sentence_transformers import SentenceTransformer

# A small sentence encoder maps each text to a 384-dimensional vector
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

query = "How do I reset my password?"
candidates = ["I forgot my login credentials", "How do I reset my router?"]

# Encode all texts, then compare the query with each candidate by cosine similarity
embeddings = model.encode([query, *candidates])
scores = model.similarity(embeddings[0], embeddings[1:])[0]

for text, score in zip(candidates, scores):
    print(f"{score:.2f}  {text}")

Die Paraphrase „Ich habe meine Anmeldedaten vergessen“ erreicht für die Frage einen Wert von 0,68. „Wie setze ich meinen Router zurück?“ erreicht dagegen 0,53, obwohl fünf der sechs Wörter der Frage darin vorkommen. Semantische Suche und der Abrufschritt bei der Retrieval-Augmented Generation (RAG) ordnen Dokumente mithilfe desselben Vergleichs.

Häufige NLP-Aufgaben#

• Sentimentanalyse: Ordnet die Meinung in einer Bewertung, einem Beitrag oder einer Umfrageantwort als positiv, negativ oder neutral ein.
• Erkennung benannter Entitäten (NER): Kennzeichnet jede Erwähnung einer Person, Organisation, eines Orts oder Datums.
• Fragebeantwortung: Gibt die Antwort auf eine Frage zurück, statt eine Liste von Dokumenten auszugeben.
• Textzusammenfassung: Verdichtet ein Dokument zu einem kürzeren Text, der die wichtigsten Punkte beibehält.
• Textgenerierung: Schreibt neue Texte Token für Token – die Aufgabe hinter Chatbots und Programmierassistenten.

NLP in der Computer Vision#

Menschen verwenden Sprache auch, um Computer-Vision-Modellen mitzuteilen, wonach sie suchen sollen. Das Verbinden von NLP und Computer Vision hat Modelle hervorgebracht, die Bilder lesen und beschreiben. Vision-Language-Modelle (VLMs) beantworten Fragen zu Fotos und verfassen Bildbeschreibungen. CLIP lernte aus 400 Millionen Bildunterschriften einen gemeinsamen Einbettungsraum für Bilder und Text. Detektoren mit offenem Vokabular erhalten ihre Klassenliste als Text: Wenn du set_classes(["double-decker bus", "person"]) mit einem Ultralytics YOLOE-26-Modell aufrufst, tokenisiert das Modell jeden Namen mit dem CLIP-Tokenizer und kodiert ihn mit Apples MobileCLIP2-Text-Encoder. Der Detektor vergleicht diese Texteinbettungen mit Bildbereichen, um Kategorien zu finden und zu segmentieren, mit denen er nie trainiert wurde.

NLP und verwandte Begriffe#

• Verstehen natürlicher Sprache (NLU): Der Teilbereich von NLP, der sich mit Bedeutung beschäftigt, etwa mit der Absicht eines Nutzers oder dem Bezug eines Pronomens. Die natürliche Sprachgenerierung (NLG), die Texte erstellt, ist der andere Hauptbereich.
• Große Sprachmodelle: Transformer-Sprachmodelle mit Milliarden von Parametern, die durch Prompting zahlreiche NLP-Aufgaben erledigen. Pro Anfrage sind sie teurer als ein kleines Modell, das für eine einzelne Aufgabe trainiert wurde.
• Spracherkennung: Wandelt gesprochene Sprache in Text um, den NLP-Modelle anschließend interpretieren.
• Optische Zeichenerkennung (OCR): Wandelt Bilder von gedrucktem oder handgeschriebenem Text in Zeichen um. Dies ist der erste Schritt, bevor NLP ein gescanntes Dokument lesen kann.