Named Entity Recognition (NER)

Die Erkennung benannter Entitäten (NER) ist eine Aufgabe der Verarbeitung natürlicher Sprache (NLP). Dabei werden Textstellen gefunden, die reale Dinge benennen, und mit einem Typ wie Person, Organisation, Ort, Datum oder Geldbetrag versehen. Im Satz „Marie Curie lehrte ab 1906 an der Universität Paris“ markiert ein NER-Modell „Marie Curie“ als Person, „Universität Paris“ als Organisation und „1906“ als Datum. So werden E-Mails, Berichte, Verträge und Transkripte in strukturierte Datensätze umgewandelt, die Suchmaschinen, Wissensgraphen, Analysewerkzeuge und Datenschutztools nutzen können. Die Message Understanding Conferences der 1990er-Jahre machten NER zu einer standardisierten Evaluierungsaufgabe, und die gemeinsame Aufgabe CoNLL-2003 legte die vier Typen fest, die noch heute als Benchmark dienen: Person, Ort, Organisation und Sonstiges. Umfangreichere Schemata wie OntoNotes 5.0 definieren 18 Typen, darunter Daten, Mengen, Produkte und Ereignisse.

So funktioniert NER#

NER wird üblicherweise als Sequenzbeschriftung formuliert. Ein Tokenizer zerlegt den Text in Tokens, und das Modell weist jedem Token ein Tag nach dem BIO-Schema zu: B- kennzeichnet den Anfang einer Entität, I- ein Token innerhalb der Entität und O ein Token außerhalb jeder Entität. So bleiben mehrteilige Namen wie „Universität Paris“ zusammen. Dieser Code wandelt die vom Modell vorhergesagten Tags in Entitätsspannen um:

# Token-level BIO tags, as predicted by an NER model for one sentence
tokens = ["Marie", "Curie", "taught", "at", "the", "University", "of", "Paris", "from", "1906", "."]
tags = ["B-PER", "I-PER", "O", "O", "O", "B-ORG", "I-ORG", "I-ORG", "O", "B-DATE", "O"]

# Merge each B- tag with the I- tags that follow it into one entity span
entities = []
for token, tag in zip(tokens, tags):
    if tag.startswith("B-"):
        entities.append([token, tag[2:]])
    elif tag.startswith("I-") and entities and entities[-1][1] == tag[2:]:
        entities[-1][0] += f" {token}"

print(entities)

Er gibt [['Marie Curie', 'PER'], ['University of Paris', 'ORG'], ['1906', 'DATE']] aus, die strukturierte Ausgabe, die nachgelagerte Systeme speichern und abfragen.

Die Modelle, die Tags vorhersagen, haben sich im Laufe der letzten drei Jahrzehnte verändert. Frühe Systeme nutzten manuell verfasste Regeln und Gazetteers, also Listen bekannter Namen. Statistische Tagger wie Hidden-Markov-Modelle und bedingte Zufallsfelder lernten anhand annotierter Texte und von Hand erstellter Merkmale wie Großschreibung und Wortendungen. 2016 lernten bidirektionale LSTM-Netze mit einer CRF-Ausgabeschicht diese Merkmale selbst. Danach folgten feinabgestimmte Transformer: BERT erreichte auf dem CoNLL-2003-Testsatz einen F1-Wert von 92,8. Dank Self-Attention können diese Modelle den gesamten Satz als Kontext nutzen. Daher wird „Apple“ in „Apple hat ein neues Smartphone vorgestellt“ als Organisation markiert, in „Ich habe einen Apfel gegessen“ dagegen nicht. Systeme werden anhand von Präzision, Trefferquote und F1-Wert auf Entitätsebene bewertet. Eine Vorhersage zählt nur dann als korrekt, wenn sowohl ihre Textspanne als auch ihr Typ exakt mit der Referenz übereinstimmen.

Neuere Modelle verzichten auf eine feste Menge von Labels. GLiNER, ein kompakter bidirektionaler Transformer, erhält Entitätstypen als Eingabe und findet passende Textspannen auch für Typen, die im Training nicht vorkamen. Große Sprachmodelle extrahieren Entitäten, wenn sie mit einem Schema aufgefordert werden, strukturierte Ausgaben zu erzeugen.

NER im Vergleich zu verwandten Aufgaben#

• Entitätsverknüpfung: Verknüpft jede erkannte Erwähnung mit einem bestimmten Eintrag in einer Wissensdatenbank wie Wikidata, sodass „Paris“ der Stadt oder Paris Hilton zugeordnet wird.
• Relationsextraktion: Findet Verbindungen zwischen Entitäten, etwa welche Person für welche Organisation arbeitet, häufig auf Grundlage der NER-Ausgabe.
• Sentimentanalyse: Ermittelt die in einem Text ausgedrückte Meinung. NER erkennt, worum es in einer Rezension geht, und die Sentimentanalyse erfasst, was die schreibende Person davon hält.
• Objekterkennung: Das Gegenstück zu NER in der Bildverarbeitung: Bildbereiche werden lokalisiert und jeweils mit einer Klasse versehen.

Die Idee offener Labels von GLiNER hat ein direktes Gegenstück in der Bildverarbeitung: YOLOE-26, die Version mit offenem Vokabular von Ultralytics YOLO26, verwendet bei der Inferenz Klassennamen als Textprompts und erkennt sowie segmentiert Objekte dieser Klassen – auch solche außerhalb der Trainingskategorien.

Anwendungen in der Praxis#

Die Dokumentenverarbeitung kombiniert NER mit optischer Zeichenerkennung (OCR): Rechnungen, Verträge und Formulare werden eingescannt, OCR liest den Text, und NER extrahiert Felder wie Lieferant, Datum und Gesamtbetrag für Buchhaltungs- und Compliance-Systeme. In Produktionspipelines werden unsichere Vorhersagen an Menschen weitergeleitet, und das System lernt aus ihren Korrekturen:

• Schwärzung personenbezogener Daten: Datenschutztools wie Microsofts quelloffenes Presidio verwenden NER zusammen mit Musterregeln, um Namen, Adressen und Kontonummern zu finden und zu schwärzen, bevor Texte weitergegeben oder für das Training verwendet werden.
• Klinische Textanalyse: Klinisches NER extrahiert Medikamente, Dosierungen, Symptome und Diagnosen aus Arztberichten, damit Krankenhäuser und Forschende Datensätze in großem Umfang durchsuchen und analysieren können.
• Suche und Empfehlungen: Nachrichtenwebsites und Inhaltsplattformen kennzeichnen Artikel mit den erwähnten Personen, Unternehmen und Orten. Das ermöglicht die Suche nach Entitäten und Empfehlungen für verwandte Artikel.