Question Answering

Fragebeantwortung (QA) ist eine Aufgabe der Verarbeitung natürlicher Sprache (NLP), bei der eine natürlichsprachliche Frage direkt mit der Antwort beantwortet wird, etwa „Canberra“ auf die Frage „Was ist die Hauptstadt Australiens?“, statt eine Liste von Webseiten auszugeben. Ein QA-System interpretiert die Frage, findet die passende Information in einer Passage, einer Dokumentsammlung, einer Datenbank oder seinen eigenen Parametern und gibt die Antwort zurück oder formuliert sie aus. Antwortfelder in Suchmaschinen, virtuelle Assistenten, Support-Chatbots und Assistenten auf Basis großer Sprachmodelle (LLMs), die Fragen zu Unternehmensdokumenten beantworten, sind allesamt QA-Systeme.

Frühe Systeme beantworteten Fragen zu eng begrenzten Datenbanken: BASEBALL (1961) verarbeitete Fragen zu einer Saison der American League, und LUNAR (1971) beantwortete Fragen von Geologen zu Mondgesteinsproben der Apollo-Missionen. Der QA-Wettbewerb im Rahmen von TREC begann 1999 mit dem Benchmarking von Open-Domain-QA. Im Februar 2011 besiegte IBM Watson die Jeopardy!-Champions Ken Jennings und Brad Rutter, indem es für jeden Hinweis zahlreiche mögliche Antworten generierte und die Belege für jede Antwort mit Hunderten von Algorithmen bewertete.

Arten von QA-Systemen#

• Extraktive QA: Wählt aus einer vorgegebenen Passage den Abschnitt aus, der die Frage beantwortet.
• Open-Domain-QA: Durchsucht eine große Sammlung, zum Beispiel die gesamte Wikipedia, vor der Antwort nach relevanten Passagen.
• Retrieval-Augmented Generation (RAG): Formuliert die Antwort mit einem LLM, das anhand abgerufener Passagen gesteuert wird. So kann die Antwort Fakten aus mehreren Quellen zusammenführen und belegen.
• Closed-Book-QA: Beantwortet Fragen anhand des in den Modellgewichten gespeicherten Wissens, ohne Dokumente zu verwenden. Dadurch lassen sich erfundene Antworten schwerer erkennen.
• QA mit Wissensgraphen: Übersetzt die Frage in eine strukturierte Abfrage über einen Graphen aus Entitäten und Beziehungen oder über eine Datenbank.
• Visuelle Fragebeantwortung (VQA): Beantwortet Fragen zu einem Bild oder Video.

Extraktive QA und SQuAD#

Der Stanford-Datensatz für Fragebeantwortung (SQuAD), der 2016 von Pranav Rajpurkar und Kollegen veröffentlicht wurde, machte extraktive Fragebeantwortung zu einem Standard-Benchmark: Crowdworker verfassten mehr als 100.000 Fragen zu Wikipedia-Artikeln, und jede Antwort ist ein Textausschnitt aus dem Artikel. Eine logistische Regression als Baseline erreichte einen F1-Wert von 51,0 gegenüber 86,8 bei Menschen. Die Bewertung nutzt Exact Match und einen Token-basierten F1-Wert zwischen den vorhergesagten und den Referenzantworten. BERT erreichte 2018 einen Test-F1-Wert von 93,2. Ein extraktives Modell bewertet jedes Passage-Token als möglichen Anfang und mögliches Ende der Antwort:

import torch
from transformers import AutoModelForQuestionAnswering, AutoTokenizer

# DistilBERT fine-tuned on SQuAD v1.1 for extractive question answering
model_id = "distilbert/distilbert-base-cased-distilled-squad"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForQuestionAnswering.from_pretrained(model_id)

context = (
    "SQuAD was released in 2016 by Pranav Rajpurkar and colleagues at Stanford University. "
    "Crowdworkers wrote more than 100,000 questions about Wikipedia articles, and every answer is a span of the article."
)
for question in ["Who released SQuAD?", "Where do the answers come from?", "How many languages does SQuAD cover?"]:
    inputs = tokenizer(question, context, return_tensors="pt", return_offsets_mapping=True)
    offsets = inputs.pop("offset_mapping")[0]
    with torch.no_grad():
        outputs = model(**inputs)

    # The answer is the context span between the highest-scoring start and end tokens
    start, end = outputs.start_logits.argmax(), outputs.end_logits.argmax()
    print(f"{question} -> {context[offsets[start][0] : offsets[end][1]]}")

Das Modell antwortet mit „Pranav Rajpurkar“ und „einem Textausschnitt aus dem Artikel“. Die Passage enthält keine Angaben zu Sprachen, dennoch antwortet das Modell auf die dritte Frage mit „100.000“, weil ein mit SQuAD 1.1 trainiertes Modell immer einen Textausschnitt zurückgibt. SQuAD 2.0 (2018) ergänzte mehr als 50.000 unbeantwortbare Fragen, die so formuliert waren, dass sie beantwortbar wirkten. Ein System, das bei SQuAD 1.1 einen F1-Wert von 86 % erzielte, fiel bei SQuAD 2.0 auf 66 %, da Modelle nun entscheiden mussten, wann sie sich einer Antwort enthalten sollten.

Offene Fragebeantwortung und RAG#

Systeme zur offenen Fragebeantwortung teilen die Arbeit zwischen einem Retriever, der unter Millionen von Textpassagen einige relevante findet, und einem Reader auf, der daraus eine Antwort formuliert. DrQA (2017) rief Wikipedia-Artikel mithilfe von TF-IDF ab und wertete sie mit einem rekurrenten neuronalen Netz aus. Dense Passage Retrieval (2020) ersetzte TF-IDF durch BERT-Embeddings und Vektorsuche, und RAG (2020) übergab die abgerufenen Passagen an ein generatives Modell, das die Antwort verfasst. Ein Reranker ordnet die abgerufenen Passagen oft neu, bevor der Reader sie sieht. Die RAG-Autoren stellten fest, dass die Konditionierung auf abgerufenen Text die generierte Sprache spezifischer, vielfältiger und sachlich korrekter machte als bei einem vergleichbaren Modell ohne Abruf. Zitierte Passagen ermöglichten es den Lesenden außerdem, eine Antwort auf Halluzinationen zu überprüfen.

Visuelle Fragebeantwortung#

VQA nimmt ein Bild und eine Frage wie „Wie viele Menschen warten an der Haltestelle?“ entgegen und erfordert multimodale KI, die Computer Vision mit Sprachverständnis verbindet, meist in Form eines Bild-Sprach-Modells (VLM). In Ultralytics Platform Agents sendet ein LLM-Block ein Bild und den vorgelagerten Kontext, etwa YOLO26-Erkennungen, zusammen mit der Eingabeaufforderung an ein Bild-Sprach-Modell. So wird eine Frage zu einer Szene unter Einbeziehung der Ergebnisse des Detektors beantwortet.

Fragebeantwortung und verwandte Begriffe#

• Semantische Suche: Gibt die Dokumente oder Passagen zurück, die für eine Suchanfrage am relevantesten sind – also die Eingabe, die ein Fragebeantwortungssystem liest, um die Antwort zu erzeugen.
• Chatbots: Dialogschnittstellen, die mehrstufige Gespräche führen und darin für Faktenfragen auf Fragebeantwortung zurückgreifen.
• Textgenerierung: Erzeugt beliebigen Text auf Grundlage einer Eingabeaufforderung. Generative Fragebeantwortung ist Textgenerierung, die auf die Beantwortung einer Frage beschränkt ist, oft anhand zitierter Quellen.