Chatbot

Ein Chatbot ist ein Computerprogramm, das sich mit Menschen in natürlicher Sprache unterhält – per Text oder Sprache. Joseph Weizenbaums ELIZA, das am MIT geschrieben und 1966 veröffentlicht wurde, gilt meist als erster Chatbot: Sein DOCTOR-Skript ahmte einen Psychotherapeuten nach, indem es Schlüsselwörter erkannte und die Aussagen der Nutzer als Fragen zurückgab. Weizenbaum war beunruhigt, als er sah, wie Nutzer, darunter seine eigene Sekretärin, dem Programm Dinge anvertrauten, als würde es sie verstehen. Seitdem haben Chatbots drei Generationen durchlaufen: von regelbasierten Skripten über absichtsbasierte Bots bis hin zu Large Language Models (LLMs). OpenAI machte die dritte Generation mit dem am 30. November 2022 gestarteten ChatGPT zum Mainstream. Heute bezeichnet „Chatbot“ meist eine Chat-Oberfläche für ein LLM wie ChatGPT, Claude oder Gemini.

So funktionieren Chatbots#

• Regelbasierte Chatbots: Vergleichen die Wörter der Nutzer mit manuell erstellten Mustern und antworten mit Textbausteinen. Sie sind vorhersehbar und kostengünstig, scheitern aber an jeder Formulierung, mit der ihre Entwickler nicht gerechnet haben.
• Absichtsbasierte Chatbots: Ein Klassifikator für Sprachverständnis (NLU) ordnet jede Nachricht einer Absicht zu, etwa einer Kontostandsabfrage, und extrahiert Details wie ein Konto oder ein Datum. Anschließend bestimmen die Dialogabläufe der Entwickler die Antwort. Banken, Fluggesellschaften und Telekommunikationsunternehmen entwickelten Kundenservice-Bots auf diese Weise, weil sich jede Antwort im Voraus prüfen ließ.
• LLM-Chatbots: Erzeugen jede Antwort Token für Token auf Grundlage des bisherigen Gesprächs. Ein System-Prompt legt die Rolle und Regeln des Bots fest, und das Modell verarbeitet auch Formulierungen, mit denen niemand gerechnet hat.

Das Modell hinter einem LLM-Chatbot ist ein Transformer, der mit Instruction Tuning und bestärkendem Lernen auf Basis menschlichen Feedbacks (RLHF) auf Dialoge trainiert wurde. Zwischen einzelnen Aufrufen hat es kein Gedächtnis. Die Anwendung speichert das Gespräch und sendet es bei jeder neuen Nachricht vollständig und mithilfe der Chat-Vorlage des Modells formatiert mit:

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM2-135M-Instruct")

# Der Chatbot speichert das Gespräch und sendet es bei jeder neuen Gesprächsrunde vollständig mit.
messages = [
    {"role": "system", "content": "You are a support assistant for an online store."},
    {"role": "user", "content": "Where is my order?"},
    {"role": "assistant", "content": "Could you share your order number?"},
    {"role": "user", "content": "It's 4417."},
]

# Die Chat-Vorlage fasst den Verlauf zu einem einzigen Prompt zusammen, den das Modell fortsetzen soll.
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(prompt)

Der ausgegebene Prompt umschließt jede Gesprächsrunde mit den Markierungen <|im_start|> und <|im_end|>, ergänzt um die jeweilige Rolle, und endet mit einer offenen Zeile <|im_start|>assistant. So werden die nächsten Token des Modells zur Antwort, und „Es sind 4417“ ergibt nur Sinn, weil die vorherige Frage im selben Prompt steht. Mit jeder Runde wird dieser Prompt länger. Deshalb werden lange Gespräche gekürzt oder zusammengefasst, bevor sie das Kontextfenster überschreiten. Prompt-Caching verhindert, dass der unveränderte Verlauf bei jeder Runde erneut verarbeitet wird.

Verankerung, Tools und Bilder#

Ein Support-Chatbot, der sich allein auf seine Trainingsdaten stützt, gibt falsche Richtlinien selbstbewusst wieder. Deshalb rufen produktiv eingesetzte Bots zunächst relevante Dokumente und Kontodaten mit Retrieval-Augmented Generation (RAG) ab, prüfen Eingaben und Entwürfe mit Leitplanken für KI und leiten Anfragen an einen Menschen weiter, wenn sich eine Antwort nicht belegen lässt:

Chatbots, die über Funktionsaufrufe Tools verwenden, etwa um eine Bestellung abzurufen, entwickeln sich zu KI-Agenten. Multimodale Chatbots können in einer Gesprächsrunde Fotos und Screenshots über Vision-Language-Modelle (VLMs) entgegennehmen. Die Ultralytics-Schnittstelle LLM übermittelt einen Prompt, ein Bild oder den gesamten Gesprächsverlauf an jedes OpenAI-kompatible Chatmodell und gibt das Antwortobjekt des jeweiligen Anbieters zurück. So kann eine YOLO26-Pipeline ein multimodales Modell erst dann bitten, eine Szene zu beschreiben, wenn die Erkennung darin eine Person gefunden hat.

Risiken#

Halluzinationen können rechtliche Folgen haben, wenn ein Unternehmen den Bot einsetzt. Im Fall Moffatt gegen Air Canada, der im Februar 2024 entschieden wurde, teilte der Website-Chatbot der Fluggesellschaft einem trauernden Passagier mit, dass er nach der Reise einen Rabatt auf den Trauertarif beantragen könne. Das widersprach den tatsächlichen Richtlinien der Fluggesellschaft. Das Zivilgericht für Streitbeilegung in British Columbia wies Air Canadas Argument zurück, der Chatbot sei für seine eigenen Aussagen verantwortlich, und ordnete an, dass die Fluggesellschaft die Differenz zahlen müsse. Chatbots sind außerdem Angriffen durch Prompt Injection und Jailbreaking ausgesetzt. Auf Nutzerzufriedenheit optimierte Modelle können zudem in KI-Schmeichelei abgleiten und falschen Behauptungen zustimmen, statt sie zu korrigieren.

Chatbots und verwandte Begriffe#

• Virtueller Assistent: Software wie Siri oder Alexa, die Anfragen über Apps und Geräte hinweg ausführt. Ein Chatbot ist meist auf eine Website, App oder einen Nachrichtendienst beschränkt und auf Gespräche ausgerichtet.
• KI-Agent: Ein System, das ein Ziel verfolgt, indem es Aktionen auswählt und ausführt, oft über viele Schritte hinweg und ohne menschliches Eingreifen. Ein Chatbot wird zum Agenten, sobald er neben Antworten auch Tools verwendet.
• Konversations-KI: Das umfassendere Technologiefeld hinter Chatbots und Assistenten. Dazu gehören Spracherkennung, NLU, Dialogmanagement und Sprachsynthese.