Statistical AI

Statistische KI ist ein Ansatz für künstliche Intelligenz, bei dem Systeme anhand von Daten durch das Schätzen von Mustern und Wahrscheinlichkeiten erstellt werden, statt von Hand geschriebene Regeln zu codieren. Ein statistisches System bildet Unsicherheit explizit ab, passt seine Parameter an Beispieldaten an und wird danach beurteilt, wie gut es mit unbekannten Daten zurechtkommt. Fast die gesamte moderne KI funktioniert auf diese Weise, von Spamfiltern und Spracherkennungssystemen bis hin zu Objektdetektoren und großen Sprachmodellen (LLMs), die jedem möglichen nächsten Token eine Wahrscheinlichkeit zuweisen. Der Begriff wird hauptsächlich im Gegensatz zur symbolischen KI verwendet, der regel- und logikbasierten Tradition, die die ersten Jahrzehnte des Fachgebiets prägte.

Von Regeln zu Wahrscheinlichkeiten#

Von den 1950er- bis in die 1980er-Jahre verfolgte der Großteil der KI-Forschung symbolische Methoden: Logik, Suche und Expertensysteme, deren Wissensingenieure Wenn-dann-Regeln festlegten. Diese Systeme funktionierten in eng umrissenen, klar definierten Bereichen, scheiterten aber an verrauschten oder mehrdeutigen Eingaben; jede neue Situation erforderte neue Regeln. In den 1980er- und 1990er-Jahren setzten sich probabilistische Methoden nach und nach in immer mehr Bereichen durch. Verdeckte Markow-Modelle wurden zur Grundlage der Spracherkennung, Judea Pearls Buch aus dem Jahr 1988 über Bayes-Netze machte probabilistisches Schließen praxistauglich – eine Arbeit, die später mit dem Turing Award 2011 gewürdigt wurde. IBM-Forschende veröffentlichten 1990 einen statistischen Ansatz zur maschinellen Übersetzung, und 1995 folgten Support-Vector-Maschinen. Seit 2012 hat Deep Learning denselben Ansatz von handentwickelten Merkmalen auf rohe Pixel, Audiodaten und Text ausgeweitet.

Grundlegende Ideen#

• Wahrscheinlichkeitsmodelle: Überzeugungen werden als Wahrscheinlichkeitsverteilungen dargestellt. Der Satz von Bayes aktualisiert eine vorherige Überzeugung anhand der Wahrscheinlichkeit neuer Belege und ergibt so eine nachträgliche Einschätzung. Dieselbe Aktualisierung treibt Spamfilter, Diagnosemodelle und Objektverfolgungssysteme an.
• Lernen durch Schätzung: Beim Training werden die Parameter ausgewählt, unter denen die beobachteten Daten am wahrscheinlichsten sind. Bei den meisten Modellen entspricht das der Minimierung einer Verlustfunktion, meist mithilfe von Gradientenabstieg.
• Generalisierung: Ein flexibles Modell kann das Rauschen in seinen Trainingsdaten anpassen. Deshalb wird seine Leistung anhand zurückgehaltener Daten gemessen. Der Bias-Varianz-Kompromiss beschreibt das Gleichgewicht zwischen Modellen, die für die Daten zu einfach oder zu flexibel sind.
• Abgestufte Konfidenz: Vorhersagen werden mit Wahrscheinlichkeiten ausgegeben, die nachgelagerte Systeme mithilfe von Schwellenwerten filtern, sortieren oder mit anderen Belegen kombinieren können.

Ein naiver Bayes-Filter für Spam veranschaulicht diese Ideen mit wenigen Zeilen Code. Er schätzt, wie häufig jedes Wort in Spam und in normaler E-Mail vorkommt, und kombiniert diese Schätzungen anschließend mithilfe des Satzes von Bayes, um eine neue Nachricht zu bewerten:

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Labeled examples replace hand-written rules: 1 = spam, 0 = not spam
messages = ["win a free prize now", "claim your free cash reward", "limited offer, click now to win"]
messages += ["meeting moved to monday", "can you review my draft today", "lunch with the team on friday"]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then estimate each word's probability under each class
vectorizer = CountVectorizer()
model = MultinomialNB()
model.fit(vectorizer.fit_transform(messages), labels)

for text in ["free prize inside", "draft for monday", "free lunch on friday"]:
    spam_probability = model.predict_proba(vectorizer.transform([text]))[0, 1]
    print(f"{text!r}: P(spam) = {spam_probability:.2f}")

„free prize inside“ erhält eine Spam-Wahrscheinlichkeit von 0.86 und „draft for monday“ von 0.21. „free lunch on friday“, das Wörter aus beiden Klassen enthält, erreicht 0.29. Das Modell hat allein anhand von sechs gekennzeichneten Nachrichten gelernt, dass „free“ auf Spam hindeutet.

Arten statistischer Methoden#

Statistische KI reicht von kleinen probabilistischen Modellen bis hin zu tiefen Netzen mit Milliarden von Parametern. Die verschiedenen Arten tauschen eingebaute Struktur gegen Daten aus. Grafische Modelle bilden Abhängigkeiten explizit ab und kommen mit wenigen Daten aus. Klassische Methoden wie k nächste Nachbarn und Gradient-Boosting-Bäume wie XGBoost und LightGBM lernen anhand von Merkmalstabellen. Tiefe Netze lernen ihre Merkmale selbstständig aus Rohdaten:

Statistische KI im Vergleich zu verwandten Begriffen#

• Symbolische KI: Bildet Wissen als explizite Symbole und Regeln ab, etwa als Wenn-dann-Anweisungen in einem Expertensystem, und leitet Schlussfolgerungen durch logisches Schließen ab. Die Argumentation ist Schritt für Schritt nachvollziehbar und benötigt keine Trainingsdaten. Bei Eingaben, die von den Regeln nicht abgedeckt werden, versagt das System.
• Maschinelles Lernen: Die wichtigste Praxis der statistischen KI. Die beiden Begriffe überschneiden sich fast vollständig, und „statistische KI“ wird vor allem verwendet, wenn datengestützte Methoden symbolischen gegenübergestellt werden.
• Neuro-symbolische KI: Verbindet erlernte Modelle mit symbolischem Schlussfolgern, etwa ein LLM, das einen Taschenrechner, eine Datenbankabfrage oder einen Theorembeweiser aufruft.
• Unscharfe Logik: Weist vagen Aussagen wie „der Raum ist warm“ Wahrheitsgrade zwischen 0 und 1 zu. Dieses Maß für Unschärfe unterscheidet sich von der Wahrscheinlichkeit eines Ereignisses.

Anwendungen in der Praxis#

• Spamfilterung: Paul Grahams Essay A Plan for Spam aus dem Jahr 2002 machte Bayes-Filter bekannt, die anhand der E-Mails jeder einzelnen Person Wortwahrscheinlichkeiten lernen. Heutige Filter wenden dieselbe Idee auf deutlich mehr Merkmale an.
• Maschinelle Übersetzung: Google Translate startete 2006 mit statistischer maschineller Übersetzung, die Übersetzungswahrscheinlichkeiten für Phrasen anhand paralleler Texte lernte. 2016 wechselte der Dienst zur neuronalen maschinellen Übersetzung.
• Textgenerierung: LLMs erzeugen Text, indem sie bei jedem Schritt aus einer Wahrscheinlichkeitsverteilung über ihr Vokabular auswählen. Eine Temperatureinstellung spitzt diese Verteilung vor jeder Auswahl zu oder flacht sie ab.
• Visuelle Wahrnehmung: Objektdetektoren sind durchgängig statistische Modelle. Ultralytics YOLO26 lernt seine Gewichte durch Minimierung eines Verlusts anhand gekennzeichneter Bilder, gibt für jede Bounding Box einen Konfidenzwert aus und verwirft im Vorhersagemodus Boxen unter dem Schwellenwert conf, der standardmäßig 0.25 beträgt.