Tabular Foundation Models

Tabellarische Basismodelle sind vortrainierte neuronale Netze, die Vorhersagen für neue Tabellen aus Zeilen und Spalten treffen, ohne auf diesen Tabellen trainiert worden zu sein. Sie erhalten eine beschriftete Tabelle und eine Gruppe von Zeilen, für die Vorhersagen benötigt werden, und verwenden In-Context Learning: Die beschrifteten Zeilen gehen als Kontext in das Modell ein, und ein einzelner Vorwärtsdurchlauf liefert Vorhersagen für jede neue Zeile – ganz ohne Aktualisierungen durch Gradientenabstieg. Ein Modell mit Gradient-Boosting-Bäumen wie XGBoost, LightGBM oder CatBoost muss für jeden Datensatz angepasst und optimiert werden. Ein tabellarisches Basismodell wird einmal trainiert und wendet das Gelernte auf jede kleine Tabelle an, die es erhält.

Wie TabPFN aus synthetischen Tabellen lernt#

Das bekannteste Beispiel ist TabPFN (Tabular Prior-data Fitted Network), entwickelt von Noah Hollmann, Samuel Müller, Frank Hutter und Kollegen an der Universität Freiburg und inzwischen von der Firma Prior Labs weiterentwickelt. Es ist ein Transformer, der vollständig auf synthetischen Daten vortrainiert wurde. Beim Vortraining werden Millionen künstlicher Datensätze aus einer Verteilung über Datenerzeugungsprozesse gezogen. Dabei handelt es sich überwiegend um zufällige strukturelle Kausalmodelle, die Merkmale durch zufällige Funktionen und Rauschen mit Zielwerten verknüpfen. Für jeden synthetischen Datensatz sieht das Netzwerk einige beschriftete Zeilen und lernt, die zurückgehaltenen Zeilen vorherzusagen – eine Form des Meta-Lernens. Über viele solcher Aufgaben hinweg lernt es, die bayessche Inferenz über diese Verteilung anzunähern. Bei der Vorhersage verhält es sich daher wie ein erlerntes statistisches Verfahren und nicht wie ein Modell für einen bestimmten Fachbereich.

Die erste Version, die auf der ICLR 2023 vorgestellt wurde, bewältigte Klassifizierung mit bis zu 1.000 Trainingszeilen, 100 numerischen Merkmalen und 10 Klassen. Sie schnitt mit AutoML-Systemen vergleichbar ab und lief dabei bis zu 230-mal schneller. TabPFN v2, im Januar 2025 in Nature veröffentlicht, erweiterte den Ansatz auf Klassifizierung und Regression mit Datensätzen mit bis zu 10.000 Zeilen und 500 Merkmalen, einschließlich kategorialer Merkmale und fehlender Werte. Bei der Klassifizierung übertraf TabPFN v2 nach 2,8 Sekunden ein Ensemble der stärksten Vergleichsmodelle, das vier Stunden lang optimiert worden war. Version 2 erstellt für jede Tabellenzelle eine eigene Repräsentation und wechselt die Aufmerksamkeit zwischen Spalten und Zeilen ab. Sie ist daher nicht von einer festen Spaltenreihenfolge abhängig. Spätere Versionen erhöhen die Grenzen weiter, und TabPFN-3, veröffentlicht im Mai 2026, verarbeitet bis zu eine Million Trainingszeilen. Andere tabellarische Basismodelle wie TabICL und Amazons Mitra verfolgen denselben Ansatz: Sie werden auf synthetischen Tabellen vortrainiert und treffen Vorhersagen im Kontext.

Einsatz im Vergleich zu baumgestützten Modellen mit Gradientenverstärkung#

• Kleine Datensätze: Bei einigen Hundert bis wenigen Tausend Zeilen erreichen tabellarische Basismodelle oft die Ergebnisse optimierter Bäume oder übertreffen sie, ohne dass nach Hyperparametern gesucht werden muss. Ihre vorhergesagten Wahrscheinlichkeiten sind im Allgemeinen gut kalibriert.
• Große Datensätze: Bei Millionen von Zeilen bleiben Gradient-Boosting-Bäume die praktische Standardwahl. Die Kosten der Aufmerksamkeit steigen mit der Zahl der Kontextzeilen. Daher benötigen Basismodelle eine GPU und mehr Speicher. Außerdem verarbeitet jeder Vorhersagebatch den gesamten Trainingskontext erneut, wodurch die Inferenz langsamer ist als bei der Auswertung eines Baum-Ensembles.
• AutoML: AutoML sucht für jeden neuen Datensatz nach passenden Algorithmen und Einstellungen. Ein tabellarisches Basismodell ersetzt den Großteil dieser Suche durch Wissen, das beim Vortraining einmalig erworben wird.
• Merkmalsentwicklung: Ist weiterhin nützlich. Das Modell kann keine Informationen wiederherstellen, die in den Spalten fehlen, und keine falschen Beschriftungen korrigieren.

TabPFN ausführen#

Das Paket tabpfn stellt einen Klassifikator im Stil von scikit-learn bereit. Für die neuesten Prüfpunkte musst du dich anmelden und die Modelllizenz von Prior Labs akzeptieren, bevor sie heruntergeladen werden. Die unten ausgewählten Gewichte der Version 2 lassen sich ohne diesen Schritt herunterladen:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Ohne festgelegte Hyperparameter erreicht der Klassifikator bei dieser zurückgehaltenen Aufteilung einen Wert von etwa 0,998 bei der ROC-AUC. Modellvergleiche nutzen wiederholte Kreuzvalidierung über viele Datensätze hinweg, da eine Testaufteilung mit 114 Zeilen zu klein ist, um leistungsstarke Modelle voneinander zu unterscheiden.

Viele nützliche Tabellen werden aus den Ausgaben anderer Modelle erstellt. Viele nützliche Tabellen werden aus den Ausgaben anderer Modelle erstellt. Im Vorhersagemodus gibt result.to_df() jedes Ergebnis von Ultralytics YOLO26 als Polars-DataFrame mit einer Zeile pro Erkennung zurück. Die Spalten enthalten den Klassennamen, die Klassen-ID, die Konfidenz und die Koordinaten des Begrenzungsrahmens. Dieses Zeilen-und-Spalten-Format kann ein tabellarisches Basismodell als Kontext einlesen.