Tabular Foundation Models

Tabellarische Basismodelle sind vortrainierte Modelle für maschinelles Lernen, die darauf ausgelegt sind, Vorhersagen aus strukturierten Daten zu treffen, die in Zeilen und Spalten angeordnet sind. Anstatt jede neue Aufgabe völlig von Grund auf neu zu lernen, nutzen sie musterübergreifend erlernte Muster aus vielen Datensätzen wieder, um eine neue Tabelle, ihre beschrifteten Beispiele und die Beziehungen zwischen ihren Merkmalen zu interpretieren. Sie erweitern die Idee eines Mehrzweck-Basismodells auf gängige Probleme des überwachten Lernens wie Klassifikation und Regression.

Wie tabellarische Basismodelle funktionieren#

Ein herkömmliches tabellarisches Modell lernt nur aus dem für eine Aufgabe bereitgestellten Datensatz. Ein tabellarisches Basismodell wird dagegen zunächst über eine breite Verteilung von Tabellen oder generierten Datenproblemen vortrainiert. Dies vermittelt ihm wiederverwendbare Annahmen über Beziehungen, Rauschen, Merkmalsinteraktionen, Klassengrenzen und fehlende Informationen.

Wenn ein neuer Datensatz übergeben wird, untersucht das Modell die Trainingszeilen, ihre Zielwerte und die Zeilen, für die Vorhersagen erforderlich sind. Viele Implementierungen führen diesen Schritt durch In-Context-Learning aus: beschriftete Datensätze liefern den zur Lösung der neuen Aufgabe erforderlichen Kontext, oft ohne langwierige aufgabenspezifische Parameteroptimierung. Ein Transformer kann Spalten und Zeilen als kontextuelle Elemente verarbeiten, obwohl sich Architekturen unterscheiden.

Tabellen stellen Herausforderungen dar, die Bilder und Text nicht mit sich bringen. Spalten können kontinuierliche Messungen, Kategorien, Datumsangaben, Zählwerte oder Kennungen darstellen, und ihre Reihenfolge trägt normalerweise wenig Bedeutung. Eine gute Datenvorbereitung bleibt unerlässlich. Scikit-learns Leitfaden zum Verarbeiten von Spalten mit gemischten Typen veranschaulicht, warum unterschiedliche Merkmalsstypen eine unterschiedliche Behandlung erfordern können, während die pandas-Dokumentation konsistente Wege zur Darstellung fehlender Daten erläutert. Ein Basismodell kann das manuelle Merkmalsengineering reduzieren, aber es kann irreführende Beschriftungen oder schlecht definierte Variablen nicht automatisch korrigieren.

Verwandte Konzepte und wichtige Unterschiede#

• Automatisiertes maschinelles Lernen: AutoML sucht für jeden Datensatz nach Algorithmen, Vorverarbeitungsschritten und Hyperparametern. Ein tabellarisches Basismodell bringt stattdessen wiederverwendbares Wissen aus dem Vortraining mit und kann möglicherweise eine Vorhersage mit geringer Modellsuche erzeugen.

• Transferlernen: Transferlernen passt vortrainierte Gewichte normalerweise durch Fine-Tuning an. Tabellarische Basismodelle können Fine-Tuning unterstützen, aber viele sind darauf ausgelegt, direkt aus den Beispielen einer neuen Tabelle zu inferieren.

• Gradient-Boosted Trees: Baum-Ensembles bleiben starke, effiziente tabellarische Baselines und werden für jede Aufgabe separat trainiert. Basismodelle sind möglicherweise besonders praktisch für kleine Datensätze, schnelle Experimente oder wiederholte Aufgaben, sollten jedoch eher mit Baummodellen verglichen werden, als dass man davon ausgeht, sie zu ersetzen.

Tabellarische Basismodelle unterscheiden sich auch von Sprachmodellen, die auf CSV-Text angewendet werden. Sie arbeiten mit der statistischen Struktur von Merkmalen und Zielen, anstatt jede Zeile als gewöhnlichen natürlichsprachlichen Prompt zu behandeln.

Anwendungen in der Praxis#

• Klinische Risikobewertung: Ein Krankenhaus verfügt möglicherweise über eine relativ kleine Tabelle mit Patientenalter, Laborwerten, Symptomen, Behandlungsverlauf und einem Ergebnislabel. Ein tabellarisches Basismodell kann Risiken wie eine Wiederaufnahme oder Komplikationen abschätzen, ohne dass ein umfangreicher Trainingslauf für neuronale Netze erforderlich ist. Da Fehler Pflegeentscheidungen beeinflussen können, müssen Teams die Leistung über Patientengruppen hinweg bewerten und eine angemessene klinische Überwachung beibehalten. Dieser Workflow kann die bildbasierte Computer Vision im Gesundheitswesen ergänzen, bei der aus Scans abgeleitete Messungen zu zusätzlichen Tabellenspalten werden.

• Vorhersage der Fertigungsqualität: Ein Inspektionssystem kann Computer Vision verwenden, um sichtbare Defekte zu erkennen und gleichzeitig Maschinentemperatur, Produktionsgeschwindigkeit, Materialcharge, Schicht und Sensorwerte aufzuzeichnen. Vorhersagen von einem Ultralytics YOLO26-Modell – wie Fehleranzahl oder Konfidenzwerte – können in strukturierte Merkmale umgewandelt und mit Betriebsdaten kombiniert werden. Ein tabellarisches Modell kann dann vorhersagen, ob eine Einheit überprüft werden muss oder ob ein Prozess voraussichtlich aus der Toleranz gerät. Teams können die Annotation, das Training und die Bereitstellung von Vision-Datensätzen über die Ultralytics Platform verwalten.

Praktischer Workflow und Evaluierung#

Eine bekannte Implementierung stellt einen Klassifikator im Scikit-learn-Stil über den dokumentierten TabPFN-Klassifikations-Workflow bereit. Nach der Installation von tabpfn und scikit-learn sowie dem Abschluss des erforderlichen Modellzugriffs beim ersten Start sieht ein minimales binäres Klassifikationsbeispiel wie folgt aus:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier

# Create separate training and test sets
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=42, stratify=targets)

# Fit from the labeled context and predict probabilities
model = TabPFNClassifier()
model.fit(x_train, y_train)
probabilities = model.predict_proba(x_test)[:, 1]

print(roc_auc_score(y_test, probabilities))

Dies demonstriert die vertraute Schnittstelle zum Trainieren und Vorhersagen, aber ein einzelner Test-Split ist kein ausreichender Beleg für die Produktionsreife. Verwenden Sie geeignete Kreuzvalidierungsstrategien, verhindern Sie Vorverarbeitungs- oder Ziel-Leakage und wählen Sie Evaluierungsmetriken, die den Kosten von Fehlern entsprechen. Wenn Entscheidungen von vorhergesagten Wahrscheinlichkeiten abhängen, überprüfen Sie die Wahrscheinlichkeitskalibrierung und nicht nur die Genauigkeit.

Überprüfen Sie abschließend die Leistung nach Untergruppen, vergleichen Sie sie mit einfachen Baselines, testen Sie verschobene Daten und dokumentieren Sie Einschränkungen. Das NIST AI Risk Management Framework bietet umfassendere Leitlinien für eine vertrauenswürdige Evaluierung, während die fortlaufende Modellüberwachung dabei hilft, sich ändernde Merkmalsverteilungen und eine sinkende Leistung nach der Bereitstellung zu erkennen.