Tabular Foundation Models

Les modèles de fondation tabulaires sont des modèles d'apprentissage automatique préentraînés conçus pour faire des prédictions à partir de données structurées organisées en lignes et en colonnes. Au lieu d'apprendre chaque nouvelle tâche entièrement à partir de zéro, ils réutilisent des motifs appris sur de nombreux ensembles de données pour interpréter un nouveau tableau, ses exemples étiquetés et les relations entre ses caractéristiques. Ils étendent l'idée d'un modèle de fondation à usage général aux problèmes d'apprentissage supervisé courants tels que la classification et la régression.

Comment fonctionnent les modèles de fondation tabulaires#

Un modèle tabulaire conventionnel apprend uniquement à partir de l'ensemble de données fourni pour une seule tâche. Un modèle de fondation tabulaire est d'abord préentraîné sur une large distribution de tableaux ou de problèmes de données générées. Cela lui enseigne des hypothèses réutilisables sur les relations, le bruit, les interactions entre caractéristiques, les frontières de classes et les informations manquantes.

Lorsqu'un nouvel ensemble de données lui est fourni, le modèle examine les lignes d'entraînement, leurs valeurs cibles et les lignes nécessitant des prédictions. De nombreuses implémentations effectuent cette étape par le biais d'un apprentissage en contexte : les enregistrements étiquetés fournissent le contexte nécessaire pour résoudre la nouvelle tâche, souvent sans optimisation prolongée des paramètres spécifiques à la tâche. Un Transformer peut traiter les colonnes et les lignes en tant qu'éléments contextuels, bien que les architectures diffèrent.

Les tableaux présentent des défis que les images et le texte ne posent pas. Les colonnes peuvent représenter des mesures continues, des catégories, des dates, des comptes ou des identifiants, et leur ordre n'a généralement que peu de signification. Une bonne préparation des données reste essentielle. Le guide de scikit-learn sur le traitement des colonnes de types mixtes illustre pourquoi différents types de caractéristiques peuvent nécessiter un traitement différent, tandis que la documentation de pandas explique des manières cohérentes de représenter des données manquantes. Un modèle de fondation peut réduire l'ingénierie des caractéristiques manuelle, mais il ne peut pas corriger automatiquement des étiquettes trompeuses ou des variables mal définies.

Concepts connexes et principales différences#

• Apprentissage automatique automatisé : L'AutoML recherche parmi les algorithmes, les étapes de prétraitement et les hyperparamètres pour chaque ensemble de données. Un modèle de fondation tabulaire apporte quant à lui des connaissances réutilisables issues du préentraînement et peut produire une prédiction avec peu de recherche de modèle.

• Apprentissage par transfert : L'apprentissage par transfert adapte généralement les poids préentraînés par le biais d'un affinage. Les modèles de fondation tabulaires peuvent prendre en charge l'affinage, mais beaucoup sont conçus pour déduire directement à partir des exemples d'un nouveau tableau.

• Arbres à boosting de gradient : Les ensembles d'arbres restent des bases tabulaires solides et efficaces et sont entraînés séparément pour chaque tâche. Les modèles de fondation peuvent être particulièrement pratiques pour les petits ensembles de données, les expériences rapides ou les tâches répétitives, mais ils doivent être comparés aux modèles d'arbres plutôt que d'être supposés les remplacer.

Les modèles de fondation tabulaires diffèrent également des modèles de langage appliqués au texte CSV. Ils opèrent sur la structure statistique des caractéristiques et des cibles plutôt que de traiter chaque ligne comme une invite en langage naturel ordinaire.

Applications concrètes#

• Évaluation du risque clinique : Un hôpital peut disposer d'un tableau relativement petit contenant l'âge du patient, des mesures de laboratoire, des symptômes, des antécédents de traitement et une étiquette de résultat. Un modèle de fondation tabulaire peut estimer des risques tels que la réadmission ou les complications sans nécessiter un entraînement de réseau de neurones à grande échelle. Étant donné que les erreurs peuvent affecter les décisions de soins, les équipes doivent évaluer les performances entre les groupes de patients et conserver une surveillance clinique appropriée. Ce flux de travail peut compléter la vision par ordinateur en santé basée sur les images, où les mesures dérivées de scans deviennent des colonnes de tableau supplémentaires.

• Prédiction de la qualité de fabrication : Un système d'inspection peut utiliser la vision par ordinateur pour détecter des défauts visibles tout en enregistrant la température de la machine, la vitesse de production, le lot de matériaux, l'équipe et les lectures des capteurs. Les prédictions d'un modèle Ultralytics YOLO26 — telles que les comptes de défauts ou les scores de confiance — peuvent être converties en caractéristiques structurées et combinées aux données opérationnelles. Un modèle tabulaire peut alors prédire si une unité nécessite une révision ou si un processus est susceptible de sortir des tolérances. Les équipes peuvent gérer l'annotation, l'entraînement et le déploiement des ensembles de données de vision par le biais de la plateforme Ultralytics.

Flux de travail pratique et évaluation#

Une implémentation bien connue expose un classificateur de style scikit-learn via le flux de travail de classification TabPFN documenté. Après avoir installé tabpfn et scikit-learn et avoir terminé tout accès au modèle requis lors de la première exécution, un exemple minimal de classification binaire est le suivant :

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier

# Create separate training and test sets
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=42, stratify=targets)

# Fit from the labeled context and predict probabilities
model = TabPFNClassifier()
model.fit(x_train, y_train)
probabilities = model.predict_proba(x_test)[:, 1]

print(roc_auc_score(y_test, probabilities))

Cela démontre l'interface familière d'ajustement et de prédiction, mais une seule division de test ne constitue pas une preuve suffisante de la préparation à la production. Utilisez des stratégies de validation croisée appropriées, prévenez le prétraitement ou la fuite de cibles, et sélectionnez des métriques d'évaluation qui correspondent au coût des erreurs. Lorsque les décisions dépendent de probabilités prédites, vérifiez la calibration des probabilités, et pas seulement l'exactitude.

Enfin, inspectez les performances par sous-groupe, comparez par rapport à des bases de référence simples, testez des données décalées et documentez les limitations. Le cadre de gestion des risques de l'IA du NIST fournit des orientations plus larges pour une évaluation digne de confiance, tandis que la surveillance continue des modèles aide à détecter l'évolution des distributions de caractéristiques et la baisse des performances après le déploiement.