Tabular Foundation Models

Les modèles fondamentaux tabulaires sont des réseaux neuronaux préentraînés qui effectuent des prédictions sur de nouveaux tableaux de lignes et de colonnes sans avoir été entraînés sur ceux-ci. À partir d’un tableau étiqueté et d’un ensemble de lignes à prédire, ils utilisent l’apprentissage en contexte : les lignes étiquetées sont fournies au modèle comme contexte, et une seule passe avant renvoie les prédictions pour chaque nouvelle ligne, sans mise à jour par descente de gradient. Un modèle d’arbres à gradient renforcé comme XGBoost, LightGBM ou CatBoost doit être ajusté et optimisé pour chaque jeu de données. Un modèle fondamental tabulaire est entraîné une fois et applique ce qu’il a appris à n’importe quel petit tableau qu’il reçoit.

Comment TabPFN apprend à partir de tableaux synthétiques#

L’exemple le plus connu est TabPFN (réseau tabulaire ajusté à partir de données a priori), créé par Noah Hollmann, Samuel Müller, Frank Hutter et leurs collègues de l’Université de Fribourg, et désormais développé par l’entreprise Prior Labs. Il s’agit d’un transformeur préentraîné entièrement sur des données synthétiques. Le préentraînement génère des millions de jeux de données artificiels à partir d’un a priori sur les processus générateurs de données, principalement des modèles causaux structurels aléatoires qui relient les caractéristiques aux cibles au moyen de fonctions aléatoires et de bruit. Pour chaque jeu de données synthétique, le réseau observe certaines lignes étiquetées et apprend à prédire celles qui ont été mises de côté, une forme de méta-apprentissage. À travers de nombreuses tâches de ce type, il apprend à approximer l’inférence bayésienne selon cet a priori ; au moment de la prédiction, il se comporte donc comme une procédure statistique apprise plutôt que comme un modèle propre à un domaine particulier.

La première version, présentée à ICLR 2023, traitait la classification avec jusqu’à 1 000 lignes d’entraînement, 100 caractéristiques numériques et 10 classes. Elle obtenait des résultats comparables à ceux des systèmes AutoML tout en étant jusqu’à 230 fois plus rapide. TabPFN v2, publié dans Nature en janvier 2025, a étendu l’approche à la classification et à la régression sur des jeux de données comptant jusqu’à 10 000 lignes et 500 caractéristiques, y compris des caractéristiques catégorielles et des valeurs manquantes. En classification, TabPFN v2 a surpassé en 2,8 secondes un ensemble des références les plus performantes, optimisées pendant quatre heures. La version 2 attribue à chaque cellule du tableau sa propre représentation et alterne l’attention entre les colonnes et les lignes ; elle ne dépend donc pas d’un ordre fixe des colonnes. Les versions ultérieures repoussent encore ces limites, et TabPFN-3, publié en mai 2026, accepte jusqu’à un million de lignes d’entraînement. D’autres modèles fondamentaux tabulaires, comme TabICL et Mitra d’Amazon, suivent la même méthode : préentraînement sur des tableaux synthétiques et prédiction en contexte.

Leur place face aux arbres à gradient boosté#

• Petits jeux de données : avec quelques centaines à quelques milliers de lignes, les modèles de fondation tabulaires égalent ou surpassent souvent des arbres réglés sans aucune recherche d'hyperparamètres, et leurs probabilités prédites sont généralement bien calibrées.
• Grands jeux de données : les arbres renforcés restent le choix pratique par défaut pour des millions de lignes. Le coût de l’attention augmente avec le nombre de lignes de contexte ; les modèles fondamentaux nécessitent donc un GPU et davantage de mémoire. De plus, chaque lot de prédictions traite à nouveau tout le contexte d’entraînement, ce qui rend l’inférence plus lente que l’évaluation d’un ensemble d’arbres.
• AutoML : AutoML explore les algorithmes et les réglages pour chaque nouveau jeu de données. Un modèle de fondation tabulaire remplace la majeure partie de cette recherche par les connaissances acquises une fois pendant le préentraînement.
• Ingénierie des caractéristiques : elle reste utile. Le modèle ne peut pas récupérer les informations absentes des colonnes ni corriger les étiquettes erronées.

Utiliser TabPFN#

Le paquet tabpfn propose un classificateur de type scikit-learn. Les points de contrôle les plus récents ne se téléchargent qu'après connexion et acceptation de la licence du modèle de Prior Labs. Les poids de la version 2 sélectionnés ci-dessous se téléchargent sans cette étape :

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Sans définir d’hyperparamètres, le classificateur atteint une AUC ROC d’environ 0,998 sur cette partition de test mise de côté. Les comparaisons de modèles s’appuient sur une validation croisée répétée sur de nombreux jeux de données, car une partition de test de 114 lignes est trop petite pour départager des modèles performants.

De nombreux tableaux utiles sont construits à partir des sorties d’autres modèles. En mode Prédiction, result.to_df() renvoie chaque résultat Ultralytics YOLO26 sous forme de DataFrame Polars avec une ligne par détection et des colonnes pour le nom et l’ID de classe, le niveau de confiance et les coordonnées de la boîte : un format en lignes et colonnes qu’un modèle fondamental tabulaire lit comme contexte.