Tabular Foundation Models

I modelli fondazionali tabulari sono reti neurali preaddestrate che fanno previsioni su nuove tabelle di righe e colonne senza essere addestrate su di esse. Dati una tabella etichettata e un insieme di righe da prevedere, usano l'apprendimento in contesto: le righe etichettate vengono fornite al modello come contesto e un singolo passaggio in avanti restituisce previsioni per ogni nuova riga, senza aggiornamenti della discesa del gradiente. Un modello ad alberi con boosting del gradiente come XGBoost, LightGBM o CatBoost deve essere addestrato e ottimizzato per ogni dataset. Un modello fondazionale tabulare viene addestrato una volta e applica ciò che ha appreso a qualsiasi tabella di piccole dimensioni riceva.

Come TabPFN apprende da tabelle sintetiche#

L'esempio più noto è TabPFN (Tabular Prior-data Fitted Network), creato da Noah Hollmann, Samuel Müller, Frank Hutter e colleghi dell'Università di Friburgo e ora sviluppato dall'azienda Prior Labs. È un Transformer preaddestrato interamente su dati sintetici. Il preaddestramento estrae milioni di dataset artificiali da una distribuzione a priori sui processi generativi dei dati, per lo più modelli causali strutturali casuali che collegano le caratteristiche ai target tramite funzioni e rumore casuali. Per ogni dataset sintetico, la rete riceve alcune righe etichettate e impara a prevedere quelle lasciate fuori: una forma di meta-apprendimento. Attraverso molti compiti di questo tipo, impara ad approssimare l'inferenza bayesiana rispetto a quella distribuzione a priori, quindi al momento della previsione si comporta come una procedura statistica appresa anziché come un modello di un dominio specifico.

La prima versione, presentata a ICLR 2023, gestiva la classificazione con un massimo di 1.000 righe di addestramento, 100 caratteristiche numeriche e 10 classi, ottenendo risultati paragonabili ai sistemi AutoML pur funzionando fino a 230 volte più velocemente. TabPFN v2, pubblicato su Nature nel gennaio 2025, ha esteso l'approccio alla classificazione e alla regressione su dataset con un massimo di 10.000 righe e 500 caratteristiche, incluse caratteristiche categoriche e valori mancanti. Nella classificazione, 2,8 secondi di TabPFN v2 hanno superato un ensemble delle baseline più forti ottimizzate per quattro ore. La versione 2 assegna a ogni cella della tabella una propria rappresentazione e alterna l'attenzione tra le colonne e tra le righe, quindi non dipende da un ordine fisso delle colonne. Le versioni successive hanno innalzato ulteriormente i limiti e TabPFN-3, rilasciato a maggio 2026, accetta fino a un milione di righe di addestramento. Altri modelli fondazionali tabulari, come TabICL e Mitra di Amazon, seguono lo stesso approccio: preaddestramento su tabelle sintetiche e previsioni in contesto.

Quando usarli rispetto agli alberi con boosting del gradiente#

• Dataset piccoli: con centinaia o poche migliaia di righe, i modelli fondazionali tabulari spesso eguagliano o superano gli alberi ottimizzati senza alcuna ricerca degli iperparametri; inoltre, le probabilità previste sono in genere ben calibrate.
• Dataset di grandi dimensioni: gli alberi con boosting restano la scelta pratica predefinita per milioni di righe. Il costo dell'attenzione cresce con il numero di righe di contesto, quindi i modelli fondazionali hanno bisogno di una GPU e di più memoria; inoltre, ogni batch di previsione rielabora l'intero contesto di addestramento, rendendo l'inferenza più lenta rispetto alla valutazione di un ensemble di alberi.
• AutoML: AutoML cerca algoritmi e impostazioni per ogni nuovo dataset. Un modello fondazionale tabulare sostituisce la maggior parte di questa ricerca con conoscenze apprese una volta durante il preaddestramento.
• Ingegneria delle caratteristiche: resta utile. Il modello non può recuperare informazioni assenti dalle colonne né correggere etichette errate.

Eseguire TabPFN#

Il pacchetto tabpfn espone un classificatore con un'interfaccia simile a scikit-learn. I checkpoint più recenti vengono scaricati solo dopo aver effettuato l'accesso e accettato la licenza del modello di Prior Labs; i pesi della versione 2 selezionati qui sotto, invece, si scaricano senza questo passaggio:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Senza iperparametri impostati, il classificatore raggiunge un valore di ROC AUC pari a circa 0,998 su questa partizione di test separata. I confronti tra modelli si basano su convalida incrociata ripetuta su molti dataset, poiché una partizione di test di 114 righe è troppo piccola per distinguere tra modelli con prestazioni elevate.

Molte tabelle utili sono costruite a partire dall'output di altri modelli. In modalità Predict, result.to_df() restituisce ogni risultato di Ultralytics YOLO26 come DataFrame Polars, con una riga per rilevamento e colonne per il nome della classe, l'ID della classe, la confidenza e le coordinate del riquadro: il formato a righe e colonne che un modello fondazionale tabulare legge come contesto.