Tabular Foundation Models

I modelli di fondazione tabulari sono modelli di apprendimento automatico preaddestrati progettati per effettuare previsioni a partire da dati strutturati disposti in righe e colonne. Invece di apprendere ogni nuovo compito interamente da zero, riutilizzano i modelli appresi su molti set di dati per interpretare una nuova tabella, i suoi esempi etichettati e le relazioni tra le sue caratteristiche. Estendono l'idea di un modello di fondazione per uso generale ai comuni problemi di apprendimento supervisionato come la classificazione e la regressione.

Come funzionano i modelli di fondazione tabulari#

Un modello tabulare convenzionale apprende solo dal set di dati fornito per un singolo compito. Un modello di fondazione tabulare viene invece preaddestrato su un'ampia distribuzione di tabelle o di problemi di dati generati. Questo gli insegna ipotesi riutilizzabili su relazioni, rumore, interazioni tra caratteristiche, confini delle classi e informazioni mancanti.

Quando riceve un nuovo set di dati, il modello esamina le righe di addestramento, i relativi valori di riferimento e le righe che richiedono previsioni. Molte implementazioni eseguono questo passaggio tramite l'apprendimento in contesto: i record etichettati forniscono il contesto necessario per risolvere il nuovo compito, spesso senza una lunga ottimizzazione dei parametri specifica per il compito. Un transformer può elaborare colonne e righe come elementi contestuali, sebbene le architetture differiscano.

Le tabelle presentano sfide che le immagini e il testo non hanno. Le colonne possono rappresentare misurazioni continue, categorie, date, conteggi o identificatori e il loro ordine solitamente ha poco significato. Una buona preparazione dei dati rimane essenziale. La guida di Scikit-learn sull'elaborazione di colonne di tipo misto illustra perché diversi tipi di caratteristiche possano richiedere trattamenti differenti, mentre la documentazione di pandas spiega i modi coerenti per rappresentare i dati mancanti. Un modello di fondazione può ridurre la progettazione delle caratteristiche manuale, ma non può correggere automaticamente etichette fuorvianti o variabili definite in modo inadeguato.

Concetti correlati e differenze chiave#

• Apprendimento automatico automatizzato: AutoML cerca tra algoritmi, passaggi di preelaborazione e iperparametri per ciascun set di dati. Un modello di fondazione tabulare apporta invece conoscenze riutilizzabili derivanti dal preaddestramento e può produrre una previsione con una ricerca di modelli minima.

• Apprendimento per trasferimento: L'apprendimento per trasferimento adatta solitamente i pesi preaddestrati tramite la messa a punto. I modelli di fondazione tabulari possono supportare la messa a punto, ma molti sono progettati per inferire direttamente dagli esempi di una nuova tabella.

• Alberi con potenziamento del gradiente: Gli ensemble di alberi rimangono linee di base tabulari forti ed efficienti e vengono addestrati separatamente per ogni compito. I modelli di fondazione possono essere particolarmente convenienti per piccoli set di dati, esperimenti rapidi o compiti ripetuti, ma dovrebbero essere confrontati con i modelli ad albero piuttosto che dare per scontato che li sostituiscano.

I modelli di fondazione tabulari differiscono anche dai modelli linguistici applicati al testo CSV. Operano sulla struttura statistica delle caratteristiche e degli obiettivi anziché trattare ogni riga come un normale prompt in linguaggio naturale.

Applicazioni nel mondo reale#

• Valutazione del rischio clinico: Un ospedale potrebbe disporre di una tabella relativamente piccola contenente l'età del paziente, misurazioni di laboratorio, sintomi, storia dei trattamenti e un'etichetta di esito. Un modello di fondazione tabulare può stimare rischi come la riammissione o le complicanze senza richiedere un'ampia esecuzione di addestramento di reti neurali. Poiché gli errori possono influenzare le decisioni di cura, i team devono valutare le prestazioni tra i gruppi di pazienti e mantenere un'adeguata supervisione clinica. Questo flusso di lavoro può integrare la visione artificiale nella sanità basata su immagini, in cui le misurazioni derivate dalle scansioni diventano colonne aggiuntive della tabella.

• Previsione della qualità nella produzione: Un sistema di ispezione può utilizzare la visione artificiale per rilevare difetti visibili registrando al contempo la temperatura della macchina, la velocità di produzione, il lotto di materiale, il turno e le letture dei sensori. Le previsioni di un modello Ultralytics YOLO26, come il conteggio dei difetti o i punteggi di confidenza, possono essere convertite in caratteristiche strutturate e combinate con i dati operativi. Un modello tabulare può quindi prevedere se un'unità richiede una revisione o se un processo rischia di uscire dalla tolleranza. I team possono gestire l'annotazione, l'addestramento e il rilascio del set di dati di visione tramite Ultralytics Platform.

Flusso di lavoro pratico e valutazione#

Una nota implementazione espone un classificatore in stile scikit-learn attraverso il documentato flusso di lavoro di classificazione TabPFN. Dopo aver installato tabpfn e scikit-learn e aver completato l'accesso al modello al primo avvio eventualmente richiesto, un esempio minimo di classificazione binaria è il seguente:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier

# Create separate training and test sets
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=42, stratify=targets)

# Fit from the labeled context and predict probabilities
model = TabPFNClassifier()
model.fit(x_train, y_train)
probabilities = model.predict_proba(x_test)[:, 1]

print(roc_auc_score(y_test, probabilities))

Ciò dimostra la familiare interfaccia di adattamento e previsione, ma una singola suddivisione di test non costituisce prova sufficiente della prontezza per la produzione. Utilizzare adeguate strategie di convalida incrociata, prevenire la preelaborazione o la perdita di target e selezionare metriche di valutazione che corrispondano al costo degli errori. Quando le decisioni dipendono da probabilità previste, controllare la calibrazione della probabilità e non solo l'accuratezza.

Infine, ispezionare le prestazioni per sottogruppo, confrontare con semplici linee di base, testare dati alterati e documentare i limiti. Il quadro di gestione del rischio IA del NIST fornisce indicazioni più ampie per una valutazione affidabile, mentre il continuo monitoraggio del modello aiuta a rilevare la modifica delle distribuzioni delle caratteristiche e il calo delle prestazioni dopo il rilascio.