Tabular Foundation Models

Modelos fundacionais tabulares são redes neurais pré-treinadas que fazem previsões em novas tabelas de linhas e colunas sem serem treinadas nelas. Dada uma tabela rotulada e um conjunto de linhas para prever, elas usam aprendizado no contexto: as linhas rotuladas são inseridas como contexto no modelo, e uma única passagem direta retorna previsões para cada linha nova, sem atualizações por descida do gradiente. Um modelo de árvores com boosting de gradiente, como XGBoost, LightGBM ou CatBoost, precisa ser ajustado para cada conjunto de dados. Um modelo fundacional tabular é treinado uma vez e aplica o que aprendeu a qualquer tabela pequena que receba.

Como o TabPFN aprende com tabelas sintéticas#

O exemplo mais conhecido é o TabPFN (Tabular Prior-data Fitted Network), criado por Noah Hollmann, Samuel Müller, Frank Hutter e colegas da Universidade de Freiburg e atualmente desenvolvido pela empresa Prior Labs. É um Transformer pré-treinado inteiramente com dados sintéticos. O pré-treinamento gera milhões de conjuntos de dados artificiais a partir de uma distribuição a priori sobre processos geradores de dados, principalmente modelos causais estruturais aleatórios que conectam atributos a alvos por meio de funções aleatórias e ruído. Para cada conjunto de dados sintético, a rede recebe algumas linhas rotuladas e aprende a prever as linhas reservadas, uma forma de meta-aprendizado. Em muitas dessas tarefas, aprende a aproximar a inferência bayesiana com base nessa distribuição a priori e, assim, no momento da previsão, comporta-se como um procedimento estatístico aprendido, em vez de um modelo de um domínio específico.

A primeira versão, apresentada na ICLR 2023, lidava com classificação em até 1.000 linhas de treinamento, 100 atributos numéricos e 10 classes, com desempenho equivalente ao de sistemas AutoML e execução até 230 vezes mais rápida. O TabPFN v2, publicado na Nature em janeiro de 2025, ampliou a abordagem para classificação e regressão em conjuntos de dados com até 10.000 linhas e 500 atributos, incluindo atributos categóricos e valores ausentes. Em classificação, 2,8 segundos do TabPFN v2 superaram um conjunto dos modelos de linha de base mais fortes, ajustados durante quatro horas. A versão 2 dá a cada célula da tabela sua própria representação e alterna a atenção entre colunas e linhas, sem depender de uma ordem fixa para as colunas. Versões posteriores ampliam ainda mais os limites, e o TabPFN-3, lançado em maio de 2026, aceita até um milhão de linhas de treinamento. Outros modelos fundacionais tabulares, como o TabICL e o Mitra da Amazon, seguem a mesma receita de pré-treinamento com tabelas sintéticas e previsão no contexto.

Onde se situam em relação às árvores com boosting de gradiente#

• Conjuntos de dados pequenos: Com centenas ou alguns milhares de linhas, os modelos de base tabulares igualam ou superam muitas vezes as árvores otimizadas, sem qualquer pesquisa de hiperparâmetros, e as probabilidades previstas são geralmente bem calibradas.
• Conjuntos de dados grandes: Árvores com boosting continuam sendo a opção prática padrão para milhões de linhas. O custo da atenção aumenta com o número de linhas de contexto, então os modelos fundacionais precisam de uma GPU e de mais memória. Além disso, cada lote de previsões reprocessa todo o contexto de treinamento, o que torna a inferência mais lenta do que a avaliação de um conjunto de árvores.
• AutoML: O AutoML pesquisa algoritmos e configurações para cada novo conjunto de dados. Um modelo de base tabular substitui a maior parte dessa pesquisa por conhecimento aprendido uma vez durante o pré-treino.
• Engenharia de características: Continua a ser útil. O modelo não consegue recuperar informações ausentes nas colunas nem corrigir rótulos incorretos.

Executar o TabPFN#

O pacote tabpfn disponibiliza um classificador no estilo do scikit-learn. Os pontos de controlo mais recentes só são transferidos depois de iniciares sessão e aceitares a licença do modelo da Prior Labs; os pesos da versão 2 selecionados abaixo podem ser transferidos sem esse passo:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Sem definir hiperparâmetros, o classificador alcança uma ROC AUC de cerca de 0,998 nessa divisão de teste reservada. As comparações entre modelos usam validação cruzada repetida em muitos conjuntos de dados, pois uma divisão de teste com 114 linhas é pequena demais para diferenciar modelos fortes.

Muitas tabelas úteis são criadas a partir da saída de outros modelos. No modo Predict, result.to_df() retorna cada resultado do Ultralytics YOLO26 como um DataFrame do Polars, com uma linha por detecção e colunas para o nome da classe, o ID da classe, a confiança e as coordenadas da caixa — o formato de linhas e colunas que um modelo fundacional tabular lê como contexto.