Tabular Foundation Models

Los modelos fundacionales tabulares son redes neuronales preentrenadas que hacen predicciones sobre tablas nuevas de filas y columnas sin entrenarse con ellas. Dada una tabla etiquetada y un conjunto de filas que predecir, utilizan aprendizaje en contexto: las filas etiquetadas se introducen en el modelo como contexto y una única pasada hacia delante devuelve predicciones para cada fila nueva, sin actualizar el descenso del gradiente. Un modelo de árboles potenciados por gradiente como XGBoost, LightGBM o CatBoost debe ajustarse y optimizarse para cada conjunto de datos. Un modelo fundacional tabular se entrena una vez y aplica lo aprendido a cualquier tabla pequeña que reciba.

Cómo aprende TabPFN a partir de tablas sintéticas#

El ejemplo más conocido es TabPFN (Tabular Prior-data Fitted Network), creado por Noah Hollmann, Samuel Müller, Frank Hutter y sus colegas de la Universidad de Friburgo y desarrollado actualmente por la empresa Prior Labs. Es un Transformer preentrenado íntegramente con datos sintéticos. El preentrenamiento genera millones de conjuntos de datos artificiales a partir de una distribución previa de procesos generadores de datos, en su mayoría modelos causales estructurales aleatorios que vinculan características con objetivos mediante funciones aleatorias y ruido. Para cada conjunto de datos sintético, la red ve algunas filas etiquetadas y aprende a predecir las que se han reservado, una forma de metaaprendizaje. A lo largo de muchas tareas de este tipo, aprende a aproximar la inferencia bayesiana sobre esa distribución previa, de modo que, en el momento de la predicción, se comporta como un procedimiento estadístico aprendido y no como un modelo de un dominio específico.

La primera versión, presentada en ICLR 2023, admitía clasificación con hasta 1.000 filas de entrenamiento, 100 características numéricas y 10 clases, y rendía a la par de los sistemas de AutoML mientras era hasta 230 veces más rápida. TabPFN v2, publicado en Nature en enero de 2025, amplió el enfoque a la clasificación y la regresión en conjuntos de datos de hasta 10.000 filas y 500 características, incluidas características categóricas y valores ausentes. En clasificación, 2,8 segundos de TabPFN v2 superaron a un conjunto de las referencias más potentes optimizadas durante cuatro horas. La versión 2 asigna a cada celda de la tabla su propia representación y alterna la atención entre columnas y filas, por lo que no depende de un orden fijo de columnas. Las versiones posteriores amplían aún más los límites y TabPFN-3, publicado en mayo de 2026, admite hasta un millón de filas de entrenamiento. Otros modelos fundacionales tabulares, como TabICL y Mitra de Amazon, siguen el mismo método: preentrenamiento con tablas sintéticas y predicción en contexto.

Dónde encajan frente a los árboles potenciados por gradiente#

• Conjuntos de datos pequeños: Con cientos o unos pocos miles de filas, los modelos fundacionales tabulares suelen igualar o superar a los árboles optimizados sin buscar hiperparámetros, y sus probabilidades previstas suelen estar bien calibradas.
• Conjuntos de datos grandes: Los árboles potenciados siguen siendo la opción práctica por defecto para millones de filas. El coste de la atención aumenta con el número de filas de contexto, así que los modelos fundacionales necesitan una GPU y más memoria, y cada lote de predicciones vuelve a procesar todo el contexto de entrenamiento, lo que hace que la inferencia sea más lenta que la evaluación de un conjunto de árboles.
• AutoML: AutoML busca algoritmos y configuraciones para cada conjunto de datos nuevo. Un modelo fundacional tabular sustituye la mayor parte de esa búsqueda por conocimientos aprendidos una vez durante el preentrenamiento.
• Ingeniería de características: Sigue siendo útil. El modelo no puede recuperar información que falta en las columnas ni corregir etiquetas erróneas.

Ejecutar TabPFN#

El paquete tabpfn ofrece un clasificador al estilo de scikit-learn. Sus puntos de control más recientes solo se descargan después de iniciar sesión y aceptar la licencia del modelo de Prior Labs; en cambio, los pesos de la versión 2 seleccionados a continuación se descargan sin ese paso:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Sin hiperparámetros definidos, el clasificador alcanza un ROC AUC de aproximadamente 0,998 en esta partición de prueba reservada. Las comparaciones entre modelos utilizan validación cruzada repetida en numerosos conjuntos de datos, ya que una partición de prueba de 114 filas es demasiado pequeña para distinguir entre modelos potentes.

Muchas tablas útiles se crean a partir de los resultados de otros modelos. Muchas tablas útiles se crean a partir de los resultados de otros modelos. En modo de predicción, result.to_df() devuelve cada resultado de Ultralytics YOLO26 como un DataFrame de Polars, con una fila por detección y columnas para el nombre de clase, el ID de clase, la confianza y las coordenadas de la caja: el formato de filas y columnas que un modelo fundacional tabular lee como contexto.