Tabular Foundation Models

Табличные фундаментальные модели — это предварительно обученные нейронные сети, которые делают предсказания для новых таблиц со строками и столбцами, на которых не обучались. Получив размеченную таблицу и набор строк для предсказания, они используют обучение в контексте: размеченные строки передаются модели как контекст, а один прямой проход возвращает предсказания для каждой новой строки без обновлений методом градиентного спуска. Модель градиентного бустинга на деревьях, например XGBoost, LightGBM или CatBoost, требует обучения и настройки для каждого набора данных. Табличную фундаментальную модель обучают один раз, и она применяет полученные знания к любой небольшой таблице.

Как TabPFN учится на синтетических таблицах#

Самый известный пример — TabPFN (Tabular Prior-data Fitted Network), созданная Ноа Холлманом, Самуэлем Мюллером, Франком Хуттером и их коллегами из Фрайбургского университета; сейчас её развивает компания Prior Labs. Это трансформер, предварительно обученный исключительно на синтетических данных. На этапе предварительного обучения из априорного распределения процессов генерации данных создаются миллионы искусственных наборов данных. В основном это случайные структурные причинно-следственные модели, которые связывают признаки с целевыми переменными с помощью случайных функций и шума. Для каждого синтетического набора данных сеть получает часть размеченных строк и учится предсказывать отложенные строки — это разновидность метаобучения. На множестве таких задач она учится приближать байесовский вывод по этому априорному распределению, поэтому во время предсказания работает как обученная статистическая процедура, а не как модель конкретной предметной области.

Первая версия, представленная на ICLR 2023, обрабатывала задачи классификации с числом обучающих строк до 1 000, числовых признаков до 100 и классов до 10; она работала на уровне систем AutoML, но до 230 раз быстрее. TabPFN v2, опубликованная в Nature в январе 2025 года, расширила этот подход на классификацию и регрессию для наборов данных объёмом до 10 000 строк и 500 признаков, включая категориальные признаки и пропущенные значения. В задачах классификации TabPFN v2 за 2,8 секунды превзошла ансамбль самых сильных базовых моделей, настроенных за четыре часа. Версия 2 создаёт отдельное представление для каждой ячейки таблицы и чередует механизм внимания между столбцами и строками, поэтому не зависит от фиксированного порядка столбцов. В более поздних выпусках ограничения стали ещё выше, а TabPFN-3, выпущенная в мае 2026 года, принимает до миллиона обучающих строк. Другие табличные фундаментальные модели, например TabICL и Mitra от Amazon, используют тот же подход: предварительное обучение на синтетических таблицах и предсказание в контексте.

Как они соотносятся с деревьями с градиентным бустингом#

• Небольшие наборы данных: На таблицах с сотнями или несколькими тысячами строк базовые табличные модели часто не уступают настроенным деревьям или превосходят их без подбора гиперпараметров. Их прогнозируемые вероятности, как правило, хорошо откалиброваны.
• Большие наборы данных: Для миллионов строк практическим выбором по умолчанию остаются деревья с бустингом. Затраты на механизм внимания растут с числом строк контекста, поэтому фундаментальным моделям нужны GPU и больше памяти; кроме того, при обработке каждой порции данных для предсказания заново анализируется весь обучающий контекст, из-за чего инференс медленнее, чем оценка ансамбля деревьев.
• AutoML: AutoML для каждого нового набора данных выполняет поиск подходящих алгоритмов и настроек. Табличная базовая модель заменяет большую часть этого поиска знаниями, полученными один раз во время предварительного обучения.
• Создание признаков: По-прежнему полезно. Модель не может восстановить информацию, которой нет в столбцах, или исправить неверные метки.

Запуск TabPFN#

Пакет tabpfn предоставляет классификатор со стилем интерфейса scikit-learn. Новейшие контрольные точки скачиваются только после входа в систему и принятия лицензии на модель Prior Labs, а приведённые ниже веса версии 2 скачиваются без этого шага:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Без заданных гиперпараметров классификатор достигает значения ROC AUC около 0,998 на этой отложенной выборке. Модели сравнивают с помощью повторной кросс-валидации на множестве наборов данных, поскольку тестовой выборки из 114 строк недостаточно, чтобы различить сильные модели.

Многие полезные таблицы строятся на основе результатов других моделей. Многие полезные таблицы строятся на основе результатов других моделей. В режиме Predict result.to_df() возвращает каждый результат Ultralytics YOLO26 в виде DataFrame Polars: одна строка на детекцию и столбцы с именем класса, его ID, уверенностью и координатами рамки — в формате строк и столбцов, который табличная фундаментальная модель считывает как контекст.