Tabular Foundation Models

Model nền tảng dạng bảng là các mạng nơ-ron được tiền huấn luyện, có thể dự đoán trên các bảng hàng-cột mới mà không cần huấn luyện riêng trên những bảng đó. Với một bảng có nhãn và tập hàng cần dự đoán, chúng dùng học trong ngữ cảnh: các hàng có nhãn được đưa vào model làm ngữ cảnh, rồi một lượt lan truyền xuôi duy nhất trả về dự đoán cho mọi hàng mới mà không cần cập nhật bằng gradient descent. Model cây tăng cường gradient như XGBoost, LightGBM hoặc CatBoost phải được khớp và tinh chỉnh cho từng bộ dữ liệu. Model nền tảng dạng bảng được huấn luyện một lần rồi áp dụng những gì đã học vào bất kỳ bảng nhỏ nào được cung cấp.

TabPFN học từ bảng dữ liệu tổng hợp như thế nào#

Ví dụ nổi tiếng nhất là TabPFN (Tabular Prior-data Fitted Network), do Noah Hollmann, Samuel Müller, Frank Hutter và các cộng sự tại Đại học Freiburg tạo ra; hiện nay công ty Prior Labs tiếp tục phát triển model này. Đây là Transformer được tiền huấn luyện hoàn toàn trên dữ liệu tổng hợp. Quá trình tiền huấn luyện lấy mẫu hàng triệu bộ dữ liệu nhân tạo từ một phân phối tiên nghiệm trên các quy trình tạo dữ liệu, chủ yếu là các model nhân quả cấu trúc ngẫu nhiên liên kết đặc trưng với mục tiêu thông qua hàm ngẫu nhiên và nhiễu. Với mỗi bộ dữ liệu tổng hợp, mạng nơ-ron nhận một số hàng có nhãn và học dự đoán các hàng được giữ lại; đây là một dạng meta-learning. Qua nhiều tác vụ như vậy, model học cách xấp xỉ suy luận Bayes trên phân phối tiên nghiệm đó, vì vậy khi dự đoán, model hoạt động như một quy trình thống kê đã học thay vì model thuộc một miền cụ thể.

Phiên bản đầu tiên, được giới thiệu tại ICLR 2023, xử lý phân loại với tối đa 1.000 hàng huấn luyện, 100 đặc trưng số và 10 lớp; hiệu năng ngang bằng các hệ thống AutoML trong khi chạy nhanh hơn tới 230 lần. TabPFN v2, được công bố trên Nature vào tháng 1 năm 2025, mở rộng phương pháp sang phân loại và hồi quy trên các bộ dữ liệu có tối đa 10.000 hàng và 500 đặc trưng, bao gồm đặc trưng phân loại và giá trị thiếu. Trong tác vụ phân loại, TabPFN v2 chỉ cần 2,8 giây đã vượt trội hơn ensemble gồm các baseline mạnh nhất được tinh chỉnh trong bốn giờ. Phiên bản 2 tạo một biểu diễn riêng cho mỗi ô của bảng và luân phiên áp dụng attention theo cột và theo hàng, nhờ đó không phụ thuộc vào thứ tự cột cố định. Các bản phát hành sau tiếp tục nâng giới hạn; TabPFN-3, phát hành vào tháng 5 năm 2026, chấp nhận tối đa một triệu hàng huấn luyện. Các model nền tảng dạng bảng khác, chẳng hạn TabICL và Mitra của Amazon, cũng áp dụng cách tiếp cận tương tự: tiền huấn luyện trên bảng tổng hợp rồi dự đoán trong ngữ cảnh.

Vị trí của chúng bên cạnh cây tăng cường gradient#

• Bộ dữ liệu nhỏ: Với vài trăm đến vài nghìn hàng, foundation model dạng bảng thường đạt hiệu năng ngang bằng hoặc vượt cây đã tinh chỉnh mà không cần tìm kiếm siêu tham số; xác suất dự đoán của các model này nhìn chung cũng được hiệu chỉnh tốt.
• Bộ dữ liệu lớn: Cây tăng cường vẫn là lựa chọn mặc định thực tế cho hàng triệu hàng. Chi phí attention tăng theo số hàng ngữ cảnh, vì vậy model nền tảng cần GPU và nhiều bộ nhớ hơn; mỗi batch dự đoán cũng phải xử lý lại toàn bộ ngữ cảnh huấn luyện, khiến suy luận chậm hơn so với đánh giá ensemble cây.
• AutoML: AutoML tìm kiếm thuật toán và thiết lập cho từng bộ dữ liệu mới. Foundation model dạng bảng thay thế phần lớn quá trình tìm kiếm đó bằng tri thức được học một lần trong giai đoạn tiền huấn luyện.
• Feature engineering: Vẫn hữu ích. Model không thể khôi phục thông tin không có trong các cột hoặc sửa những nhãn sai.

Chạy TabPFN#

Gói tabpfn cung cấp một classifier theo phong cách scikit-learn. Các checkpoint mới nhất chỉ được tải xuống sau khi đăng nhập và chấp nhận giấy phép model của Prior Labs; trọng số phiên bản 2 được chọn bên dưới có thể tải xuống mà không cần bước đó:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

Không thiết lập hyperparameter nào, bộ phân loại đạt ROC AUC khoảng 0,998 trên tập chia giữ lại này. Việc so sánh model sử dụng cross-validation lặp lại trên nhiều bộ dữ liệu, vì tập kiểm thử gồm 114 hàng quá nhỏ để phân biệt các model mạnh.

Nhiều bảng hữu ích được tạo từ đầu ra của các model khác. Nhiều bảng hữu ích được tạo từ đầu ra của các model khác. Trong Predict mode, result.to_df() trả về mỗi kết quả Ultralytics YOLO26 dưới dạng Polars DataFrame, mỗi hàng tương ứng với một phát hiện và các cột chứa tên lớp, ID lớp, độ tin cậy và tọa độ bounding box—định dạng hàng-cột mà model nền tảng dạng bảng đọc làm ngữ cảnh.