Tabular Foundation Models
Tablolu temel modeller, eğitim çalıştırması yapmadan tek bir ileri geçişte yeni bir tabloda tahmin yapar. TabPFN'in nasıl çalıştığını ve artırmalı ağaçlardan ne zaman daha iyi sonuç verdiğini incele.
Tablosal temel modeller, yeni satır ve sütun tabloları üzerinde, bu tablolarla eğitilmeden tahmin yapan önceden eğitilmiş sinir ağlarıdır. Etiketli bir tablo ve tahmin yapılacak satırlar verildiğinde, bağlam içi öğrenmeyi kullanırlar: etiketli satırlar modele bağlam olarak girer ve tek bir ileri geçiş, gradyan inişi güncellemesi olmadan tüm yeni satırlar için tahmin döndürür. XGBoost, LightGBM veya CatBoost gibi gradyan artırmalı ağaç modellerinin her veri kümesi için ayrı ayrı eğitilip ayarlanması gerekir. Tablosal bir temel model ise bir kez eğitilir ve öğrendiklerini aldığı her küçük tabloya uygular.
TabPFN Sentetik Tablolardan Nasıl Öğreniyor#
En bilinen örnek, Noah Hollmann, Samuel Müller, Frank Hutter ve Freiburg Üniversitesi'ndeki çalışma arkadaşlarının oluşturduğu, bugün Prior Labs şirketinin geliştirdiği TabPFN (Tabular Prior-data Fitted Network) modelidir. Bu, tamamen sentetik veriler üzerinde önceden eğitilmiş bir Transformer modelidir. Ön eğitimde, veri üretme süreçleri üzerindeki bir önsel dağılımdan milyonlarca yapay veri kümesi örneklenir. Bu süreçler çoğunlukla özellikleri rastgele işlevler ve gürültü yoluyla hedeflere bağlayan rastgele yapısal nedensel modellerdir. Her sentetik veri kümesinde ağ bazı etiketli satırları görür ve saklanan satırları tahmin etmeyi öğrenir; bu, bir tür meta öğrenmedir. Çok sayıda görev boyunca bu önsel dağılım üzerinde Bayesçi çıkarımı yaklaşık olarak öğrenir. Böylece tahmin sırasında belirli bir alanın modeli olmaktan çok, öğrenilmiş bir istatistiksel yöntem gibi davranır.
ICLR 2023'te sunulan ilk sürüm, 1.000'e kadar eğitim satırı, 100 sayısal özellik ve 10 sınıf içeren sınıflandırma görevlerini ele aldı; AutoML sistemleriyle benzer performans gösterirken 230 kata kadar hızlı çalıştı. Nature'da Ocak 2025'te yayımlanan TabPFN v2, yaklaşımı 10.000'e kadar satır ve 500 özelliğe sahip veri kümelerinde sınıflandırma ve regresyona genişletti; kategorik özellikleri ve eksik değerleri de destekledi. Sınıflandırmada TabPFN v2'nin 2,8 saniyelik çalışması, dört saat boyunca ayarlanmış en güçlü temel yöntemlerden oluşan bir topluluğu geride bıraktı. 2. sürüm, her tablo hücresine kendi temsilini verir ve dikkati sütunlar ile satırlar arasında sırayla uygular; böylece sabit sütun sırasına bağlı kalmaz. Sonraki sürümler sınırları daha da artırdı; Mayıs 2026'da yayımlanan TabPFN-3, bir milyona kadar eğitim satırını kabul ediyor. TabICL ve Amazon'un Mitra'sı gibi diğer tablosal temel modeller de sentetik tablolar üzerinde ön eğitim yapıp bağlam içinde tahmin etme yaklaşımını izliyor.
Gradyan Artırmalı Ağaçların Yanında Nasıl Konumlanıyorlar#
- Küçük veri kümeleri: Yüzlerce ile birkaç bin satır içeren veri kümelerinde tablo temelli temel modeller, çoğu zaman herhangi bir hiperparametre araması olmadan ayarlanmış ağaçlarla aynı veya daha iyi sonuç verir; tahmin ettikleri olasılıklar da genellikle iyi kalibre edilmiştir.
- Büyük veri kümeleri: Milyonlarca satır için artırmalı ağaçlar pratikte varsayılan seçenek olmaya devam ediyor. Dikkat maliyeti bağlamdaki satır sayısıyla artar; bu nedenle temel modeller GPU ve daha fazla bellek gerektirir. Ayrıca her tahmin grubu, tüm eğitim bağlamını yeniden işler; bu da çıkarımı bir ağaç topluluğunu değerlendirmekten daha yavaş hale getirir.
- AutoML: AutoML, her yeni veri kümesi için algoritmaları ve ayarları tarar. Tablo temelli bir temel model, bu aramanın çoğunu ön eğitim sırasında bir kez öğrenilen bilgilerle değiştirir.
- Özellik mühendisliği: Hâlâ yararlıdır. Model, sütunlarda bulunmayan bilgileri geri getiremez veya yanlış etiketleri düzeltemez.
TabPFN'yi Çalıştırma#
tabpfn paketi, scikit-learn tarzı bir sınıflandırıcı sunar. En yeni kontrol noktaları yalnızca oturum açıp Prior Labs'in model lisansını kabul ettikten sonra indirilirken, aşağıda seçilen 2. sürüm ağırlıkları bu adım olmadan indirilir:
from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion
# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)
# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)
# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")Ayarlanmış hiperparametreler olmadan sınıflandırıcı, bu ayrılmış bölmede yaklaşık 0,998 ROC AUC değerine ulaşır. Güçlü modelleri karşılaştırmak için çok sayıda veri kümesinde tekrarlanan çapraz doğrulama kullanılır; çünkü 114 satırlık bir test bölmesi güçlü modelleri birbirinden ayırmak için çok küçüktür.
Yararlı tabloların çoğu başka modellerin çıktılarından oluşturulur. Yararlı tabloların çoğu başka modellerin çıktılarından oluşturulur. Tahmin modunda result.to_df(), her Ultralytics YOLO26 sonucunu algılama başına bir satır içeren bir Polars DataFrame olarak döndürür. Sütunlarda sınıf adı, sınıf kimliği, güven puanı ve kutu koordinatları bulunur; bu satır-sütun biçimi, tablosal temel modelin bağlam olarak okuduğu biçimdir.
