Tabular Foundation Models

نماذج الأساس الجدولية هي شبكات عصبية مدرّبة مسبقًا، تُصدر تنبؤات على جداول جديدة ذات صفوف وأعمدة من دون تدريب عليها. عند تزويدها بجدول ذي تسميات ومجموعة صفوف يراد التنبؤ بها، تستخدم التعلم ضمن السياق: تدخل الصفوف ذات التسميات إلى النموذج بوصفها سياقًا، وتُرجع تمريرة أمامية واحدة تنبؤات لكل صف جديد، من دون تحديثات عبر الانحدار المتدرج. أما نموذج الأشجار المعززة بالتدرج مثل XGBoost أو LightGBM أو CatBoost، فيجب ملاءمته وضبطه لكل مجموعة بيانات. ويُدرّب نموذج أساس جدولي مرة واحدة، ثم يطبق ما تعلمه على أي جدول صغير يتلقاه.

كيف يتعلم TabPFN من الجداول الاصطناعية#

أشهر الأمثلة هو TabPFN (شبكة ملائمة للبيانات السابقة الجدولية)، الذي أنشأه نوح هولمان وصموئيل مولر وفرانك هوتر وزملاؤهم في جامعة فرايبورغ، وتطوره الآن شركة Prior Labs. وهو Transformer مدرّب مسبقًا بالكامل على بيانات اصطناعية. يستند التدريب المسبق إلى ملايين مجموعات البيانات الاصطناعية المولّدة من توزيع سابق على عمليات توليد البيانات، معظمها نماذج سببية بنيوية عشوائية تربط السمات بالأهداف عبر دوال عشوائية وضوضاء. وترى الشبكة في كل مجموعة بيانات اصطناعية بعض الصفوف ذات التسميات، وتتعلم التنبؤ بالصفوف المحجوبة، وهو شكل من التعلم الفوقي. ومن خلال هذه المهام الكثيرة، تتعلم تقريب الاستدلال البايزي على ذلك التوزيع السابق، لذا تتصرف عند التنبؤ كإجراء إحصائي متعلّم، لا كنموذج لمجال معين.

عالج الإصدار الأول، الذي عُرض في ICLR 2023، التصنيف لما يصل إلى 1,000 صف تدريب و100 سمة رقمية و10 فئات، وأدّى بمستوى يضاهي أنظمة AutoML مع سرعة تصل إلى 230 ضعفًا. ووسّع TabPFN v2، المنشور في Nature في يناير 2025، النهج ليشمل التصنيف والانحدار على مجموعات بيانات تضم ما يصل إلى 10,000 صف و500 سمة، بما في ذلك السمات الفئوية والقيم المفقودة. وفي التصنيف، تفوق TabPFN v2 خلال 2.8 ثانية على مجموعة من أقوى خطوط الأساس التي ضُبطت على مدى أربع ساعات. ويمنح الإصدار 2 كل خلية في الجدول تمثيلًا خاصًا بها، ويتناوب على تطبيق الانتباه عبر الأعمدة وعبر الصفوف، لذا لا يعتمد على ترتيب ثابت للأعمدة. وترفع الإصدارات اللاحقة الحدود أكثر؛ إذ يقبل TabPFN-3، الصادر في مايو 2026، ما يصل إلى مليون صف تدريب. وتتبع نماذج الأساس الجدولية الأخرى، مثل TabICL وMitra من Amazon، النهج نفسه: التدريب المسبق على جداول اصطناعية والتنبؤ ضمن السياق.

مجال استخدامها إلى جانب أشجار التعزيز المتدرج#

• مجموعات البيانات الصغيرة: في المجموعات التي تضم مئات الصفوف إلى بضعة آلاف، غالبًا ما تضاهي النماذج التأسيسية الجدولية الأشجار المضبوطة أو تتفوق عليها من دون أي بحث عن المعلمات الفائقة، كما تكون احتمالاتها المتنبأ بها معايرة جيدًا عمومًا.
• مجموعات البيانات الكبيرة: تظل الأشجار المعززة الخيار العملي الافتراضي لملايين الصفوف. تزداد تكلفة الانتباه مع عدد صفوف السياق، لذا تحتاج نماذج الأساس إلى وحدة GPU وذاكرة أكبر، كما تعيد كل دفعة تنبؤات معالجة سياق التدريب كاملًا، ما يجعل الاستدلال أبطأ من تقييم مجموعة أشجار.
• التعلم الآلي المؤتمت: يبحث AutoML في الخوارزميات والإعدادات لكل مجموعة بيانات جديدة. ويستبدل النموذج التأسيسي الجدولي معظم هذا البحث بمعرفة تعلّمها مرة واحدة أثناء التدريب المسبق.
• هندسة السمات: تظل مفيدة. فلا يستطيع النموذج استعادة معلومات غير موجودة في الأعمدة أو إصلاح تسميات خاطئة.

تشغيل TabPFN#

توفّر الحزمة tabpfn مصنّفًا بأسلوب scikit-learn. ولا تُنزّل أحدث نقاط التحقق إلا بعد تسجيل الدخول وقبول ترخيص النموذج الخاص بـ Prior Labs، في حين تُنزّل أوزان الإصدار 2 المحددة أدناه من دون هذه الخطوة:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier
from tabpfn.constants import ModelVersion

# 569 tumors described by 30 numeric measurements
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=0)

# fit() stores the labeled rows as context; no weights are updated
model = TabPFNClassifier.create_default_for_version(ModelVersion.V2)
model.fit(x_train, y_train)

# One forward pass predicts every test row from that context
probabilities = model.predict_proba(x_test)[:, 1]
print(f"ROC AUC: {roc_auc_score(y_test, probabilities):.3f}")

من دون تحديد معلمات فائقة، يحقق المصنف ROC AUC يقارب 0.998 على هذا التقسيم المحجوز للاختبار. وتستخدم مقارنات النماذج التحقق المتقاطع المتكرر عبر مجموعات بيانات كثيرة، لأن مجموعة اختبار من 114 صفًا صغيرة جدًا للتمييز بين النماذج القوية.

تُبنى جداول مفيدة كثيرة من مخرجات نماذج أخرى. تُبنى جداول مفيدة كثيرة من مخرجات نماذج أخرى. في وضع التنبؤ، يعيد result.to_df() كل نتيجة من نتائج Ultralytics YOLO26 على هيئة DataFrame من Polars، بصف واحد لكل عملية اكتشاف وأعمدة لاسم الفئة ومعرّفها ودرجة الثقة وإحداثيات المربع، وهو تنسيق الصفوف والأعمدة الذي يقرأه نموذج الأساس الجدولي كسياق.