Tabular Foundation Models

Các mô hình nền tảng dạng bảng là các mô hình học máy đã được huấn luyện trước, được thiết kế để đưa ra dự đoán từ dữ liệu có cấu trúc được sắp xếp theo hàng và cột. Thay vì học mọi tác vụ mới hoàn toàn từ đầu, các mô hình này tái sử dụng các mẫu đã học trên nhiều tập dữ liệu để diễn giải một bảng mới, các ví dụ được gán nhãn của bảng đó và các mối quan hệ giữa các đặc trưng của bảng đó. Chúng mở rộng ý tưởng về một mô hình nền tảng đa năng sang các bài toán học có giám sát phổ biến như phân loại và hồi quy.

Cách thức hoạt động của mô hình nền tảng dạng bảng#

Một mô hình dạng bảng thông thường chỉ học từ tập dữ liệu được cung cấp cho một tác vụ duy nhất. Một mô hình nền tảng dạng bảng trước tiên được huấn luyện trước trên một phân phối rộng của các bảng hoặc các bài toán dữ liệu được tạo ra. Quá trình này giúp mô hình học được các giả định có thể tái sử dụng về các mối quan hệ, nhiễu, sự tương tác giữa các đặc trưng, ranh giới lớp và thông tin bị thiếu.

Khi được cung cấp một tập dữ liệu mới, mô hình sẽ kiểm tra các hàng huấn luyện, các giá trị mục tiêu của chúng và các hàng cần dự đoán. Nhiều phương pháp thực thi bước này thông qua học tập trong ngữ cảnh: các bản ghi được gán nhãn cung cấp ngữ cảnh cần thiết để giải quyết tác vụ mới, thường là mà không cần tối ưu hóa tham số cụ thể cho tác vụ kéo dài. Một Transformer có thể xử lý các cột và hàng như các phần tử ngữ cảnh, mặc dù các kiến trúc có thể khác nhau.

Các bảng đặt ra những thách thức mà hình ảnh và văn bản không có. Các cột có thể đại diện cho các phép đo liên tục, danh mục, ngày tháng, số lượng hoặc định mã, và thứ tự của chúng thường mang ít ý nghĩa. Việc chuẩn bị dữ liệu tốt vẫn là điều cốt lõi. Hướng dẫn của Scikit-learn về xử lý các cột có kiểu dữ liệu hỗn hợp minh họa lý do tại sao các loại đặc trưng khác nhau có thể yêu cầu cách xử lý khác nhau, trong khi tài liệu của pandas giải thích các cách nhất quán để biểu diễn dữ liệu bị thiếu. Một mô hình nền tảng có thể giảm thiểu việc kỹ thuật đặc trưng thủ công, nhưng nó không thể tự động sửa các nhãn gây hiểu nhầm hoặc các biến được xác định kém.

Các khái niệm liên quan và điểm khác biệt chính#

• Học máy tự động: AutoML tìm kiếm giữa các thuật toán, các bước tiền xử lý và các siêu tham số cho mỗi tập dữ liệu. Thay vào đó, một mô hình nền tảng dạng bảng mang lại kiến thức có thể tái sử dụng từ quá trình huấn luyện trước và có thể tạo ra dự đoán với ít việc tìm kiếm mô hình hơn.

• Học chuyển giao: Học chuyển giao thường thích ứng các trọng số đã được huấn luyện trước thông qua tinh chỉnh. Các mô hình nền tảng dạng bảng có thể hỗ trợ tinh chỉnh, nhưng nhiều mô hình được thiết kế để suy luận trực tiếp từ các ví dụ của một bảng mới.

• Cây tăng cường độ dốc: Các tập hợp cây vẫn là các đường cơ sở dạng bảng mạnh mẽ, hiệu quả và được huấn luyện riêng biệt cho từng tác vụ. Các mô hình nền tảng có thể đặc biệt thuận tiện cho các tập dữ liệu nhỏ, các thử nghiệm nhanh hoặc các tác vụ lặp lại, nhưng chúng nên được so sánh với các mô hình cây thay vì giả định rằng chúng sẽ thay thế các mô hình cây.

Các mô hình nền tảng dạng bảng cũng khác với các mô hình ngôn ngữ được áp dụng cho văn bản CSV. Chúng hoạt động trên cấu trúc thống kê của các đặc trưng và mục tiêu thay vì coi mỗi hàng là một lời nhắc ngôn ngữ tự nhiên thông thường.

Các ứng dụng trong thực tế#

• Đánh giá rủi ro lâm sàng: Một bệnh viện có thể có một bảng tương đối nhỏ chứa độ tuổi của bệnh nhân, các kết quả đo lường trong phòng thí nghiệm, các triệu chứng, tiền sử điều trị và nhãn kết quả. Một mô hình nền tảng dạng bảng có thể ước tính các rủi ro như tái nhập viện hoặc các biến chứng mà không yêu cầu một lượt huấn luyện mạng nơ-ron lớn. Vì các lỗi có thể ảnh hưởng đến các quyết định chăm sóc, các nhóm phải đánh giá hiệu suất trên các nhóm bệnh nhân và duy trì sự giám sát lâm sàng thích hợp. Quy trình làm việc này có thể bổ sung cho thị giác máy tính trong y tế dựa trên hình ảnh, nơi các phép đo có được từ quét trở thành các cột bổ sung trong bảng.

• Dự đoán chất lượng sản xuất: Một hệ thống kiểm tra có thể sử dụng thị giác máy tính để phát hiện các lỗi nhìn thấy được trong khi ghi lại nhiệt độ máy móc, tốc độ sản xuất, lô vật liệu, ca làm việc và các chỉ số cảm biến. Các dự đoán từ một mô hình Ultralytics YOLO26—chẳng hạn như số lượng lỗi hoặc điểm số độ tin cậy—có thể được chuyển đổi thành các đặc trưng có cấu trúc và kết hợp với dữ liệu vận hành. Một mô hình dạng bảng sau đó có thể dự đoán xem một đơn vị có cần xem xét lại hay không hoặc một quy trình có khả năng lệch khỏi dung sai hay không. Các nhóm có thể quản lý việc chú thích tập dữ liệu thị giác, huấn luyện và triển khai thông qua Nền tảng Ultralytics.

Quy trình thực tế và đánh giá#

Một công cụ thực thi nổi tiếng cung cấp bộ phân loại theo phong cách scikit-learn thông qua quy trình phân loại TabPFN được tài liệu hóa. Sau khi cài đặt tabpfn và scikit-learn và hoàn tất mọi quyền truy cập mô hình chạy lần đầu bắt buộc, một ví dụ phân loại nhị phân tối thiểu là:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier

# Create separate training and test sets
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=42, stratify=targets)

# Fit from the labeled context and predict probabilities
model = TabPFNClassifier()
model.fit(x_train, y_train)
probabilities = model.predict_proba(x_test)[:, 1]

print(roc_auc_score(y_test, probabilities))

Điều này minh họa giao diện khớp-và-dự đoán quen thuộc, nhưng việc chia tách thử nghiệm đơn lẻ chưa phải là bằng chứng đầy đủ về độ sẵn sàng cho môi trường sản xuất. Hãy sử dụng các chiến lược xác thực chéo thích hợp, ngăn chặn tình trạng rò rỉ tiền xử lý hoặc mục tiêu, và chọn các chỉ số đánh giá phù hợp với chi phí của các lỗi. Khi các quyết định phụ thuộc vào xác suất được dự đoán, hãy kiểm tra hiệu chuẩn xác suất, chứ không chỉ độ chính xác.

Cuối cùng, hãy kiểm tra hiệu suất theo phân nhóm, so sánh với các đường cơ sở đơn giản, kiểm tra dữ liệu bị dịch chuyển và tài liệu hóa các hạn chế. Khung quản lý rủi ro AI của NIST cung cấp hướng dẫn rộng hơn để đánh giá đáng tin cậy, trong khi việc giám sát mô hình liên tục giúp phát hiện các phân phối đặc trưng thay đổi và hiệu suất suy giảm sau khi triển khai.