Tabular Foundation Models

Modelos de fundação tabulares são modelos de aprendizado de máquina pré-treinados projetados para fazer previsões a partir de dados estruturados organizados em linhas e colunas. Em vez de aprender cada nova tarefa inteiramente do zero, os modelos de fundação tabulares reutilizam padrões aprendidos em muitos conjuntos de dados para interpretar uma nova tabela, os exemplos rotulados da nova tabela e as relações entre os recursos da nova tabela. Os modelos de fundação tabulares estendem a ideia de um modelo de fundação de uso geral para problemas comuns de aprendizado supervisionado, como classificação e regressão.

Como Funcionam os Modelos de Fundação Tabulares#

Um modelo tabular convencional aprende apenas com o conjunto de dados fornecido para uma tarefa. Um modelo de fundação tabular é primeiro pré-treinado em uma ampla distribuição de tabelas ou problemas de dados gerados. Isso ensina ao modelo de fundação tabular premissas reutilizáveis sobre relações, ruído, interações de recursos, limites de classes e informações ausentes.

Ao receber um novo conjunto de dados, o modelo examina as linhas de treinamento, os valores-alvo das linhas de treinamento e as linhas que exigem previsões. Muitas implementações realizam esta etapa por meio de aprendizado em contexto: registros rotulados fornecem o contexto necessário para resolver a nova tarefa, geralmente sem otimização demorada de parâmetros específicos da tarefa. Um transformer pode processar colunas e linhas como elementos contextuais, embora as arquiteturas diferiram.

As tabelas apresentam desafios que as imagens e o texto não apresentam. As colunas podem representar medições contínuas, categorias, datas, contagens ou identificadores, e a ordem das colunas geralmente carrega pouco significado. A boa preparação de dados continua essencial. O guia do Scikit-learn sobre como processar colunas de tipos mistos ilustra por que diferentes tipos de recursos podem exigir tratamento diferente, enquanto a documentação do pandas explica maneiras consistentes de representar dados ausentes. Um modelo de fundação pode reduzir a engenharia de recursos manual, mas o modelo de fundação não pode corrigir rótulos enganosos ou variáveis mal definidas automaticamente.

Conceitos relacionados e principais diferenças#

• Aprendizado de Máquina Automatizado: O aprendizado de máquina automatizado pesquisa entre algoritmos, etapas de pré-processamento e hiperparâmetros para cada conjunto de dados. Um modelo de fundação tabular, em vez disso, traz conhecimento reutilizável do pré-treinamento e pode produzir uma previsão com pouca busca de modelo.

• Aprendizado por Transferência: O aprendizado por transferência geralmente adapta pesos pré-treinados por meio de ajuste fino. Os modelos de fundação tabulares podem apoiar o ajuste fino, mas muitos modelos de fundação tabulares são projetados para inferir diretamente a partir dos exemplos de uma nova tabela.

• Árvores Impulsionadas por Gradiente: Os conjuntos de árvores continuam sendo baselines tabulares fortes e eficientes e são treinados separadamente para cada tarefa. Os modelos de fundação podem ser especialmente convenientes para pequenos conjuntos de dados, experimentos rápidos ou tarefas repetidas, mas os modelos de fundação devem ser comparados com modelos de árvore, em vez de assumir que os modelos de fundação os substituem.

Os modelos de fundação tabulares também diferem dos modelos de linguagem aplicados a texto CSV. Os modelos de fundação tabulares operam na estrutura estatística de recursos e alvos, em vez de tratar cada linha como um prompt comum de linguagem natural.

Aplicações no mundo real#

• Avaliação de risco clínico: Um hospital pode ter uma tabela relativamente pequena contendo idade do paciente, medições laboratoriais, sintomas, histórico de tratamento e um rótulo de desfecho. Um modelo de fundação tabular pode estimar riscos como readmissão ou complicações sem exigir uma execução de treinamento de rede neural de grande porte. Como os erros podem afetar as decisões de atendimento, as equipes devem avaliar o desempenho entre grupos de pacientes e reter a supervisão clínica adequada. Esse fluxo de trabalho pode complementar a visão computacional na saúde baseada em imagens, onde as medições derivadas de exames se tornam colunas adicionais da tabela.

• Previsão de qualidade de fabricação: Um sistema de inspeção pode usar visão computacional para detectar defeitos visíveis enquanto registra a temperatura da máquina, a velocidade de produção, o lote de material, o turno e as leituras de sensores. As previsões de um modelo Ultralytics YOLO26—como contagens de defeitos ou pontuações de confiança—podem ser convertidas em recursos estruturados e combinadas com dados operacionais. Um modelo tabular pode então prever se uma unidade requer revisão ou se um processo provavelmente sairá da tolerância. As equipes podem gerenciar a anotação, o treinamento e a implantação do conjunto de dados de visão por meio da Ultralytics Platform.

Fluxo de trabalho prático e avaliação#

Uma implementação bem conhecida expõe um classificador no estilo do scikit-learn através do fluxo de trabalho de classificação TabPFN documentado. Após instalar tabpfn e scikit-learn e concluir qualquer acesso ao modelo de primeira execução necessário, um exemplo mínimo de classificação binária é:

from sklearn.datasets import load_breast_cancer
from sklearn.metrics import roc_auc_score
from sklearn.model_selection import train_test_split
from tabpfn import TabPFNClassifier

# Create separate training and test sets
features, targets = load_breast_cancer(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(features, targets, test_size=0.2, random_state=42, stratify=targets)

# Fit from the labeled context and predict probabilities
model = TabPFNClassifier()
model.fit(x_train, y_train)
probabilities = model.predict_proba(x_test)[:, 1]

print(roc_auc_score(y_test, probabilities))

Isso demonstra a interface familiar de ajuste e previsão, mas uma única divisão de teste não é evidência suficiente de prontidão para produção. Use estratégias de validação cruzada adequadas, evite vazamento de pré-processamento ou de alvo e selecione métricas de avaliação que correspondam ao custo dos erros. Quando as decisões dependem de probabilidades previstas, verifique a calibração de probabilidade, e não apenas a precisão.

Finalmente, inspecione o desempenho por subgrupo, compare com baselines simples, teste dados deslocados e documente as limitações. A Estrutura de Gestão de Riscos de IA do NIST fornece orientações mais amplas para avaliações confiáveis, enquanto o monitoramento de modelos contínuo ajuda a detectar distribuições de recursos em alteração e desempenho em declínio após a implantação.