Conformal Prediction

A predição conformal é um quadro de quantificação da incerteza que transforma as pontuações de qualquer modelo treinado em conjuntos ou intervalos de predição com garantia de conter a resposta verdadeira a uma taxa escolhida pelo utilizador, como 95%. Um classificador de imagens conformal devolve todas as etiquetas ainda plausíveis — uma para uma imagem clara e várias para uma imagem ambígua —, e um regressor conformal devolve um intervalo. A garantia aplica-se a qualquer modelo e distribuição de dados, desde que os dados de calibração e os novos dados sejam permutáveis, como acontece com amostras independentes da mesma origem. Vladimir Vovk, Alexander Gammerman e Glenn Shafer desenvolveram o método a partir do final da década de 1990 e apresentaram-no no livro de 2005 Algorithmic Learning in a Random World; o tutorial de 2021 de Anastasios Angelopoulos e Stephen Bates, A Gentle Introduction to Conformal Prediction, aborda os métodos modernos usados no aprendizado de máquina.

Como funciona a predição conformal dividida#

O método conformal completo original reajusta o modelo para cada resposta candidata, o que é lento demais para aprendizagem profunda. A previsão conformal dividida, ou indutiva, introduzida por Harris Papadopoulos e colegas em 2002, precisa apenas de um modelo treinado e de um conjunto de calibração reservado:

1. Treina o modelo nos dados de treino como de costume.
2. Executa-o em n exemplos de calibração rotulados que não viu e calcula uma pontuação de não conformidade para cada um, um número que aumenta à medida que a resposta verdadeira parece menos típica para o modelo. Para um classificador, uma pontuação comum é 1 menos a probabilidade atribuída à classe verdadeira.
3. Calcula o quantil ceil((n + 1) x (1 - alpha)) / n dessas pontuações, chamado qhat. O termo (n + 1) é uma correção para amostras finitas que torna a garantia exata.
4. Para uma nova entrada, inclui todos os rótulos candidatos cuja pontuação seja, no máximo, qhat.

O conjunto resultante contém o rótulo verdadeiro com probabilidade de, pelo menos, 1 - alpha. Como a pontuação do novo exemplo é permutável com as n pontuações de calibração, há a mesma probabilidade de ocupar qualquer posição entre elas; assim, ela fica abaixo ou igual a qhat em pelo menos uma fração 1 - alpha das vezes.

O que a garantia abrange#

A garantia é marginal: vale, em média, para todas as entradas. Um modelo pode cobrir em excesso as classes fáceis e cobrir pouco uma classe rara, por isso a previsão conformal condicional por classe (Mondrian) calibra um qhat separado para cada classe. A permutabilidade é a única suposição, e ela falha sob deriva dos dados, quando as imagens de produção diferem das imagens de calibração; por isso, o conjunto de calibração precisa vir dos dados de implantação e ser atualizado quando esses dados mudarem. O viés do conjunto de dados no conjunto de calibração passa diretamente para os conjuntos.

O tamanho do conjunto é o sinal útil. Todo procedimento válido alcança a cobertura pretendida, então os métodos competem pelo tamanho dos conjuntos, e um modelo mais preciso gera conjuntos menores. Adaptive Prediction Sets (APS) e Regularized Adaptive Prediction Sets (RAPS), este último testado em classificadores do ImageNet, usam probabilidades cumulativas para que o tamanho do conjunto acompanhe a dificuldade; a regressão quantílica conformalizada gera intervalos que se alargam onde há ruído nos dados.

A previsão conformal difere de três ideias relacionadas. Uma pontuação de confiança é um único número sem garantia associada. Métodos de calibração, como o ajuste de temperatura, fazem as pontuações corresponderem melhor à precisão observada, o que reduz os conjuntos conformais, mas não oferece, por si só, nenhuma garantia de cobertura. Um intervalo de confiança estatístico descreve a incerteza sobre um parâmetro populacional, como uma média, enquanto um conjunto conformal descreve onde um único resultado novo ficará.

Conjuntos de previsão na prática#

As etapas acima em scikit-learn, com um conjunto de treino deliberadamente pequeno para que o classificador cometa erros:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

A previsão de maior pontuação está correta em apenas 91,6% das vezes, enquanto os conjuntos conformais contêm o dígito verdadeiro em 96,5% das 1.197 imagens de teste, acima da meta de 95%, com uma média de 1,27 rótulos. Bibliotecas como MAPIE reúnem essas etapas para classificação, regressão e séries temporais.

Aplicações#

• Análise de imagens médicas: Um conjunto de achados plausíveis com uma taxa de erro conhecida informa aos profissionais de saúde quando um exame é ambíguo; um conjunto com um único rótulo indica os casos que o modelo trata com confiabilidade.
• Modelos de linguagem grandes (LLMs): Os métodos conformais calibram quantas respostas amostradas devem ser retornadas ou quais afirmações devem ser mantidas para que a saída contenha uma resposta correta a uma taxa escolhida, complementando a entropia semântica como proteção contra alucinações.
• Deteção de objetos: Margens conformais em torno das caixas delimitadoras previstas definem uma região que contém a caixa verdadeira a uma taxa escolhida, algo útil para o planeamento de veículos autónomos em torno de peões.

Os classificadores de imagens recebem a mesma entrada do exemplo de scikit-learn. Os modelos de classificação Ultralytics YOLO26 retornam o vetor softmax completo para cada imagem em results[0].probs.data; assim, calcular as pontuações num conjunto reservado de imagens rotuladas fornece qhat, e cada classe cuja probabilidade seja de, pelo menos, 1 - qhat entra no conjunto de previsão.