Uncertainty Quantification

A quantificação da incerteza (UQ) é a prática de estimar o grau de incerteza de um modelo de aprendizagem automática em cada previsão e de verificar se essas estimativas são fiáveis. Para além de um rótulo, valor ou caixa delimitadora, um modelo com UQ devolve uma distribuição de probabilidades, um intervalo de previsão, um conjunto de rótulos plausíveis ou uma variância. Os sistemas usam estas estimativas para decidir quando agir automaticamente, quando recorrer a uma pessoa e que novos dados recolher. Uma pontuação de confiança é uma dessas estimativas; a UQ também verifica se essa pontuação está calibrada, ou seja, se as previsões feitas com 80% de confiança estão corretas cerca de 80% das vezes.

Incerteza aleatória e epistêmica#

A incerteza preditiva tem duas origens, uma distinção que Alex Kendall e Yarin Gal introduziram na aprendizagem profunda para visão no artigo de 2017 What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?:

• Incerteza aleatória: Ruído nos próprios dados, como desfocagem de movimento, ruído do sensor, oclusão ou desacordo entre anotadores quanto aos rótulos. Mais dados de treino não a eliminam, porque a entrada não contém as informações em falta. Um modelo pode aprender a prevê-la como um resultado adicional, como uma variância para cada estimativa de profundidade.
• Incerteza epistémica: Falta de conhecimento do modelo, que é elevada para entradas diferentes de tudo o que consta dos seus dados de treino, como uma nova câmara, estação do ano ou tipo de objeto. Diminui quando se acrescentam dados relevantes, pelo que sinaliza deriva de dados e entradas fora da distribuição.

A distinção determina o que fazer perante uma previsão incerta:

Métodos de estimativa da incerteza#

• Probabilidades previstas: A saída softmax de um classificador é a estimativa mais barata, mas um estudo de 2017 de Chuan Guo e colegas concluiu que as redes profundas modernas têm sistematicamente excesso de confiança. O ajuste de temperatura com dados retidos para validação corrige grande parte da diferença.
• Dropout de Monte Carlo: Mantém o dropout ativo durante a inferência e executa a entrada várias vezes, tratando a variação dos resultados como uma aproximação da incerteza bayesiana, como demonstraram Yarin Gal e Zoubin Ghahramani em 2016.
• Ensembles profundos: Treinam várias cópias de uma rede com diferentes inicializações aleatórias e medem o desacordo entre elas. O método foi introduzido em 2017 por Balaji Lakshminarayanan e colegas da DeepMind. Num estudo comparativo de grande escala da Google, em 2019, os ensembles tiveram o melhor desempenho perante alterações na distribuição dos conjuntos de dados.
• Predição conformal: Adapta qualquer modelo para produzir conjuntos de previsões ou intervalos que contenham a resposta verdadeira a uma taxa escolhida, como 95%.
• Entropia semântica: Obtém várias respostas de um modelo de linguagem de grande escala (LLM) e mede quantos significados distintos expressam, como forma de detetar alucinações.

Um ensemble profundo numa tarefa de regressão unidimensional mostra diretamente a incerteza epistémica:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

Em x = 1, dentro do intervalo de treino, as cinco redes preveem uma média de 0,86, face ao valor verdadeiro de 0,84, com um desvio-padrão de 0,01. Em x = 8, muito fora desse intervalo, preveem -1,17 para um valor verdadeiro de 0,99, e o desvio-padrão sobe para 0,59. Assim, o ensemble assinala precisamente a previsão incorreta.

Avaliação das estimativas de incerteza#

A calibração é verificada com um diagrama de fiabilidade, que agrupa as previsões por confiança e representa graficamente a precisão real de cada grupo. É resumida pelo erro de calibração esperado ou pelo Brier score. Os intervalos de previsão são avaliados pela cobertura, a proporção de valores verdadeiros que ficam dentro dos intervalos, e pela largura, uma vez que um intervalo suficientemente amplo para abranger tudo não transmite informações. A deteção fora da distribuição é avaliada pela área sob a curva ROC, que mede a separação entre entradas conhecidas e desconhecidas. Atualmente, os benchmarks apresentam a calibração juntamente com a precisão: o Humanity's Last Exam concluiu que os LLM lançados na altura tinham erros de calibração entre 73% e 89%.

Aplicações#

• Análise de imagens médicas: Os modelos de diagnóstico na área da saúde encaminham para um radiologista os exames com elevada incerteza, automatizando os casos claros e reservando os ambíguos para análise humana.
• Veículos autónomos: Os sistemas de perceção alargam as margens de segurança ou devolvem o controlo quando aumenta a incerteza da profundidade ou da deteção, por exemplo, em situações de nevoeiro ou encandeamento.
• Aprendizagem ativa: A incerteza determina quais as imagens sem rótulo que vale a pena anotar, pois as amostras sobre as quais o modelo tem menos certezas são as que mais o ensinam.

É na aprendizagem ativa que os pipelines de deteção usam a incerteza de forma mais direta. O modelo Collect Uncertain Detections em Ultralytics Platform Agents processa as imagens de um conjunto de dados com um modelo YOLO26 implementado e copia para um conjunto de revisão, sem rótulos, todas as imagens com pelo menos uma deteção cuja confiança esteja dentro de um intervalo escolhido, como 0,25 a 0,5. As imagens ficam prontas para anotação e novo treino.