Uncertainty Quantification

A quantificação de incerteza (UQ) é o processo de estimar, avaliar e comunicar o grau de incerteza de uma IA ou de um modelo de machine learning em relação às suas previsões. Em vez de retornar apenas um rótulo, valor ou bounding box, um fluxo de trabalho de UQ fornece informações adicionais, como uma distribuição de probabilidade, intervalo de previsão, score de confiança ou conjunto de previsão. Isso ajuda os usuários a entenderem não apenas o que um modelo prevê, mas também o nível de confiança que devem depositar nessa previsão.

Link to this sectionPor que a Quantificação de Incerteza Importa#

Os modelos aprendem padrões a partir de dados limitados, portanto suas saídas nunca são perfeitamente certas. As entradas podem conter ruído, os rótulos podem ser ambíguos e os dados de produção podem diferir da distribuição de treinamento. A UQ torna essas limitações mensuráveis e apoia decisões mais seguras, revisão humana e uma melhor coleta de dados.

Essa ideia amplia o objetivo mais amplo de caracterizar a qualidade do modelo descrito pelo programa de medição virtual do NIST. Em sistemas de IA, as estimativas de incerteza podem ajudar as equipes a:

• Rejeitar ou revisar previsões quando a incerteza excede um nível aceitável.
• Comparar previsões alternativas em vez de depender de uma única resposta.
• Identificar entradas desconhecidas e possíveis ocorrências de data drift.
• Priorizar amostras incertas para rotulagem por meio de active learning.
• Propagar a incerteza para cálculos e decisões subsequentes, conforme ilustrado pela visão geral do Departamento de Energia sobre incerteza em modelos computacionais.

A UQ é especialmente importante quando os erros de previsão têm consequências desiguais. Omissão de um pedestre é mais grave do que detectar incorretamente uma placa na estrada, portanto o limite de incerteza aceitável depende da aplicação.

Link to this sectionIncerteza Aleatória e Epistêmica#

Duas categorias explicam de onde vem a incerteza preditiva:

• Incerteza aleatória, também chamada de aleatoric uncertainty, decorre da aleatoriedade inerente ou da ambiguidade nos dados. Desfoque de movimento, ruído de sensores, oclusão parcial e rótulos inconsistentes podem tornar uma imagem difícil de interpretar, mesmo para um modelo bem treinado. Mais dados de treinamento podem ajudar a estimar essa incerteza, mas não conseguem remover completamente a ambiguidade subjacente.
• Incerteza epistêmica decorre do conhecimento incompleto do modelo. Ela costuma aparecer quando os dados de treinamento são insuficientes, não representativos ou carecem de situações importantes. Frequentemente, pode ser reduzida coletando exemplos relevantes, melhorando as anotações ou alterando o modelo.

A UQ combina informações sobre essas fontes em saídas úteis. Ferramentas de modelagem probabilística, como o TensorFlow Probability, podem representar previsões como distribuições, enquanto métodos de ensemble estimam a incerteza comparando múltiplos modelos ou execuções de treinamento. Uma grande divergência geralmente sugere maior incerteza epistêmica.

A incerteza está relacionada a um confidence score, mas é mais abrangente. A confiança descreve a força de uma previsão, enquanto a UQ avalia se esse score é confiável e quais fontes de incerteza o afetam. Da mesma forma, a conformal prediction é uma técnica específica para produzir conjuntos ou intervalos de previsão com cobertura alvo sob suposições definidas.

Link to this sectionMétodos e Avaliação#

Abordagens comuns de UQ incluem saídas probabilísticas, ensembles, amostragem repetida, modelagem bayesiana e intervalos de previsão. Bootstrap confidence intervals estimam a variabilidade reamostrando repetidamente os dados observados. Para classificação, a calibração verifica se as previsões com probabilidade atribuída de aproximadamente 80% estão corretas cerca de 80% das vezes.

Um modelo pode ser preciso, mas mal calibrado, portanto as equipes devem avaliar tanto o desempenho da tarefa quanto a qualidade da incerteza. As ferramentas de calibração de probabilidade usam diagramas de confiabilidade e técnicas de calibração para comparar probabilidades previstas com resultados observados. As Regras de Machine Learning do Google também enfatizam previsões probabilísticas interpretáveis e monitoradas.

Critérios úteis de avaliação incluem cobertura, largura do intervalo, erro de calibração e desempenho em fatias difíceis de dados. Para visão computacional, o modo de validação da Ultralytics e o guia de métricas de desempenho do YOLO ajudam a examinar precisão, revocação, matrizes de confusão e comportamento de confiança entre classes e limites.

Link to this sectionAplicações no Mundo Real#

• Medical image analysis: Um modelo de diagnóstico pode sinalizar um exame para revisão por especialista quando vários achados plausíveis têm scores semelhantes ou quando a imagem difere de seus dados de treinamento. Sem essa escalabilidade, uma previsão incorreta e excessivamente confiante pode atrasar o tratamento.
• Manufacturing visual inspection: Um detector de defeitos pode encontrar reflexos, novos materiais ou danos antes invisíveis. O roteamento consciente de incertezas pode enviar produtos ambíguos para inspeção manual em vez de aceitá-los ou rejeitá-los automaticamente, reduzindo tanto defeitos escapados quanto desperdício desnecessário.

Essas políticas conectam a incerteza do modelo ao risco operacional. O NIST AI Risk Management Framework Core recomenda medir a incerteza, documentar os limites de generalização e monitorar os sistemas durante toda a implantação.

Link to this sectionIncerteza nos Fluxos de Trabalho do Ultralytics YOLO#

Ultralytics YOLO26 expõe scores de confiança de detecção por meio do seu Predict mode documentado:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Este fluxo de trabalho expõe um sinal útil relacionado à incerteza, mas a confiança isolada não constitui uma UQ completa e não deve ser interpretada automaticamente como uma probabilidade calibrada. Valide os scores em dados de teste representativos, escolha limites com base em custos de erro e monitore as distribuições de confiança após a implantação.

As equipes podem usar a Ultralytics Platform para anotar datasets, treinar e implantar modelos, e monitorar endpoints. Combinados com a contínua manutenção e monitoramento de modelos, os sinais de incerteza podem revelar condições desconhecidas, orientar a revisão humana e identificar quando novos dados ou novas etapas de treinamento são necessários.