Confidence Interval
Um intervalo de confiança quantifica a incerteza amostral em métricas de modelo, como precisão e mAP. Um intervalo de 95% descreve a cobertura de longo prazo.
Um intervalo de confiança (CI) é um intervalo calculado a partir de uma amostra, através de um método concebido para captar uma quantidade desconhecida da população a uma taxa especificada. Em aprendizagem automática, uma pontuação de teste estima o desempenho de um modelo fixo nos tipos de dados de entrada representados pelo conjunto de teste. O intervalo indica a precisão com que esse desempenho é estimado a partir de uma amostra finita.
O significado de um intervalo de confiança de 95%#
Se recolhesses repetidamente amostras comparáveis de dados de teste e calculasses um intervalo da mesma forma de cada vez, um procedimento com 95% de cobertura captaria a métrica verdadeira em cerca de 95 de cada 100 intervalos a longo prazo. A métrica é fixa; os limites do intervalo variam de amostra para amostra. Jerzy Neyman introduziu este enquadramento frequentista no seu artigo de 1934 sobre amostragem.
Um nível de confiança mais elevado costuma produzir um intervalo mais amplo com os mesmos dados. Em geral, um maior número de observações independentes torna o intervalo mais estreito para um nível de confiança fixo. A largura mede a precisão da amostragem: um intervalo pode ser estreito mesmo quando o enviesamento do conjunto de dados torna a amostra de teste pouco representativa das condições de implementação.
Como calcular um intervalo de confiança#
Para uma média amostral, uma fórmula comum é estimativa ± margem de erro, em que a margem de erro corresponde ao valor crítico multiplicado pelo erro-padrão. O erro-padrão mede a variação da estimativa entre amostras repetidas. Para observações independentes da mesma população, o erro-padrão estimado da média é o desvio-padrão amostral dividido pela raiz quadrada da dimensão da amostra. Um intervalo normal bilateral de 95% utiliza um valor crítico de 1,96, deixando 2,5% em cada cauda. Um intervalo t para uma amostra utiliza um valor crítico da distribuição t de Student com um número de graus de liberdade igual à dimensão da amostra menos um. A cobertura é exata para observações independentes da mesma população normal.
O método depende da métrica e da forma como os dados de teste foram amostrados:
- Exatidão da classificação: Com imagens independentes e uma probabilidade comum de classificação correta, um intervalo de pontuação de Wilson utiliza o número de previsões corretas e a dimensão do conjunto de teste para estimar essa probabilidade. Ambos os limites permanecem entre 0% e 100%.
- Precisão média (mAP): Aplica bootstrap à métrica completa, reamostrando unidades de teste com reposição e recalculando o mAP para cada extração. Um intervalo percentil de 95% utiliza o percentil 2,5 e o percentil 97,5 dessas pontuações. Num bootstrap ao nível da imagem, cada imagem é acompanhada pelas respetivas previsões e anotações.
Exemplo resolvido: exatidão na classificação de dígitos manuscritos#
O exemplo de classificação de dígitos do scikit-learn ajusta uma máquina de vetores de suporte à primeira metade das imagens de dígitos incluídas no pacote e avalia-a na segunda metade. O código utiliza a mesma divisão e calcula um intervalo de Wilson com a API de proporções binomiais do SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")O classificador acerta em 871 das 899 imagens: 96,9% de exatidão, com um intervalo de Wilson de 95% entre 95,5% e 97,8%, segundo o modelo de imagens independentes. As imagens incluídas no pacote provêm do conjunto de teste de dígitos manuscritos da UCI, que foi recolhido junto de 13 autores. As imagens do mesmo autor podem partilhar características de caligrafia, pelo que a estimativa da exatidão para novos autores exige ter em conta esse agrupamento.
Intervalos de confiança, pontuações e previsões#
Uma pontuação de confiança é o resultado do modelo para uma previsão. No modo de previsão da Ultralytics YOLO, conf define a pontuação mínima necessária para manter uma deteção. Um intervalo de confiança para a revocação nesse limiar quantifica a incerteza da estimativa de revocação com base na amostra de teste.
Um intervalo de previsão tem como alvo uma observação futura. Por exemplo, a previsão conformal foi utilizada para construir intervalos de previsão por píxel no KITTI para estimativas de profundidade em novos fotogramas.
Comparação de modelos de visão computacional#
Um intervalo para um modelo fixo mede a incerteza de amostragem do conjunto de teste. A comparação de pipelines de treino também envolve variações decorrentes de fatores como a inicialização aleatória e o ajuste de hiperparâmetros, que podem ser medidos através de execuções repetidas do treino.
Quando dois detetores de objetos são executados no mesmo conjunto de teste, um bootstrap emparelhado seleciona as mesmas unidades para ambos os modelos e calcula a diferença de mAP em cada extração. As imagens estáticas amostradas de forma independente podem ser selecionadas uma de cada vez. Quando vídeos amostrados de forma independente contêm fotogramas correlacionados, selecionar vídeos completos preserva a dependência entre fotogramas. Tratar fotogramas adjacentes como independentes pode tornar o intervalo demasiado estreito. Como o emparelhamento preserva a associação entre os resultados obtidos com as mesmas entradas, o intervalo da diferença de mAP pode excluir zero mesmo quando os dois intervalos de confiança individuais se sobrepõem.










