Licenciar o YOLO
Voltar ao glossário da Ultralytics

Confidence Interval

Um intervalo de confiança quantifica a incerteza amostral em métricas de modelo, como precisão e mAP. Um intervalo de 95% descreve a cobertura de longo prazo.

Um intervalo de confiança (CI) é um intervalo calculado a partir de uma amostra, através de um método concebido para captar uma quantidade desconhecida da população a uma taxa especificada. Em aprendizagem automática, uma pontuação de teste estima o desempenho de um modelo fixo nos tipos de dados de entrada representados pelo conjunto de teste. O intervalo indica a precisão com que esse desempenho é estimado a partir de uma amostra finita.

O significado de um intervalo de confiança de 95%#

Se recolhesses repetidamente amostras comparáveis de dados de teste e calculasses um intervalo da mesma forma de cada vez, um procedimento com 95% de cobertura captaria a métrica verdadeira em cerca de 95 de cada 100 intervalos a longo prazo. A métrica é fixa; os limites do intervalo variam de amostra para amostra. Jerzy Neyman introduziu este enquadramento frequentista no seu artigo de 1934 sobre amostragem.

Um nível de confiança mais elevado costuma produzir um intervalo mais amplo com os mesmos dados. Em geral, um maior número de observações independentes torna o intervalo mais estreito para um nível de confiança fixo. A largura mede a precisão da amostragem: um intervalo pode ser estreito mesmo quando o enviesamento do conjunto de dados torna a amostra de teste pouco representativa das condições de implementação.

Como calcular um intervalo de confiança#

Para uma média amostral, uma fórmula comum é estimativa ± margem de erro, em que a margem de erro corresponde ao valor crítico multiplicado pelo erro-padrão. O erro-padrão mede a variação da estimativa entre amostras repetidas. Para observações independentes da mesma população, o erro-padrão estimado da média é o desvio-padrão amostral dividido pela raiz quadrada da dimensão da amostra. Um intervalo normal bilateral de 95% utiliza um valor crítico de 1,96, deixando 2,5% em cada cauda. Um intervalo t para uma amostra utiliza um valor crítico da distribuição t de Student com um número de graus de liberdade igual à dimensão da amostra menos um. A cobertura é exata para observações independentes da mesma população normal.

O método depende da métrica e da forma como os dados de teste foram amostrados:

  • Exatidão da classificação: Com imagens independentes e uma probabilidade comum de classificação correta, um intervalo de pontuação de Wilson utiliza o número de previsões corretas e a dimensão do conjunto de teste para estimar essa probabilidade. Ambos os limites permanecem entre 0% e 100%.
  • Precisão média (mAP): Aplica bootstrap à métrica completa, reamostrando unidades de teste com reposição e recalculando o mAP para cada extração. Um intervalo percentil de 95% utiliza o percentil 2,5 e o percentil 97,5 dessas pontuações. Num bootstrap ao nível da imagem, cada imagem é acompanhada pelas respetivas previsões e anotações.

Exemplo resolvido: exatidão na classificação de dígitos manuscritos#

O exemplo de classificação de dígitos do scikit-learn ajusta uma máquina de vetores de suporte à primeira metade das imagens de dígitos incluídas no pacote e avalia-a na segunda metade. O código utiliza a mesma divisão e calcula um intervalo de Wilson com a API de proporções binomiais do SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

O classificador acerta em 871 das 899 imagens: 96,9% de exatidão, com um intervalo de Wilson de 95% entre 95,5% e 97,8%, segundo o modelo de imagens independentes. As imagens incluídas no pacote provêm do conjunto de teste de dígitos manuscritos da UCI, que foi recolhido junto de 13 autores. As imagens do mesmo autor podem partilhar características de caligrafia, pelo que a estimativa da exatidão para novos autores exige ter em conta esse agrupamento.

Intervalos de confiança, pontuações e previsões#

Uma pontuação de confiança é o resultado do modelo para uma previsão. No modo de previsão da Ultralytics YOLO, conf define a pontuação mínima necessária para manter uma deteção. Um intervalo de confiança para a revocação nesse limiar quantifica a incerteza da estimativa de revocação com base na amostra de teste.

Um intervalo de previsão tem como alvo uma observação futura. Por exemplo, a previsão conformal foi utilizada para construir intervalos de previsão por píxel no KITTI para estimativas de profundidade em novos fotogramas.

Comparação de modelos de visão computacional#

Um intervalo para um modelo fixo mede a incerteza de amostragem do conjunto de teste. A comparação de pipelines de treino também envolve variações decorrentes de fatores como a inicialização aleatória e o ajuste de hiperparâmetros, que podem ser medidos através de execuções repetidas do treino.

Quando dois detetores de objetos são executados no mesmo conjunto de teste, um bootstrap emparelhado seleciona as mesmas unidades para ambos os modelos e calcula a diferença de mAP em cada extração. As imagens estáticas amostradas de forma independente podem ser selecionadas uma de cada vez. Quando vídeos amostrados de forma independente contêm fotogramas correlacionados, selecionar vídeos completos preserva a dependência entre fotogramas. Tratar fotogramas adjacentes como independentes pode tornar o intervalo demasiado estreito. Como o emparelhamento preserva a associação entre os resultados obtidos com as mesmas entradas, o intervalo da diferença de mAP pode excluir zero mesmo quando os dois intervalos de confiança individuais se sobrepõem.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina