Confiança

Na aprendizagem automática, a pontuação de confiança é um valor numérico atribuído a uma previsão individual, indicando a certeza do modelo de que a previsão está correta. Expresso como uma percentagem ou um valor de probabilidade entre 0 e 1, quantifica a "crença" do modelo no seu próprio resultado para uma única instância. Por exemplo, numa tarefa de deteção de objectos, um modelo como o Ultralytics YOLO11 pode identificar um automóvel numa imagem e atribuir uma pontuação de confiança de 0,95 (ou 95%), sugerindo que está muito seguro da sua descoberta. Esta pontuação é um resultado crítico que ajuda os utilizadores a filtrar, dar prioridade e interpretar os resultados do modelo em cenários do mundo real.

A pontuação de confiança é normalmente derivada da saída da camada final de uma rede neural (NN), frequentemente uma função softmax ou sigmoide. Este valor é fundamental em aplicações práticas, em que um limiar de confiança é definido para descartar as previsões que se situam abaixo de um determinado nível de certeza. Ao ajustar este limiar, os programadores podem equilibrar o compromisso entre capturar todas as detecções relevantes e minimizar os falsos positivos, uma consideração fundamental na implementação do modelo.

Aplicações no mundo real

As pontuações de confiança são essenciais para tornar os sistemas de IA mais fiáveis e acionáveis. Permitem que os sistemas avaliem a incerteza e accionem respostas diferentes em conformidade.

• Veículos autónomos: Nos veículos autónomos, as pontuações de confiança são vitais para a segurança. Um detetor de objectos pode identificar um peão com 98% de confiança, um sinal claro para o veículo abrandar ou parar. Por outro lado, se detetar um objeto com apenas 30% de confiança, o sistema pode assinalá-lo como incerto e utilizar outros sensores para verificar a sua natureza antes de agir. Isto ajuda a evitar acidentes, concentrando-se em ameaças de elevada certeza. Para mais pormenores sobre este tópico, pode ler sobre o papel da IA nos automóveis autónomos.
• Análise de imagens médicas: Quando um modelo de IA analisa exames médicos em busca de sinais de doença, como a deteção de tumores em imagens médicas, a pontuação de confiança é inestimável. Uma deteção com 99% de confiança pode ser imediatamente assinalada para revisão por um radiologista. Uma deteção com 60% de confiança pode ser assinalada como "ambígua" ou "necessita de revisão adicional", assegurando que os casos incertos são objeto de análise humana sem sobrecarregar os especialistas com falsos alarmes. A FDA fornece orientações sobre IA/ML em dispositivos médicos.

Confiança vs. outras métricas

É importante não confundir a pontuação de confiança de uma previsão individual com as métricas gerais de avaliação do modelo. Embora relacionadas, elas medem aspectos diferentes do desempenho:

• Precisão: Mede a percentagem global de previsões corretas em todo o conjunto de dados. Fornece uma noção geral do desempenho do modelo, mas não reflecte a certeza das previsões individuais. Um modelo pode ter uma exatidão elevada, mas ainda assim fazer algumas previsões com pouca confiança.
• Precisão: Indica a proporção de previsões positivas que estavam efetivamente corretas. Uma precisão elevada significa menos alarmes falsos. A confiança reflecte a crença do modelo na sua previsão, que pode ou não estar alinhada com a correção.
• Recuperação (Sensibilidade): Mede a proporção de instâncias positivas reais que o modelo identificou corretamente. Uma elevada recuperação significa menos detecções falhadas. A confiança não está diretamente relacionada com o número de positivos reais encontrados.
• F1-Score: A média harmónica de Precisão e Recuperação, fornecendo uma única métrica que equilibra ambas. A confiança continua a ser uma pontuação ao nível da previsão e não uma medida agregada do desempenho do modelo.
• Precisão média média (mAP): Uma métrica comum na deteção de objectos que resume a curva de precisão-recuperação em diferentes limiares de confiança e classes. Enquanto o cálculo da mAP envolve limiares de confiança, a pontuação de confiança em si aplica-se a cada deteção individual.
• Calibração: Refere-se ao grau de alinhamento das pontuações de confiança com a probabilidade real de correção. As previsões de um modelo bem calibrado com 80% de confiança devem estar corretas em cerca de 80% das vezes. As pontuações de confiança das redes neurais modernas nem sempre são inerentemente bem calibradas, conforme discutido na investigação sobre calibração de modelos.

Em resumo, a confiança é um resultado valioso para avaliar a certeza de previsões individuais de IA, permitindo uma melhor filtragem, priorização e tomada de decisões em aplicações do mundo real. Ela complementa, mas é distinta, das métricas que avaliam o desempenho geral de um modelo, como aquelas que podem ser rastreadas e analisadas usando ferramentas como o Ultralytics HUB.