Confiança

Em machine learning, o score de confiança é um valor numérico atribuído a uma previsão individual, indicando a certeza do modelo de que a previsão está correta. Expresso como uma percentagem ou um valor de probabilidade entre 0 e 1, quantifica a "crença" do modelo na sua própria saída para uma única instância. Por exemplo, numa tarefa de detecção de objetos, um modelo como o Ultralytics YOLO11 pode identificar um carro numa imagem e atribuir um score de confiança de 0,95 (ou 95%), sugerindo que está muito seguro da sua descoberta. Este score é um output crítico que ajuda os utilizadores a filtrar, priorizar e interpretar os resultados do modelo em cenários do mundo real.

A pontuação de confiança é normalmente derivada da saída da camada final de uma rede neural (NN), frequentemente uma função softmax ou sigmóide. Este valor é fundamental em aplicações práticas, onde um limite de confiança é definido para descartar previsões que ficam abaixo de um certo nível de certeza. Ao ajustar este limite, os desenvolvedores podem equilibrar o tradeoff entre capturar todas as detecções relevantes e minimizar falsos positivos, uma consideração chave na implantação do modelo.

Aplicações no Mundo Real

Os escores de confiança são essenciais para tornar os sistemas de IA mais confiáveis e acionáveis. Eles permitem que os sistemas avaliem a incerteza e acionem diferentes respostas de acordo.

• Veículos Autónomos: Em carros autónomos, as pontuações de confiança são vitais para a segurança. Um detetor de objetos pode identificar um peão com 98% de confiança, um sinal claro para o veículo abrandar ou parar. Inversamente, se detetar um objeto com apenas 30% de confiança, o sistema pode sinalizá-lo como incerto e usar outros sensores para verificar a sua natureza antes de tomar medidas. Isto ajuda a evitar acidentes, concentrando-se em ameaças de alta certeza. Para mais detalhes sobre este tópico, pode ler sobre o papel da IA nos carros autónomos.
• Análise de Imagens Médicas: Quando um modelo de IA analisa exames médicos em busca de sinais de doença, como a detecção de tumores em imagens médicas, o escore de confiança é inestimável. Uma detecção com 99% de confiança pode ser imediatamente sinalizada para revisão de um radiologista. Uma descoberta com 60% de confiança pode ser marcada como "ambígua" ou "necessita de revisão adicional", garantindo que casos incertos recebam análise humana sem sobrecarregar os especialistas com falsos alarmes. O FDA fornece orientações sobre IA/ML em dispositivos médicos.

Confiança vs. Outras Métricas

É importante não confundir a pontuação de confiança de uma previsão individual com as métricas de avaliação geral do modelo. Embora relacionados, eles medem diferentes aspectos do desempenho:

• Exatidão: Mede a percentagem global de previsões corretas em todo o conjunto de dados. Fornece uma noção geral do desempenho do modelo, mas não reflecte a certeza das previsões individuais. Um modelo pode ter uma exatidão elevada, mas ainda assim fazer algumas previsões com pouca confiança.
• Precisão: Indica a proporção de previsões positivas que estavam efetivamente corretas. Uma precisão elevada significa menos alarmes falsos. A confiança reflecte a crença do modelo na sua previsão, que pode ou não estar alinhada com a correção.
• Recuperação (Sensibilidade): Mede a proporção de instâncias positivas reais que o modelo identificou corretamente. Uma recuperação elevada significa menos detecções falhadas. A confiança não está diretamente relacionada com o número de positivos reais encontrados.
• Pontuação F1: A média harmónica de Precisão e Recuperação, fornecendo uma única métrica que equilibra ambas. A confiança continua a ser uma pontuação ao nível da previsão e não uma medida agregada do desempenho do modelo.
• Precisão média (mAP): Uma métrica comum na deteção de objectos que resume a curva de precisão-recuperação em diferentes limiares de confiança e classes. Enquanto o cálculo da mAP envolve limiares de confiança, a pontuação de confiança em si aplica-se a cada deteção individual.
• Calibração: Refere-se a quão bem as pontuações de confiança se alinham com a probabilidade real de correção. As previsões de um modelo bem calibrado com 80% de confiança devem estar corretas cerca de 80% das vezes. As pontuações de confiança das redes neurais modernas nem sempre são inerentemente bem calibradas, conforme discutido em pesquisas sobre calibração de modelos.

Em resumo, a confiança é uma saída valiosa para avaliar a certeza das previsões individuais da IA, permitindo melhor filtragem, priorização e tomada de decisões em aplicações do mundo real. Ela complementa, mas é distinta de, métricas que avaliam o desempenho geral de um modelo, como aquelas que você pode rastrear e analisar usando ferramentas como o Ultralytics HUB.