Precisão

Como é calculada a exatidão

A exatidão é calculada dividindo o número de previsões corretas (tanto os verdadeiros positivos como os verdadeiros negativos) pelo número total de previsões efectuadas. Por exemplo, se um modelo identificar corretamente 90 em cada 100 imagens, a sua precisão é de 90%. Esta simplicidade torna-o um ponto de partida popular para avaliar o desempenho do modelo.

Importância da IA e da aprendizagem automática

A precisão fornece uma medida direta da frequência com que um modelo está correto em geral. É amplamente utilizada durante as fases iniciais do desenvolvimento e treino de modelos para obter uma noção geral do desempenho. Uma precisão elevada é frequentemente um objetivo primário para muitas aplicações, indicando que o modelo generaliza bem para dados novos e não vistos. Muitos modelos de última geração, como o Ultralytics YOLO da Ultralytics para deteção de objectos, esforçam-se por obter uma elevada precisão, equilibrando outros factores como a velocidade. Podes ver comparações como YOLO11 vs YOLOv8, que muitas vezes destacam referências de precisão.

Limitações da precisão

Apesar da sua intuitividade, a precisão tem limitações significativas:

• Conjuntos de dados desequilibrados: A exatidão pode ser um mau indicador do desempenho quando se lida com dados desequilibrados, em que uma classe supera significativamente as outras. Por exemplo, na deteção de uma doença rara (por exemplo, 1% de prevalência), um modelo que preveja sempre "nenhuma doença" atinge 99% de precisão, mas não consegue identificar nenhum caso real, tornando-se inútil. Este facto realça a importância de considerar o potencial enviesamento do conjunto de dados.
• Ignora os tipos de erro: A exatidão trata todos os erros da mesma forma. No entanto, em muitos cenários do mundo real, o custo de diferentes erros varia. Por exemplo, classificar incorretamente um tumor maligno como benigno (falso negativo) é frequentemente muito mais crítico do que classificar um tumor benigno como maligno (falso positivo).
• Paradoxo da precisão: Em algumas situações, um modelo menos preciso, de acordo com a definição padrão, pode ser mais útil na prática. Isto é conhecido como o Paradoxo da Precisão.

Distinguir a exatidão de outras métricas

Devido às limitações da exatidão, especialmente com dados desequilibrados ou custos de erro variáveis, outras métricas são frequentemente preferidas ou utilizadas juntamente com ela:

• Precisão: Mede a proporção de identificações positivas que estavam realmente corretas. Uma precisão elevada é crucial quando o custo de falsos positivos é elevado (por exemplo, filtros de spam que marcam e-mails importantes como spam).
• Recupera (Sensibilidade): Mede a proporção de positivos reais que foram corretamente identificados. Uma recuperação elevada é vital quando o custo dos falsos negativos é elevado (por exemplo, a ausência de um diagnóstico).
• F1-Score: A média harmónica de Precisão e Recuperação, fornecendo um equilíbrio entre os dois. É útil quando tanto os falsos positivos como os falsos negativos são importantes.
• Precisão média (mAP): Uma métrica comum na deteção de objectos que considera tanto a precisão da classificação como a precisão da localização (IoU) em diferentes níveis de recuperação.
• Matriz de confusão: Uma tabela que visualiza o desempenho de um algoritmo de classificação, mostrando os verdadeiros positivos, os verdadeiros negativos, os falsos positivos e os falsos negativos, o que ajuda a calcular a precisão, a recuperação e a exatidão.
• Curvas ROC e AUC: Visualiza o compromisso entre a taxa de verdadeiros positivos (Recall) e a taxa de falsos positivos em várias definições de limiar.

Compreender estas diferentes métricas de desempenhoYOLO permite uma avaliação mais matizada do desempenho do modelo, adaptada a necessidades específicas.

Aplicações de IA/ML do mundo real

1. Análise de imagens médicas: Em tarefas como a deteção de tumores utilizando o YOLO11, embora a precisão global seja considerada, métricas como Recall (sensibilidade) são muitas vezes prioritárias para minimizar o risco de não detetar tumores reais (falsos negativos). As soluções de IA nos cuidados de saúde devem equilibrar cuidadosamente estas métricas.
2. Veículos autónomos: Para soluções de IA no sector automóvel, os modelos de deteção de objectos necessitam de uma elevada precisão na identificação de peões, veículos e obstáculos. No entanto, medir simplesmente a precisão geral não é suficiente; métricas como o mAP são essenciais para garantir a classificação correta e a localização precisa( previsãoda caixa delimitadora ) para segurança.

Melhorar a precisão do modelo

Várias técnicas podem ajudar a melhorar a exatidão do modelo, embora muitas vezes impliquem compromissos com outras métricas ou custos computacionais:

• Aumento de dados: Aumenta artificialmente a diversidade dos dados de treino sem recolher novas amostras. Vê o guiaYOLO Data Augmentation para exemplos.
• Afinação de hiperparâmetros: Optimiza parâmetros como a taxa de aprendizagem ou o tamanho do lote que são definidos antes do início da formação. Guias como o guia Ajuste de hiperparâmetros podem ajudar.
• Escolher arquitecturas avançadas: Selecionar modelos mais potentes, como os modelosUltralytics YOLO mais recentes ou os Transformers.
• Aprendizagem por transferência: Utiliza modelos pré-treinados em grandes conjuntos de dados como o ImageNet e afina-os para uma tarefa específica.
• Métodos de conjunto: Combina as previsões de vários modelos para melhorar o desempenho geral.

Recursos de consultoria como o Model Training Tips podem fornecer orientações práticas. Plataformas como o Ultralytics HUB permitem que os utilizadores treinem modelos e acompanhem facilmente a precisão juntamente com outras métricas importantes, muitas vezes visualizadas através de ferramentas como o TensorBoard. Podes acompanhar o progresso no terreno através de recursos como o Stanford AI Index Report ou navegando em conjuntos de dados no Papers With Code. Estruturas como o PyTorch (ver site oficial) e TensorFlow (ver site oficial) são normalmente utilizadas para construir e treinar estes modelos.

Em conclusão, embora a precisão seja uma métrica valiosa e intuitiva para avaliar o desempenho do modelo de IA, raramente deve ser utilizada isoladamente. Considerar os objectivos específicos da tarefa de ML e a natureza dos dados, em especial os potenciais desequilíbrios ou os custos variáveis dos erros, é essencial para selecionar as métricas de avaliação mais adequadas, como a precisão, a recuperação, a pontuação F1 ou o mAP. A utilização de técnicas de IA explicável (XAI) também pode fornecer conhecimentos mais profundos para além dos valores de métrica única.