Pontuação F1

O F1-Score é uma métrica de desempenho crítica na aprendizagem automática (ML) utilizada para avaliar a precisão dos modelos de classificação. Ao contrário da precisão simples, que calcula a percentagem de previsões corretas, o F1-Score combina duas outras métricas vitais - Precisão e Recall - numúnico valor. É definido como a média harmónica da precisão e da recuperação. Isso torna o F1-Score particularmente útil para avaliar modelos treinados em conjuntos de dados desequilibrados, em que o número de amostras de uma classe é significativamente superior ao das outras. Nesses casos, um modelo pode atingir alta precisão simplesmente prevendo a classe maioritária, enquanto não consegue identificar a classe minoritária que é frequentemente de maior interesse.

O equilíbrio entre a precisão e a recuperação

Para compreender o F1-Score, é necessário compreender a tensão entre os seus componentes. A precisão mede a qualidade das previsões positivas (minimizando os falsos positivos), enquanto o Recall mede a quantidade de verdadeiros positivos identificados (minimizando os falsos negativos). Muitas vezes, o aumento de uma destas métricas resulta numa diminuição da outra, um fenómeno conhecido como compensação precisão-recall. O F1-Score proporciona uma visão equilibrada ao penalizar os valores extremos. Atinge o seu melhor valor em 1 (precisão e Este equilíbrio é essencial para desenvolver sistemas de modelação preditiva robustos sistemas de modelação preditiva robustos, em que tanto as detecções falhadas e falsos alarmes acarretam custos significativos.

Aplicações no Mundo Real

O F1-Score é indispensável em cenários em que o custo do erro é elevado ou a distribuição dos dados é enviesada.

• Análise de imagens médicas: Nos cuidados de saúde, o diagnóstico de doenças como os tumores requer uma elevada sensibilidade. Um falso negativo (ausência de um tumor) é perigoso, enquanto um falso positivo (identificar um tecido saudável como um tumor) causa stress desnecessário. As soluções que utilizam a IA nos cuidados de saúde baseiam-se no F1-Score para garantir que o modelo mantém um equilíbrio seguro, detectando o maior número possível de casos verdadeiros sem sobrecarregar os médicos com falsos alarmes. médicos com falsos alarmes.
• Deteção de anomalias nas finanças: As instituições financeiras utilizam a IA para detect transacções fraudulentas. Uma vez que a fraude efectiva é rara em comparação com as transacções legítimas transacções legítimas, um modelo poderia reivindicar 99,9% de exatidão, rotulando simplesmente tudo como legítimo. No entanto, isto seria inútil para a deteção de fraudes. Optimizando para o F1-Score, IA nas finanças podem efetivamente assinalar actividades suspeitas, minimizando a perturbação causada pelo bloqueio de cartões válidos.

F1-Score em Ultralytics YOLO11

Para tarefas de visão por computador (CV), tais como deteção de objectos, o F1-Score ajuda a determinar um modelo define os limites e classifica os objectos em limites de confiança específicos. Ao treinar modelos como Ultralytics YOLO11o processo de validação calcula a calcula a precisão, a recuperação e os F1-Scores para ajudar os engenheiros a selecionar os melhores pesos do modelo.

O seguinte código Python demonstra como validar um modelo YOLO11 pré-treinado e aceder a métricas de desempenho.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Distinguir o F1-Score de métricas relacionadas

A seleção da métrica correta depende dos objectivos específicos do projeto de IA.

• Exatidão: Mede a correção global das previsões. É melhor utilizada quando as distribuições de classes são aproximadamente iguais. Em contrapartida, o F1-Score é a métrica preferida para distribuições de classe desiguais.
• Precisão médiamAP): Enquanto o F1-Score é frequentemente calculado num de confiança, mAP avalia a precisão média mAP é o padrão para comparar modelos de deteção de objectos, enquanto o F1 é útil para otimizar um é útil para otimizar um ponto de funcionamento específico.
• Área sob a curva (AUC): A AUC representa a área sob a curva curva ROC (Receiver Operating Characteristic). A AUC mede a capacidade de um classificador para distinguir entre classes em todos os limiares, enquanto o F1-Score centra-se especificamente no desempenho da classe positiva num único limiar.

Melhorar o modelo F1-Score

O aumento da pontuação F1 envolve frequentemente melhorias iterativas do modelo e dos dados.

• Afinação de hiperparâmetros: O ajuste de definições como a taxa de aprendizagem, tamanho do lote ou funções de perda pode ajudar o modelo a pode ajudar o modelo a convergir para uma solução que equilibre mais eficazmente a precisão e a recuperação.
• Aumento de dados: Técnicas como inverter, escalar ou adicionar ruído aos dados de dados de treino expõem o modelo a exemplos mais variados exemplos mais variados, melhorando a sua capacidade de generalizar e identificar corretamente casos positivos difíceis.
• Aprendizagem por transferência: Começar com um modelo pré-treinado num conjunto de dados grande e diversificado permite que a rede aproveite os extractores de caraterísticas aprendidas, conduzindo frequentemente a pontuações F1 mais elevadas em tarefas especializadas com dados limitados.