F1-Score

O F1-Score é uma métrica de desempenho crítica em machine learning que combina precisão e recall em uma única média harmônica. Ele é particularmente útil para avaliar modelos de classificação onde o conjunto de dados está desequilibrado ou onde falsos positivos e falsos negativos acarretam custos diferentes. Ao contrário da precisão direta, que pode ser enganosa se uma classe domina o conjunto de dados, o F1-Score fornece uma visão mais equilibrada da capacidade de um modelo de identificar instâncias relevantes corretamente, minimizando erros. Ao penalizar valores extremos, ele garante que uma pontuação alta só seja alcançada quando tanto a precisão quanto o recall forem razoavelmente altos, tornando-o uma métrica essencial em campos que vão desde diagnósticos médicos até a recuperação de informações.

Link to this sectionPor que o F1-Score é Importante em Machine Learning#

Em muitos cenários do mundo real, saber apenas a porcentagem de previsões corretas (acurácia) é insuficiente. Por exemplo, em detecção de anomalias, casos normais superam em muito as anomalias. Um modelo que prevê "normal" para cada entrada poderia atingir 99% de acurácia, mas seria inútil para detectar problemas reais. O F1-Score aborda isso equilibrando duas métricas concorrentes:

• Precisão: Isso mede a qualidade das previsões positivas. Responde à pergunta: "De todas as instâncias que o modelo rotulou como positivas, quantas eram realmente positivas?"
• Recall: Isso mede a quantidade de previsões positivas. Responde: "De todas as instâncias positivas reais, quantas o modelo identificou corretamente?"

Como muitas vezes existe um trade-off — melhorar a precisão tende a diminuir o recall e vice-versa — o F1-Score atua como uma métrica unificada para encontrar um ponto de equilíbrio ideal. Isso é crucial ao ajustar modelos usando otimização de hiperparâmetros para garantir um desempenho robusto em diversas condições.

Link to this sectionAplicações no Mundo Real#

A utilidade do F1-Score se estende por vários setores onde o custo do erro é significativo.

• Medical Diagnostics: In AI in healthcare, specifically for tasks like tumor detection, a false negative (missing a tumor) is life-threatening, while a false positive (flagging benign tissue) causes unnecessary anxiety. The F1-Score helps researchers optimize models like YOLO26 to ensure that the system is sensitive enough to catch diseases without overwhelming doctors with false alarms.
• Recuperação de Informações e Busca: Motores de busca e sistemas de classificação de documentos usam o F1-Score para avaliar a relevância. Usuários querem ver todos os documentos relevantes (recall alto), mas não querem filtrar resultados irrelevantes (precisão alta). Um F1-Score alto indica que o motor está recuperando eficazmente as informações corretas sem ruído.
• Spam Filtering: Email services use text classification to segregate spam. The system must catch spam emails (recall) but crucially must not label important work emails as junk (precision). The F1-Score serves as the primary benchmark for these filters.

Link to this sectionCalculando o F1-Score com Ultralytics#

Frameworks modernos de visão computacional simplificam o cálculo dessas métricas. Ao treinar modelos de detecção de objetos, o F1-Score é calculado automaticamente durante a fase de validação. A Plataforma Ultralytics visualiza essas métricas em gráficos em tempo real, permitindo que os usuários vejam a curva do F1-Score em relação a diferentes limiares de confiança.

Veja como você pode acessar métricas de validação, incluindo componentes do F1-Score, usando a API Python:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

Link to this sectionF1-Score vs. Métricas Relacionadas#

Entender como o F1-Score difere de outros critérios de avaliação é essencial para selecionar a ferramenta certa para o seu projeto.

• Diferença da Acurácia: Acurácia trata todos os erros igualmente. O F1-Score é superior para conjuntos de dados desequilibrados porque foca no desempenho da classe positiva (a classe minoritária de interesse).
• Relação com mAP: Mean Average Precision (mAP) é o padrão para comparar modelos de detecção de objetos em todos os limiares de confiança. No entanto, o F1-Score é frequentemente usado para determinar o limiar de confiança ideal para a implantação. Você pode escolher o limiar onde a curva F1 atinge o pico para implantar sua aplicação.
• Matriz de Confusão: A matriz de confusão fornece as contagens brutas (Verdadeiros Positivos, Falsos Positivos, etc.) das quais o F1-Score é derivado. Embora a matriz forneça detalhes granulares, o F1-Score fornece uma estatística de resumo única para comparação rápida.
• ROC-AUC: A Área Sob a Curva (AUC) mede a separabilidade em todos os limiares. O F1-Score é geralmente preferido em relação ao ROC-AUC quando você tem uma distribuição de classes altamente distorcida (por exemplo, detecção de fraude, onde a fraude é rara).

Link to this sectionMelhorando seu F1-Score#

Se o seu modelo sofre com um F1-Score baixo, várias estratégias podem ajudar. Data augmentation pode aumentar a variedade de exemplos positivos, ajudando o modelo a generalizar melhor. Empregar transfer learning a partir de modelos base robustos permite que a rede aproveite características pré-aprendidas. Além disso, ajustar o limiar de confiança durante a inferência pode mudar manualmente o equilíbrio entre precisão e recall para maximizar o F1-Score para seu caso de uso específico.