Recall (Revocação)

A recuperação, também conhecida como sensibilidade ou taxa de verdadeiros positivos, é uma de avaliação utilizada para medir a capacidade de um modelo de aprendizagem automática (ML) para identificar todas as instâncias relevantes num conjunto de dados. Essencialmente, a recuperação responde à pergunta específica: "De todos os casos positivos reais, quantos é que o modelo detect com êxito?" Esta métrica está particularmente focada em Esta métrica está particularmente focada na minimização de falsos negativos, garantindo que os eventos ou objectos críticos não são ignorados. Enquanto a a precisão fornece uma visão geral do desempenho, a recordação torna-se o principal indicador de sucesso em cenários em que falhar um alvo tem um custo mais elevado do que um falso alarme. falso alarme.

A importância da recordação na IA

Em muitas tarefas de visão computacional (CV) e de análise de dados o custo dos erros não é uniforme. A não deteção detect um caso positivo (um erro do tipo II) pode, por vezes, ser perigoso ou dispendioso. Uma elevada recuperação assegura que o sistema lança uma rede alargada para capturar o maior número possível de verdadeiros positivos. possível. Isto é frequentemente conseguido ajustando o limiar de confiança durante a inferência; baixar o O limiar mais baixo geralmente aumenta a recuperação, mas pode resultar em mais falsos positivos.

Os engenheiros analisam frequentemente a curva precisão-recordação para compreender as vantagens e desvantagens inerentes aos seus modelos. Um modelo com 100% de recuperação encontrou todos os objectos-alvo, embora também possa ter rotulado incorretamente alguns ruídos de fundo como alvos.

Aplicações no Mundo Real

A recordação é a métrica subjacente a muitas soluções de IA críticas para a segurança soluções de IA críticas para a segurança. Eis dois exemplos proeminentes em que a recordação tem precedência:

• Diagnóstico médico: No domínio da análise de imagens médicas, como o rastreio de doenças através de raios X ou ressonâncias magnéticas, a elevada capacidade de recuperação não é negociável. Se um modelo de IA para deteção de tumores estiver a analisar exames, é muito melhor para o sistema assinalar uma sombra suspeita que acaba por ser benigna (um falso positivo) do que não detetar totalmente um tumor maligno (um falso negativo). Os médicos confiam nestas ferramentas de ferramentas de IA nos cuidados de saúde para atuar como uma rede de segurança, garantindo que nenhum risco potencial para a saúde é ignorado.
• Segurança e vigilância: Para um sistema de alarme de segurança, o objetivo principal é detect todas as tentativas de intrusão. Um sistema optimizado para uma elevada capacidade de recuperação garante que, se uma pessoa entrar numa zona restrita, o alarme dispara. Embora isso possa levar a falsos alarmes ocasionais causados por animais ou sombras, isso é É preferível que o sistema não detect um intruso real. Os modelos de deteção de objectos nestes cenários são são ajustados para garantir a máxima sensibilidade a potenciais ameaças.

Recall vs. Precisão e Exatidão

Compreender a diferença entre a recuperação e as métricas relacionadas é crucial para interpretar os resultados da avaliação do modelo.

• Recuperação vs. Precisão: Enquanto a recuperação mede a quantidade de verdadeiros positivos encontrados, precisão mede a qualidade ou fiabilidade dessas previsões positivas. A precisão pergunta: "De todos os itens rotulados como positivos, quantos eram de facto positivos?" Muitas vezes, há um compromisso; aumentar a recuperação aceitando detecções de menor confiança geralmente diminui a precisão. A pontuação F1 é uma métrica que combina ambas para fornecer uma visão equilibrada.
• Recuperação vs. Precisão: A precisão mede a percentagem global de previsões corretas (tanto positivas como positivas e negativas). No entanto, em No entanto, em conjuntos de dados desequilibrados - taiscomo uma linha de fabrico em que 99% das peças são boas e apenas 1% são defeituosas - um modelo poderia simplesmente prever "bom" de cada vez e atingir 99% de exatidão enquanto tem 0% de recuperação para defeitos. Em tais tarefas de deteção de anomalias, a recuperação é uma métrica muito mais honesta do que a exatidão.

Medir a recordação com Ultralytics YOLO

Ao desenvolver modelos com o Ultralytics YOLO11 a recuperação é calculada automaticamente calculada automaticamente durante o processo de validação. A estrutura calcula a recuperação para cada classe e a precisão média (mAP), ajudando os os programadores a avaliar a qualidade com que o modelo encontra os objectos.

Pode validar facilmente um modelo treinado e visualizar as suas métricas de recuperação utilizando Python:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a standard dataset like COCO8
# The results will include Precision (P), Recall (R), and mAP
metrics = model.val(data="coco8.yaml")

# Access the mean recall score from the results
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']}")

Este trecho de código carrega um YOLO11 e executa a validação no conjunto de dadosCOCO8 . O fornece uma análise abrangente do desempenho, permitindo-lhe avaliar se o seu modelo cumpre os requisitos de requisitos de recolha necessários para a sua aplicação específica. Se a recuperação for demasiado baixa, pode considerar técnicas como aumento de dados ou ajuste de hiperparâmetros para melhorar a sensibilidade.