Curva Característica de Operação do Receptor (ROC)

A curva ROC (Receiver Operating Characteristic) é uma representação gráfica utilizada para avaliar o desempenho de um modelo de modelo de classificação binária. Visualiza o compromisso entre a taxa de verdadeiros positivos (TPR) e a taxa de falsos positivos (FPR) em diferentes limiares de classificação. positiva (FPR) em diferentes limiares de classificação. Em aprendizagem automática (ML), esta curva é fundamental para avaliar a capacidade de um modelo distinguir entre duas classes, como "spam" versus "não spam" ou "doente" versus "saudável". Ao traçar estas taxas, a curva ROC fornece uma visão abrangente da capacidade de diagnóstico de um modelo, indo além de métricas de um único número, como precisão, que podem ser enganadoras isoladamente.

Compreender os eixos

Para interpretar corretamente uma curva ROC, é essencial compreender as duas métricas representadas nos seus eixos:

• Taxa de verdadeiros positivos (TPR): Muitas vezes referida como Recall ou sensibilidade, esta métrica mede a proporção de instâncias positivas reais que o modelo identifica corretamente. Por exemplo, num sistema de segurança, esta seria a percentagem de intrusos reais corretamente detectados.
• Taxa de falsos positivos (FPR): Esta métrica calcula a proporção de instâncias negativas reais que são incorretamente identificadas como positivas (falsos alarmes). Uma FPR mais baixa indica menos alarmes falsos, o que é crucial para a confiança do utilizador em sistemas como a autenticação biométrica.

A curva é gerada através da variação do limiar de confiança do classificador de 0 a 1. Cada ponto na curva ROC representa um par sensibilidade/especificidade correspondente a um determinado limiar de decisão. A Uma linha diagonal que vai do canto inferior esquerdo ao canto superior direito representa um classificador aleatório sem capacidade de previsão (lançamento de uma moeda ao ar), enquanto uma curva que se inclina para a esquerda (lançamento de moeda ao ar), enquanto uma curva que se inclina abruptamente para o canto superior esquerdo indica um modelo de elevado desempenho.

Aplicações no Mundo Real

As curvas ROC são amplamente utilizadas em várias indústrias para otimizar os limiares de decisão para implementação de modelos.

1. Diagnóstico médico: Na análise de imagens médicas, os investigadores utilizam curvas ROC para ajustar modelos de deteção de doenças como pneumonia ou tumores. É dada prioridade a um TPR elevado para garantir que não são casos positivos sejam perdidos, mesmo que isso signifique aceitar um FPR ligeiramente mais elevado. Este equilíbrio é fundamental para cumprir normas de segurança de organizações como a FDA.
2. Deteção de fraudes financeiras: As instituições financeiras utilizam IA nas finanças para identificar transacções fraudulentas. Neste caso, a curva ROC ajuda os analistas a selecionar um limiar que capta a maioria das tentativas de fraude tentativas de fraude (Recall elevado) sem assinalar demasiadas transacções legítimas, o que teria um impacto negativo na experiência do cliente. cliente.

Cálculo de probabilidades para ROC

Para traçar uma curva ROC, são necessárias as probabilidades previstas para a classe positiva em vez de apenas as etiquetas da classe final. da classe final. O exemplo a seguir demonstra como extrair essas probabilidades usando um YOLO11 modelo de classificação do ultralytics pacote.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

Quando estas probabilidades são obtidas para um conjunto de dados de teste, bibliotecas como Scikit-learn podem ser utilizadas para calcular os valores de FPR e TPR necessários para traçar a curva.

ROC vs. outras métricas de avaliação

Embora a curva ROC seja uma ferramenta poderosa, é útil distingui-la de conceitos de avaliação relacionados:

• Área sob a curva (AUC): A Área Sob a Curva (AUC) é um valor escalar é um valor escalar derivado da curva ROC. Enquanto a ROC é um gráfico visual, a AUC quantifica o desempenho geral num num único número entre 0 e 1, facilitando a comparação entre diferentes modelos de aprendizagem supervisionada.
• Curva de precisão-recall: Quando se lida com conjuntos de dados altamente desequilibrados (por exemplo, uma doença rara que afecta 1% da população), a curva ROC pode, por vezes, apresentar uma visão demasiado otimista. Nesses casos, uma curva de precisão-recall é muitas vezes mais informativa porque se concentra diretamente no desempenho da classe minoritária sem ter em conta os verdadeiros negativos.
• Matriz de confusão: A matriz de confusão fornece um instantâneo do desempenho num único limiar específico, mostrando as contagens exactas de verdadeiros positivos, falsos positivos negativos verdadeiros e falsos negativos. A curva ROC resume efetivamente as informações das matrizes de confusão geradas em todos os limiares possíveis.

Para tarefas que envolvem a deteção de objectos, métricas como precisão média média (mAP) são são normalmente utilizadas, embora as curvas ROC continuem a ser relevantes para a componente de classificação subjacente a estes modelos. A compreensão destas distinções garante que os programadores escolham a métrica correta para os seus desafios específicos de desafios específicos da visão computacional (CV).