Recall

Il richiamo, conosciuto anche come sensibilità o tasso di veri positivi, è una metrica di valutazione fondamentale fondamentale per misurare la capacità di un modello di capacità di un modello di apprendimento automatico (ML) di di identificare tutte le istanze rilevanti all'interno di un set di dati. In sostanza, il richiamo risponde alla domanda specifica: "Di tutti i casi effettivamente positivi, quanti ne ha detect con successo il modello?". Questa metrica è particolarmente incentrata sulla minimizzare i falsi negativi, assicurando che gli eventi o gli oggetti critici non vengano trascurati. Mentre l 'accuratezza fornisce una panoramica generale delle prestazioni, il richiamo diventa l'indicatore principale del successo negli scenari in cui la mancata individuazione di un bersaglio ha un costo più elevato di un falso allarme. allarme.

L'importanza del richiamo nell'IA

In molti compiti di computer vision (CV) e di analisi dei dati il costo degli errori non è uniforme. Il mancato detect di un caso positivo (un errore di tipo II) può talvolta essere pericoloso o costoso. Un richiamo elevato garantisce che il sistema getti una rete ampia per catturare il maggior numero possibile di veri positivi. possibile. Questo si ottiene spesso regolando la soglia di confidenza soglia di confidenza durante l'inferenza; abbassando la soglia in genere aumenta il richiamo, ma può risultare in un maggior numero di falsi positivi.

Gli ingegneri spesso analizzano la curva precisione-richiamo per capire i compromessi insiti nei loro modelli. Un modello con un richiamo del 100% ha trovato ogni singolo oggetto bersaglio, anche se potrebbe aver etichettato erroneamente alcuni rumori di fondo come bersagli.

Applicazioni nel mondo reale

Il richiamo è la metrica alla base di molte soluzioni di soluzioni di IA per la sicurezza. Ecco due esempi importanti in cui il richiamo ha la precedenza:

• Diagnostica medica: Nel campo dell'analisi delle immagini dell'analisi delle immagini mediche, come lo screening malattie tramite radiografie o risonanze magnetiche, un'elevata capacità di richiamo non è negoziabile. Se un modello di intelligenza artificiale per il rilevamento dei tumori di tumori, è molto meglio che il sistema segnali un'ombra sospetta che poi si rivela benigna (un falso positivo) piuttosto che non noti un tumore maligno. positivo) che non individuare completamente un tumore maligno (un falso negativo). I medici si affidano a questi L 'intelligenza artificiale negli strumenti sanitari funge da rete di sicurezza, garantire che nessun potenziale rischio per la salute venga ignorato.
• Sicurezza e sorveglianza: Per un sistema di sistema di allarme di sicurezza, l'obiettivo primario è di detect ogni tentativo di intrusione. Un sistema ottimizzato per un elevato richiamo assicura che se una persona entra in una zona riservata, l'allarme scatti. zona riservata, l'allarme scatta. Sebbene ciò possa comportare occasionalmente falsi allarmi causati da animali o ombre, è preferibile che il sistema non riesca a rilevare i tentativi di intrusione. è preferibile che il sistema non riesca a detect un intruso vero e proprio. I modelli di rilevamento degli oggetti in questi scenari sono in questi scenari sono stati messi a punto per garantire la massima sensibilità alle potenziali minacce.

Richiamo vs. precisione e accuratezza

Comprendere la differenza tra il richiamo e le metriche correlate è fondamentale per interpretare i risultati della valutazione dei modelli. valutazione dei modelli.

• Richiamo vs. Precisione: Mentre il richiamo misura la quantità di veri positivi trovati, precisione misura la qualità o l'affidabilità di tali previsioni positive. La precisione chiede: "Di tutti gli elementi etichettati come positivi, quanti erano effettivamente positivi? positivi?". Spesso c'è un compromesso: aumentare il richiamo accettando i rilevamenti a bassa sicurezza di solito riduce la precisione. diminuisce la precisione. Il punteggio F1 è una metrica che combina entrambi per fornire una visione equilibrata.
• Richiamo vs. Accuratezza: L'accuratezza misura la percentuale complessiva di previsioni corrette (sia positive che negative). e negative). Tuttavia, su sbilanciato, come ad esempiouna linea di produzione in cui il 99% dei pezzi è buono e solo l'1% è difettoso, un modello potrebbe semplicemente predire "buono" ogni volta e ottenere il 99% di accuratezza, pur avendo lo 0% di richiamo per i difetti. "buono" ogni volta e ottenere un'accuratezza del 99%, pur avendo un richiamo dello 0% per i difetti. In tali anomalie, il richiamo è una metrica molto più onesta dell'accuratezza. più onesto dell'accuratezza.

Misurare il richiamo con Ultralytics YOLO

Quando si sviluppano modelli con il Ultralytics YOLO11 architettura, il richiamo viene calcolato automaticamente durante il processo di validazione. Il framework calcola il richiamo per ogni classe e la precisione media (mAP). precisione media (mAP), aiutando gli gli sviluppatori a valutare l'efficacia del modello nel trovare gli oggetti.

È possibile convalidare facilmente un modello addestrato e visualizzare le metriche di richiamo utilizzando Python:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a standard dataset like COCO8
# The results will include Precision (P), Recall (R), and mAP
metrics = model.val(data="coco8.yaml")

# Access the mean recall score from the results
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']}")

Questo frammento di codice carica un file YOLO11 ed esegue la validazione sul set di datiCOCO8 . L'output fornisce una ripartizione completa delle prestazioni, consentendo di valutare se il modello soddisfa i requisiti di richiamo necessari per l'applicazione specifica. requisiti di richiamo necessari per l'applicazione specifica. Se il richiamo è troppo basso, si possono considerare tecniche quali l 'aumento dei dati o la regolazione degli iperparametri per migliorare la sensibilità.