Focal Loss

Focal Loss è una funzione obiettivo specializzata, utilizzata principalmente nel deep learning per affrontare il problema del grave sbilanciamento tra le classi. In molte attività di computer vision, come il rilevamento degli oggetti, il numero di esempi di sfondo (campioni negativi) supera di gran lunga quello degli oggetti di interesse (campioni positivi). I metodi standard, come la funzione di perdita Cross-Entropy, trattano tutti gli errori allo stesso modo, causando spesso il sovraccarico del modello a causa dell'enorme quantità di dati di sfondo facili da classificare. Focal Loss modifica il calcolo standard della perdita per ridurre il peso di questi esempi facili, costringendo l'algoritmo di ottimizzazione a concentrare la propria capacità di apprendimento sugli esempi "difficili", ovvero gli oggetti rari e difficili da classificare, fondamentali per le prestazioni del modello.

Il meccanismo di focalizzazione#

L'innovazione principale di Focal Loss risiede nella capacità di ridimensionare dinamicamente la penalità assegnata a ciascun campione in base al livello di confidenza del modello. In un tipico scenario di apprendimento supervisionato, un rilevatore potrebbe valutare migliaia di posizioni candidate in un'immagine. Poiché la maggior parte di queste posizioni non contiene oggetti, una funzione di perdita standard accumula molti piccoli segnali di errore provenienti da questi negativi facili, che possono soffocare il segnale prezioso proveniente dalle poche istanze positive.

Focal Loss introduce un fattore di modulazione che riduce il contributo alla perdita all'aumentare della confidenza nella classe corretta. Ciò significa che, se un modello è già sicuro al 99% che una regione di sfondo sia effettivamente sfondo, la perdita relativa a quella regione viene ridotta quasi a zero. Di conseguenza, i pesi del modello vengono aggiornati principalmente sulla base dei campioni classificati erroneamente o di quelli per i quali il modello è incerto. Questo approccio mirato è essenziale per addestrare rilevatori di oggetti a uno stadio ad alte prestazioni come YOLO26, consentendo loro di raggiungere un'elevata accuratezza senza richiedere complesse fasi di campionamento.

Applicazioni nel mondo reale#

La gestione dei dati di addestramento sbilanciati è fondamentale per implementare sistemi di AI affidabili in ambienti in cui sicurezza e precisione sono prioritarie.

• AI nel settore sanitario: In ambiti come l'analisi di immagini mediche, identificare le patologie è spesso paragonabile a cercare un ago in un pagliaio. Ad esempio, in una scansione MRI alla ricerca di piccole lesioni, il tessuto sano potrebbe costituire oltre il 99% dei pixel. Un modello standard potrebbe massimizzare la semplice accuratezza prevedendo "sano" ovunque e non rilevando la diagnosi critica. Focal Loss consente al sistema di sopprimere il segnale proveniente dall'abbondante tessuto sano e di dare priorità all'apprendimento delle caratteristiche più sottili delle anomalie, migliorando così il recall per rilevamenti salvavita.
• Veicoli autonomi: I sistemi di percezione per le auto a guida autonoma devono rilevare gli utenti vulnerabili della strada, come pedoni o ciclisti, su sfondi complessi costituiti da edifici, strade e cielo. Sebbene lo sfondo sia facile da apprendere, gli ostacoli piccoli o distanti rappresentano una sfida significativa. Utilizzando Focal Loss, le applicazioni di AI nel settore automobilistico possono garantire che lo stack di percezione non ignori questi oggetti difficili da rilevare, mantenendo gli standard di sicurezza anche quando i pericoli occupano solo una minima parte del campo visivo.

Implementazione con Ultralytics#

La libreria ultralytics include implementazioni ottimizzate di funzioni di perdita avanzate per supportare modelli all'avanguardia. Sebbene la Ultralytics Platform configuri automaticamente questi iperparametri per un addestramento ottimale, gli sviluppatori possono accedere direttamente a questi componenti anche per attività di ricerca personalizzate.

L'esempio seguente mostra come inizializzare Focal Loss utilizzando il pacchetto di utilità ultralytics e calcolare l'errore per un insieme di predizioni.

import torch
from ultralytics.utils.loss import FocalLoss

# Initialize Focal Loss.
# The 'gamma' parameter controls the focusing strength (higher = more focus on hard examples).
criterion = FocalLoss(gamma=1.5)

# Example: Model predictions (logits) and binary Ground Truth labels
# requires_grad=True simulates model outputs that need backpropagation
predictions = torch.tensor([[0.8], [-1.5], [0.1]], requires_grad=True)
targets = torch.tensor([[1.0], [0.0], [1.0]])

# Calculate the loss value
loss = criterion(predictions, targets)
print(f"Computed Focal Loss: {loss.item():.4f}")

Distinzione dai concetti correlati#

Capire il ruolo di Focal Loss nel panorama più ampio della misurazione degli errori aiuta a selezionare la strategia corretta per specifiche attività di computer vision.

• Focal Loss vs. funzione di perdita Cross-Entropy: Cross-Entropy è la metrica fondamentale per la classificazione e penalizza le predizioni in base all'errore logaritmico. Focal Loss è strettamente un'estensione di Cross-Entropy; se il parametro di focalizzazione è impostato su zero, dal punto di vista matematico ritorna alla Cross-Entropy standard. La differenza fondamentale è la capacità di Focal Loss di ridurre automaticamente il peso dei negativi facili, rendendola superiore per dataset sbilanciati come COCO.
• Focal Loss vs. perdita IoU: Focal Loss è progettata per la classificazione (determinare che cosa sia un oggetto), mentre la perdita IoU viene utilizzata per la localizzazione (determinare dove si trovi un oggetto). I rilevatori moderni utilizzano una funzione di perdita composita che combina Focal Loss per le probabilità delle classi e metriche basate su IoU per la regressione delle bounding box.
• Focal Loss vs. perdita Dice: La perdita Dice è un'altra tecnica utilizzata per gestire lo sbilanciamento, principalmente nelle attività di segmentazione delle immagini. Mentre Focal Loss opera sui singoli pixel o campioni in base alla confidenza, la perdita Dice ottimizza globalmente la sovrapposizione tra le regioni predette e quelle di riferimento. È comune utilizzare entrambe insieme in complessi workflow di segmentazione.