Focal Loss

La focal loss è una funzione di perdita di entropia incrociata modificata che riduce il peso degli esempi che il modello classifica già correttamente, così l'addestramento si concentra su quelli difficili e classificati in modo errato. Lin e colleghi l'hanno introdotta nel 2017 nell'articolo Focal Loss for Dense Object Detection, insieme al rilevatore RetinaNet, per gestire lo squilibrio estremo tra sfondo e oggetti nel rilevamento di oggetti. Oggi è ampiamente utilizzata nei problemi di classificazione in cui una classe è molto più numerosa delle altre.

Il problema dello squilibrio#

I rilevatori di oggetti a uno stadio classificano ogni posizione candidata in un'immagine; RetinaNet ne valuta circa 100.000 per immagine. Quasi tutte queste posizioni sono sfondo, che il modello impara a scartare nelle prime fasi dell'addestramento. Con la entropia incrociata standard, ogni esempio negativo facile aggiunge comunque una piccola perdita e il loro numero enorme fa sì che dominino la perdita totale e i relativi gradienti, sommergendo le poche posizioni che contengono oggetti. I rilevatori di oggetti a due stadi evitano questo problema filtrando i candidati con uno stadio di proposta delle regioni e campionando un rapporto fisso di primi piani e sfondi; i precedenti rilevatori a uno stadio si affidavano invece all'hard negative mining. La focal loss corregge lo squilibrio direttamente nella funzione di perdita, così è possibile addestrare il modello su ogni candidato senza campionamento.

Come funziona la focal loss#

Indica con p_t la probabilità che il modello assegna alla classe corretta. L'entropia incrociata è CE = -log(p_t) e la focal loss la moltiplica per un fattore di modulazione:

FL = -α_t (1 - p_t)^γ log(p_t)

• Parametro di focalizzazione γ (gamma): controlla la rapidità con cui diminuisce la perdita degli esempi facili. Con γ = 0, la focal loss equivale all'entropia incrociata. Man mano che p_t si avvicina a 1, (1 - p_t)^γ si avvicina a 0, mentre un esempio classificato in modo errato con un p_t basso mantiene quasi tutta la propria perdita di entropia incrociata. Con il valore migliore indicato nell'articolo, γ = 2, un esempio classificato con p_t = 0.9 riceve una perdita 100 volte inferiore rispetto all'entropia incrociata.
• Peso di bilanciamento α_t (alpha): un peso fisso per la classe positiva e il suo complemento per quella negativa. RetinaNet usa α = 0.25 con γ = 2, e l'articolo normalizza inoltre la perdita totale di ogni immagine in base al numero di anchor assegnati agli oggetti.

La funzione sigmoid_focal_loss in torchvision implementa la formula. Impostando alpha=-1 si disattiva il peso di bilanciamento, isolando l'effetto di γ su un esempio positivo facile, moderato e difficile:

import torch
import torch.nn.functional as F
from torchvision.ops import sigmoid_focal_loss

# Logits for three positive examples: easy, moderate, and hard
logits = torch.tensor([4.0, 1.0, -2.0])
targets = torch.ones(3)

# alpha=-1 turns off class weighting so only the gamma focusing term differs
bce = F.binary_cross_entropy_with_logits(logits, targets, reduction="none")
focal = sigmoid_focal_loss(logits, targets, alpha=-1, gamma=2.0, reduction="none")

for p, b, f in zip(logits.sigmoid(), bce, focal):
    print(f"p={p:.2f}  cross-entropy={b:.6f}  focal={f:.6f}  ratio={b / f:,.1f}x")

La focal loss riduce la perdita dell'esempio facile (p = 0.98) di un fattore pari a circa 3.091, quella dell'esempio moderato (p = 0.73) di 13,8 e quella dell'esempio difficile (p = 0.12) di appena 1,3, così l'esempio difficile fornisce quasi tutto il segnale di addestramento.

Dove viene utilizzata la focal loss#

Oltre a RetinaNet, la focal loss e le sue varianti addestrano il ramo di classificazione di molti rilevatori densi e basati su Transformer, compresi i modelli della famiglia DETR come Deformable DETR. Nell'analisi di immagini mediche, le lesioni spesso occupano una frazione minima dei pixel, perciò i modelli di segmentazione delle immagini combinano comunemente la focal loss con la Dice loss per evitare di ignorare piccoli reperti e aumentare il richiamo. In Ultralytics, il trainer RT-DETR valuta le classi con la Varifocal Loss e il modulo ultralytics.utils.loss fornisce una classe FocalLoss con valori predefiniti gamma=1.5 e alpha=0.25.

Focal loss a confronto con tecniche correlate#

• Pesi di classe: l'entropia incrociata pesata assegna a ogni esempio di una classe rara lo stesso incremento fisso, basato sulla frequenza della classe. La focal loss assegna un peso a ogni esempio in base alla sua difficoltà attuale, quindi i pesi cambiano man mano che il modello apprende.
• Hard negative mining: mantiene solo gli esempi negativi con la perdita più alta e scarta gli altri. La focal loss mantiene tutti gli esempi e riduce gradualmente il peso di quelli facili.
• Varifocal Loss: variante asimmetrica di VarifocalNet che riduce il peso solo degli esempi negativi e addestra quelli positivi verso un punteggio consapevole di IoU, così anche la confidenza della classe riflette la qualità della localizzazione.
• Distribution Focal Loss (DFL): funzione di perdita per la regressione dei riquadri di Generalized Focal Loss, che tratta ogni bordo del riquadro come una distribuzione di probabilità discreta. Condivide solo il nome con la focal loss e si applica alla regressione dei riquadri.