Shortcut Learning

L'apprendimento di scorciatoie si verifica quando un modello risolve il proprio compito di addestramento usando un indizio semplice che predice l'etichetta nei dati di addestramento, ma non ha alcun legame con il concetto che avrebbe dovuto apprendere. Il modello ottiene buoni risultati su qualsiasi set di test che condivida l'indizio e fallisce quando l'indizio scompare. Robert Geirhos e colleghi hanno caratterizzato il problema in Shortcut Learning in Deep Neural Networks, una prospettiva del 2020 pubblicata su Nature Machine Intelligence, definendo le scorciatoie come regole decisionali che ottengono buoni risultati sui benchmark standard ma non si trasferiscono a condizioni più difficili, come l'uso nel mondo reale. La classica analogia è Clever Hans, il cavallo che sembrava saper fare calcoli, ma in realtà interpretava il linguaggio del corpo del suo addestratore.

Scorciatoie nei modelli pubblicati#

Le scorciatoie sono state individuate in molti modelli pubblicati:

• Segni distintivi degli ospedali nelle immagini mediche: in uno studio del 2018 condotto da John Zech e colleghi, i classificatori di polmonite addestrati su radiografie toraciche provenienti da diversi sistemi ospedalieri riuscivano a identificare l'ospedale di provenienza di un'immagine; dato che i tassi della malattia variavano tra gli ospedali, queste informazioni sull'origine contribuivano a prevedere la diagnosi. Le prestazioni erano spesso inferiori negli ospedali assenti dai dati di addestramento, un rischio ricorrente per l'AI in radiologia.
• Radiografie COVID-19: un'analisi del 2021 condotta da Alex DeGrave e colleghi ha rilevato che i rilevatori di COVID-19 si basavano su indicatori testuali, sulla posizione dei pazienti e sulle differenze tra le fonti dei dati anziché sui reperti polmonari, perdendo gran parte della loro accuratezza sui dati provenienti da nuovi ospedali.
• Sfondi nelle foto delle fototrappole: lo studio del 2018 «Recognition in Terra Incognita» di Sara Beery e colleghi ha mostrato che i modelli di classificazione delle immagini associavano gli animali ai luoghi e agli sfondi in cui erano stati fotografati, perciò l'accuratezza calava in nuove postazioni di fototrappolaggio, un problema noto per l'AI nella conservazione della fauna selvatica. Il documento si apre con una mucca su una spiaggia che un classificatore commerciale di immagini non è riuscito a riconoscere, mentre le mucche nei pascoli alpini venivano etichettate correttamente.
• Texture anziché forma: le reti neurali convoluzionali addestrate su ImageNet classificavano come elefante un'immagine con la forma di un gatto e la texture della pelle di un elefante, come dimostrato da Geirhos e colleghi nel 2019.

Perché la validazione standard non rileva il problema#

Una suddivisione casuale tra addestramento e convalida copia la scorciatoia in entrambe le parti, quindi l'accuratezza sui dati di convalida sembra eccellente. Il problema emerge solo con dati raccolti in modo diverso: da una nuova sede, fotocamera, ospedale, stagione o periodo di tempo.

È questo che distingue l'apprendimento basato su scorciatoie dai problemi correlati:

• Overfitting: memorizzazione del rumore specifico dei dati di addestramento, che si manifesta come divario tra i punteggi di addestramento e di convalida. Una scorciatoia può generalizzare perfettamente a un set di convalida estratto dalla stessa fonte.
• Data leakage: informazioni che non saranno disponibili al momento della previsione entrano nelle caratteristiche o nelle suddivisioni. Il leakage è un modo specifico, spesso accidentale, in cui una scorciatoia entra in un dataset.
• Distorsione del dataset: lo sbilanciamento nei dati raccolti, per esempio quando tutti gli esempi positivi provengono da un solo scanner, che offre alla scorciatoia un appiglio.

Bastano poche righe di scikit-learn per riprodurre il problema con una regressione logistica su due caratteristiche: un debole segnale autentico e una scorciatoia che durante l'addestramento segue quasi perfettamente l'etichetta.

import numpy as np
from sklearn.linear_model import LogisticRegression

rng = np.random.default_rng(0)
labels = rng.integers(0, 2, 2000)

# A weak genuine signal and a shortcut that tracks the label almost perfectly
signal = labels + rng.normal(0, 1.0, labels.size)
shortcut = labels + rng.normal(0, 0.1, labels.size)

model = LogisticRegression()
model.fit(np.column_stack([signal, shortcut]), labels)

# At deployment the shortcut no longer carries any label information
shifted = rng.permutation(shortcut)
print(f"In-distribution accuracy: {model.score(np.column_stack([signal, shortcut]), labels):.2f}")
print(f"Shifted accuracy: {model.score(np.column_stack([signal, shifted]), labels):.2f}")

L'accuratezza scende da 1,00 a 0,52 quando la scorciatoia viene rimescolata. Il solo segnale autentico consente un'accuratezza di circa il 70%, ma il modello ha assegnato alla scorciatoia un coefficiente circa 18 volte superiore a quello del segnale, quindi ha imparato ben poco dall'indizio più difficile.

Individuare e rimuovere le scorciatoie#

Il test più affidabile valuta dati che la scorciatoia non può seguire: intere sedi, fotocamere o periodi temporali esclusi dall'addestramento, invece di immagini scelte casualmente. Un divario ampio tra quel punteggio e quello in distribuzione indica possibili indizi legati allo sfondo, all'illuminazione o al sensore. L'esplorazione dei dati individua potenziali problemi prima dell'addestramento. Il pannello Clustering di Ultralytics Platform dispone le immagini visivamente simili vicine tra loro su una mappa 2D e le colora in base alla classe, alla suddivisione o alla larghezza e altezza dell'immagine; in questo modo, una classe che forma un'isola a sé perché le sue immagini provengono da una sola fotocamera risalta prima che un modello YOLO26 possa imparare la fotocamera invece dell'oggetto.

Le modifiche controfattuali verificano direttamente un indizio sospetto. Sostituire uno sfondo, rimuovere una sovrapposizione o ritagliare un indicatore lascia invariata una previsione corretta e capovolge una previsione guidata da una scorciatoia. I metodi di attribuzione dell'AI spiegabile (XAI), come le mappe di salienza, mostrano quali pixel determinano una previsione; nello studio sul COVID-19 hanno evidenziato i bordi delle immagini e il testo anziché i polmoni.

Per correggere una scorciatoia di solito è necessario modificare i dati. Raccogliere esempi in cui indizio ed etichetta non concordano, come parti difettose fotografate su ogni vassoio e sfondo, interrompe la correlazione. L'aumento dei dati che varia colore, scala e posizionamento indebolisce gli indizi legati a queste proprietà; la randomizzazione del dominio fa lo stesso per le immagini sintetiche randomizzando texture, illuminazione e sfondi. Quando si conoscono i gruppi associati a una scorciatoia, l'ottimizzazione robusta alla distribuzione per gruppi minimizza la perdita del gruppo con le prestazioni peggiori anziché la perdita media.