Reti Residuali (ResNet)

Le Reti Residuali, comunemente note come ResNet, sono un tipo rivoluzionario di architettura di rete neurale (NN) che ha avuto un profondo impatto nel campo del deep learning. Introdotte da Kaiming He et al. nel loro articolo del 2015, "Deep Residual Learning for Image Recognition", le ResNet hanno reso possibile addestrare efficacemente reti neurali estremamente profonde, con centinaia o addirittura migliaia di livelli. Ciò è stato ottenuto introducendo "blocchi residuali" con "connessioni skip", un concetto semplice ma potente che mitiga il problema del vanishing gradient, che affligge comunemente le reti molto profonde.

Come funziona ResNet

L'innovazione principale di ResNet è l'uso di connessioni skip o scorciatoie. In una tradizionale rete neurale convoluzionale (CNN), ogni livello alimenta il suo output direttamente al livello successivo in sequenza. Man mano che la rete diventa più profonda, diventa sempre più difficile per la rete apprendere e per i gradienti propagarsi all'indietro durante l'addestramento. Ciò può portare a una situazione in cui l'aggiunta di più livelli in realtà degrada le prestazioni del modello.

ResNet affronta questo problema consentendo di aggiungere l'input di un livello (o di un blocco di livelli) al suo output. Questa connessione skip crea un percorso alternativo per il flusso del gradiente, garantendo che anche le reti molto profonde possano essere addestrate efficacemente. Questa struttura consente alla rete di apprendere funzioni residuali: essenzialmente, i livelli devono solo apprendere i cambiamenti o i residui dall'input, piuttosto che l'intera trasformazione. Se un livello non è utile, la rete può facilmente imparare a ignorarlo portando i suoi pesi verso lo zero, consentendo all'identity mapping di passare attraverso la connessione skip.

ResNet vs. Altre Architetture

• CNN Standard: A differenza delle CNN sequenziali standard, le ResNet possono crescere molto più in profondità senza una perdita di prestazioni, grazie all'apprendimento residuo. Questa profondità consente loro di apprendere feature più complesse e ottenere una maggiore accuratezza su task impegnativi.
• U-Net: Mentre U-Net utilizza anche connessioni skip, il suo scopo è diverso. In U-Net, le connessioni skip collegano i livelli dal percorso di down-sampling al percorso di up-sampling per recuperare informazioni spaziali per una segmentazione delle immagini precisa. In ResNet, le connessioni sono in genere più corte e progettate per migliorare il flusso del gradiente e consentire architetture più profonde.

Applicazioni nel mondo reale

Le potenti capacità di estrazione di caratteristiche di ResNet la rendono una scelta popolare come backbone per molte complesse attività di computer vision.

• Analisi di immagini mediche: Nell'AI per la sanità, le architetture ResNet vengono utilizzate per analizzare scansioni mediche come radiografie, TAC e risonanze magnetiche. Ad esempio, un modello basato su ResNet può essere addestrato su un dataset di scansioni cerebrali per aiutare i radiologi con il rilevamento precoce dei tumori, migliorando l'accuratezza e la velocità della diagnosi.
• Guida autonoma: I sistemi nelle auto a guida autonoma si basano su backbone robusti per la percezione in tempo reale. ResNet viene spesso utilizzato per elaborare gli input della telecamera per l'object detection, identificando pedoni, veicoli e segnali stradali, il che è fondamentale per i sistemi di navigazione sicura sviluppati da aziende come Waymo.

Strumenti e implementazione

Le architetture ResNet sono ampiamente implementate nei principali framework di deep learning come PyTorch e TensorFlow. I modelli pre-addestrati, spesso addestrati sul dataset ImageNet su larga scala, sono facilmente disponibili tramite librerie come torchvision, il che facilita l'transfer learning efficace per applicazioni personalizzate. Piattaforme come Ultralytics HUB consentono agli utenti di sfruttare varie architetture, inclusi i modelli basati su ResNet, per addestrare modelli personalizzati per le loro esigenze specifiche. Mentre ResNet ha stabilito una solida base di prestazioni, architetture più recenti come EfficientNet sono state sviluppate per offrire una migliore efficienza. Puoi trovare ulteriori risorse educative sulle CNN nel corso CS231n di Stanford o tramite corsi di fornitori come DeepLearning.AI.