Reti residue (ResNet)

Le reti residue, comunemente note come ResNet, sono un tipo innovativo di architettura di rete neurale (NN) che ha avuto un profondo impatto sul campo dell'apprendimento profondo. Introdotta da Kaiming He et al. nell'articolo del 2015"Deep Residual Learning for Image Recognition", ResNet ha reso possibile l'addestramento efficace di reti neurali estremamente profonde, con centinaia o addirittura migliaia di strati. Ciò è stato possibile grazie all'introduzione di "blocchi residui" con "connessioni saltate", un concetto semplice ma potente che attenua il problema del gradiente che svanisce, comunemente presente nelle reti molto profonde.

Come funziona ResNet

L'innovazione principale di ResNet è l'uso di connessioni saltate o scorciatoie. In una rete neurale convoluzionale (CNN) tradizionale, ogni strato alimenta la sua uscita direttamente allo strato successivo in sequenza. Man mano che la rete diventa più profonda, diventa sempre più difficile per la rete apprendere e per i gradienti propagarsi durante l'addestramento. Questo può portare a una situazione in cui l'aggiunta di altri strati peggiora le prestazioni del modello.

ResNet risolve questo problema consentendo di aggiungere l'ingresso di uno strato (o di un blocco di strati) alla sua uscita. Questo salto di connessione crea un percorso alternativo per il flusso del gradiente, assicurando che anche le reti molto profonde possano essere addestrate in modo efficace. Questa struttura consente alla rete di apprendere funzioni residue: in sostanza, gli strati devono apprendere solo i cambiamenti o i residui dall'input, anziché l'intera trasformazione. Se uno strato non è utile, la rete può facilmente imparare a ignorarlo portando i suoi pesi verso lo zero, consentendo alla mappatura dell'identità di passare attraverso la connessione di salto.

ResNet vs. altre architetture

• CNN standard: A differenza delle CNN sequenziali standard, le ResNet possono crescere in profondità senza perdere in prestazioni, grazie all'apprendimento residuale. Questa profondità consente loro di apprendere caratteristiche più complesse e di ottenere una maggiore precisione in compiti impegnativi.
• U-Net: Anche U-Net utilizza connessioni di salto, ma il suo scopo è diverso. In U-Net, le connessioni di salto collegano i livelli dal percorso di down-sampling a quello di up-sampling per recuperare le informazioni spaziali per una precisa segmentazione dell'immagine. In ResNet, le connessioni sono tipicamente più corte e progettate per migliorare il flusso del gradiente e consentire architetture più profonde.

Applicazioni del mondo reale

Le potenti capacità di estrazione delle caratteristiche di ResNet ne fanno una scelta popolare come struttura portante per molti compiti complessi di computer vision.

• Analisi di immagini mediche: Nell'IA per la sanità, le architetture ResNet sono utilizzate per analizzare scansioni mediche come radiografie, TAC e risonanze magnetiche. Ad esempio, un modello basato su ResNet può essere addestrato su un set di scansioni cerebrali per aiutare i radiologi a individuare precocemente i tumori, migliorando l'accuratezza e la velocità della diagnosi.
• Guida autonoma: I sistemi delle auto a guida autonoma si affidano a robuste strutture portanti per la percezione in tempo reale. ResNet viene spesso utilizzata per elaborare gli input delle telecamere per il rilevamento degli oggetti, l'identificazione di pedoni, veicoli e segnali stradali, fondamentale per i sistemi di navigazione sicuri sviluppati da aziende come Waymo.

Strumenti e implementazione

Le architetture ResNet sono ampiamente implementate nei principali framework di deep learning come PyTorch e TensorFlow. I modelli pre-addestrati, spesso addestrati sul dataset ImageNet su larga scala, sono facilmente disponibili attraverso librerie come torchvision, che facilitano l'apprendimento di trasferimento efficace per le applicazioni personalizzate. Piattaforme come Ultralytics HUB consentono agli utenti di sfruttare varie architetture, compresi i modelli basati su ResNet, per addestrare modelli personalizzati per le loro esigenze specifiche. Mentre ResNet ha stabilito una solida base di prestazioni, sono state sviluppate architetture più recenti, come EfficientNet, per offrire una migliore efficienza. È possibile trovare ulteriori risorse educative sulle CNN al corso CS231n di Stanford o attraverso corsi di fornitori come DeepLearning.AI.