Transfer Learning

Il transfer learning è una tecnica di machine learning (ML) in cui un modello sviluppato per un'attività viene riutilizzato come punto di partenza per un modello su una seconda attività correlata. Invece di costruire un modello da zero, il che richiede una vasta quantità di dati e risorse computazionali, il transfer learning sfrutta la conoscenza, come caratteristiche, pesi e modelli, appresa da un'attività di origine. Questo approccio è altamente efficiente ed è diventato una pietra angolare del moderno deep learning, specialmente nella computer vision (CV). Utilizzando un modello pre-addestrato, gli sviluppatori possono ottenere prestazioni più elevate con una quantità significativamente inferiore di dati e tempi di addestramento più brevi.

Come funziona il Transfer Learning

L'idea alla base del transfer learning è che un modello addestrato su un dataset ampio e generale, come ImageNet per la classificazione delle immagini, ha già imparato a riconoscere caratteristiche universali come bordi, texture e forme. Questa conoscenza fondamentale è memorizzata nei livelli iniziali del modello, spesso indicati come backbone.

Il processo in genere prevede due fasi principali:

1. Inizia con un Modello Pre-Addestrato: Viene selezionato un modello che è stato precedentemente addestrato su un ampio dataset di riferimento. Ad esempio, la maggior parte dei modelli Ultralytics YOLO sono dotati di pesi pre-addestrati sul dataset COCO. Questi modelli possiedono già una solida comprensione delle feature generali degli oggetti.
2. Fine-Tuning: Il modello pre-addestrato viene quindi adattato a una nuova attività specifica. Questo adattamento, noto come fine-tuning, comporta un ulteriore addestramento del modello su un dataset più piccolo e specifico per l'attività. Durante questa fase, il tasso di apprendimento viene in genere mantenuto basso per apportare piccole modifiche ai pesi del modello senza perdere le preziose caratteristiche pre-apprese. Per una guida dettagliata, è possibile fare riferimento al tutorial di PyTorch sul transfer learning.

Applicazioni nel mondo reale

Il transfer learning non è solo un concetto teorico; ha applicazioni pratiche in molti settori.

• Analisi di immagini mediche: Un modello può essere pre-addestrato sul dataset generale ImageNet e quindi messo a punto per rilevare anomalie specifiche come tumori cerebrali da scansioni MRI. Poiché i dati medici etichettati sono spesso scarsi e costosi da ottenere, il transfer learning consente la creazione di strumenti diagnostici accurati senza la necessità di milioni di immagini mediche. Per maggiori informazioni su questo, vedi come l'AI sta creando una nuova era di precisione in radiologia.
• Veicoli autonomi: Un modello di object detection può essere pre-addestrato su un enorme dataset di immagini stradali e poi ottimizzato da uno specifico produttore di auto per riconoscere modelli di veicoli unici o operare in condizioni meteorologiche specifiche. Ciò sfrutta la conoscenza esistente di auto, pedoni e segnali, accelerando lo sviluppo e migliorando la sicurezza.

Transfer Learning e concetti correlati

È importante distinguere il transfer learning da altre tecniche di ML:

• Modelli Fondazionali: Si tratta di modelli su larga scala pre-addestrati su grandi quantità di dati, progettati specificamente per essere adattati a vari compiti a valle. Il transfer learning è il processo di adattamento di questi modelli fondazionali.
• Zero-Shot Learning: Questa tecnica consente a un modello di riconoscere classi che non ha visto durante l'addestramento. Mentre il transfer learning adatta un modello a un nuovo compito con alcuni nuovi dati, lo zero-shot learning mira alla generalizzazione senza alcun esempio delle nuove classi. La nostra guida su Few-Shot, Zero-Shot e Transfer Learning spiega queste differenze in modo più dettagliato.
• Knowledge Distillation: Questo processo prevede l'addestramento di un modello "studente" più piccolo per imitare il comportamento di un modello "docente" più grande al fine di ottenere efficienza. Il transfer learning si concentra sull'adattamento della conoscenza da un'attività all'altra, mentre la distillation si concentra sulla compressione della conoscenza all'interno della stessa attività.

Strumenti e Framework

L'applicazione del transfer learning è resa accessibile attraverso vari strumenti e piattaforme. Framework come PyTorch e TensorFlow forniscono ampia documentazione e modelli pre-addestrati. Piattaforme come Ultralytics HUB semplificano l'intero flusso di lavoro, consentendo agli utenti di caricare facilmente modelli pre-addestrati come YOLOv8 e YOLO11, eseguire addestramento personalizzato su nuovi dataset e gestire il deployment del modello. Per una comprensione teorica più approfondita, risorse come la panoramica di Stanford CS231n sul transfer learning sono preziose.