Memory Bank

Un banco di memoria è una struttura dati utilizzata negli algoritmi di machine learning per archiviare e fare riferimento alle informazioni provenienti da iterazioni precedenti o da campioni elaborati, separando di fatto la capacità di memoria del modello dai suoi vincoli computazionali immediati. Nel contesto del deep learning (DL), un banco di memoria funge generalmente da repository per embedding o vettori delle caratteristiche. Ciò consente a un modello di confrontare l'input corrente con un'ampia cronologia di input precedenti senza dover rielaborare o mantenere simultaneamente tutti quei dati nella memoria ad accesso casuale (RAM) attiva. Mantenendo un buffer di rappresentazioni, i modelli possono apprendere da un contesto più ampio, migliorando le prestazioni nelle attività che richiedono coerenza a lungo termine o il confronto con grandi dataset.

Funzionamento di un banco di memoria#

La funzione principale di un banco di memoria è estendere le informazioni disponibili oltre l'attuale dimensione del batch. Durante l'addestramento, mentre i dati attraversano la rete neurale, le rappresentazioni delle caratteristiche risultanti vengono inserite nel banco. Se il banco raggiunge la capacità massima, le caratteristiche più vecchie vengono generalmente rimosse per fare spazio a quelle nuove, in un processo noto come coda First-In, First-Out (FIFO).

Questo meccanismo è particolarmente importante perché la memoria della GPU è limitata. Senza un banco di memoria, confrontare una singola immagine con un milione di altre immagini richiederebbe una dimensione del batch impossibile da gestire sull'hardware standard. Con un banco di memoria, il modello può archiviare vettori leggeri di quelle milioni di immagini e consultarli in modo efficiente usando tecniche di ricerca per similarità, come il prodotto scalare o la similarità coseno.

Applicazioni nel mondo reale#

I banchi di memoria sono diventati un elemento fondamentale in diversi flussi di lavoro avanzati di computer vision (CV) e di elaborazione del linguaggio naturale:

• Apprendimento contrastivo (apprendimento auto-supervisionato): una delle applicazioni più note è nell'apprendimento contrastivo, in particolare in algoritmi come Momentum Contrast (MoCo). In questo caso, l'obiettivo è insegnare al modello a distinguere un'immagine specifica da molti campioni "negativi" (immagini diverse). Un banco di memoria archivia migliaia di rappresentazioni di campioni negativi, consentendo al modello di apprendere caratteristiche robuste senza richiedere dati di addestramento etichettati. Per dettagli tecnici approfonditi, i ricercatori fanno spesso riferimento al paper su MoCo che ha reso popolare questo approccio.
• Rilevamento degli oggetti a lungo termine: nell'analisi video, un oggetto (come un'auto o una persona) può essere temporaneamente oscurato da un ostacolo. I tracker standard potrebbero perdere l'identità dell'oggetto (ID) durante questa occlusione. I tracker avanzati utilizzano un banco di memoria per archiviare le caratteristiche visive degli oggetti rilevati in precedenza. Quando l'oggetto ricompare, il sistema interroga il banco per ristabilire l'ID corretto. Gli utenti che sfruttano Ultralytics YOLO26 per il rilevamento degli oggetti beneficiano di una logica interna simile, che mantiene la coerenza dell'identità tra i fotogrammi.
• Comprensione dei video: per riconoscere azioni che si estendono per diversi secondi o minuti, i modelli hanno bisogno di un contesto temporale. Un banco di memoria funge da buffer per i fotogrammi o i clip precedenti, consentendo alla rete di "ricordare" cosa è accaduto all'inizio di un video mentre ne elabora la parte finale. Questo è fondamentale per un'accurata riconoscimento delle azioni.

Distinzione tra concetti correlati#

È utile distinguere il banco di memoria da altri concetti di archiviazione ed elaborazione presenti nel glossario:

• Banco di memoria vs. database vettoriale: entrambi archiviano embedding per il recupero. Tuttavia, un banco di memoria è generalmente una struttura transitoria in memoria, utilizzata dinamicamente durante l'addestramento o l'inferenza attiva di una singola sessione del modello. Un database vettoriale (come quelli utilizzati nel RAG) è una soluzione di archiviazione persistente e scalabile, progettata per durare indefinitamente e servire più applicazioni.
• Banco di memoria vs. finestra di contesto: una finestra di contesto (comune nei Transformer) definisce la lunghezza massima della sequenza di input elaborata dal modello in una sola volta (ad esempio, 32k token). Un banco di memoria è un buffer esterno che archivia rappresentazioni compresse al di fuori della finestra di elaborazione attiva, consentendo in teoria una profondità di memoria infinita, come nelle architetture quali Transformer-XL.
• Banco di memoria vs. dimensione del batch: la dimensione del batch stabilisce quanti campioni vengono elaborati in parallelo per gli aggiornamenti dei gradienti. Un banco di memoria aumenta il numero effettivo di campioni che il modello può "vedere" ai fini del confronto senza aumentare il costo computazionale dei passaggi forward e backward.

Esempio di codice: simulazione di un banco di caratteristiche#

Il seguente frammento di Python illustra il concetto di un banco di memoria First-In, First-Out (FIFO) utilizzando torch. Questa struttura viene spesso utilizzata per mantenere una cronologia scorrevole dei vettori delle caratteristiche durante cicli di addestramento personalizzati o attività di inferenza complesse.

import torch

# Initialize a memory bank (Capacity: 100 features, Vector Dim: 128)
# In a real scenario, these would be embeddings from a model like YOLO26
memory_bank = torch.randn(100, 128)

# Simulate receiving a new batch of features (e.g., from the current image batch)
new_features = torch.randn(10, 128)

# Update the bank: Enqueue new features, Dequeue the oldest ones
# This maintains a fixed size while keeping the memory 'fresh'
memory_bank = torch.cat([memory_bank[10:], new_features], dim=0)

print(f"Updated Memory Bank Shape: {memory_bank.shape}")
# Output: Updated Memory Bank Shape: torch.Size([100, 128])

Sfide e considerazioni#

Sebbene siano potenti, i banchi di memoria introducono la sfida della "deriva delle rappresentazioni". Poiché la rete encoder cambia leggermente a ogni passaggio di addestramento, le caratteristiche archiviate nel banco 100 passaggi prima potrebbero essere "obsolete" o incoerenti con lo stato attuale del modello. Tecniche come l'uso di un encoder con momentum (una media del modello aggiornata lentamente) aiutano a mitigare questo problema.

Per i team che desiderano gestire le versioni dei dataset e gli artefatti dei modelli che utilizzano queste tecniche avanzate, la Ultralytics Platform offre un hub centralizzato per organizzare i dati, monitorare gli esperimenti e distribuire i modelli in modo efficiente. Gestire la complessità dell'archiviazione e del recupero delle caratteristiche è essenziale per passare dall'intelligenza artificiale (AI) sperimentale a sistemi di produzione robusti.