Memory Bank

메모리 뱅크(Memory Bank)는 머신 러닝 알고리즘에서 과거 반복 또는 처리된 샘플의 정보를 저장하고 참조하기 위해 사용하는 데이터 구조로, 모델의 메모리 용량을 즉각적인 연산 제약으로부터 효과적으로 분리합니다. 딥러닝(DL)의 맥락에서 메모리 뱅크는 일반적으로 임베딩 또는 특징 벡터를 위한 저장소 역할을 합니다. 이를 통해 모델은 모든 데이터를 활성 RAM(Random-Access Memory)에 동시에 유지하거나 재처리할 필요 없이, 현재 입력을 방대한 이전 입력 기록과 비교할 수 있습니다. 표현들의 버퍼를 유지함으로써 모델은 더 넓은 맥락에서 학습할 수 있으며, 장기적인 일관성이나 대규모 데이터셋과의 비교가 필요한 작업에서 성능을 향상시킵니다.

Link to this section메모리 뱅크의 메커니즘#

메모리 뱅크의 주요 기능은 사용 가능한 정보를 현재 배치 크기 이상으로 확장하는 것입니다. 학습 중 데이터가 신경망을 통과함에 따라 생성된 특징 표현들은 뱅크로 전달됩니다. 뱅크가 최대 용량에 도달하면 가장 오래된 특징은 일반적으로 새로운 데이터를 위한 공간을 확보하기 위해 제거되는데, 이를 선입선출(FIFO) 큐라고 합니다.

이 메커니즘은 GPU 메모리가 유한하기 때문에 특히 중요합니다. 메모리 뱅크가 없다면 단일 이미지를 백만 개의 다른 이미지와 비교하기 위해 표준 하드웨어에 수용할 수 없는 배치 크기가 필요할 것입니다. 메모리 뱅크를 사용하면 모델은 백만 개의 이미지에 대한 경량 벡터를 저장하고, 내적(dot product)이나 코사인 유사도와 같은 유사도 검색 기술을 사용하여 효율적으로 참조할 수 있습니다.

Link to this section실제 애플리케이션 사례#

메모리 뱅크는 여러 고급 컴퓨터 비전(CV) 및 자연어 워크플로의 초석이 되었습니다:

• 대조 학습(자기 주도 학습): 가장 유명한 적용 사례 중 하나는 대조 학습, 특히 Momentum Contrast(MoCo)와 같은 알고리즘입니다. 여기서 목표는 특정 이미지를 많은 "부정적" 샘플(다른 이미지)과 구별하도록 모델을 학습시키는 것입니다. 메모리 뱅크는 수천 개의 부정적 샘플 표현을 저장하여, 모델이 라벨이 지정된 학습 데이터 없이도 강력한 특징을 학습할 수 있게 합니다. 깊이 있는 기술적 세부 사항을 위해 연구자들은 종종 이 접근 방식을 대중화한 MoCo 논문을 참조합니다.
• Long-Term Object Tracking: In video analysis, an object (like a car or person) may be temporarily obscured by an obstacle. Standard trackers might lose the object's identity (ID) during this occlusion. Advanced trackers use a memory bank to store the visual features of objects detected in the past. When the object reappears, the system queries the bank to re-establish the correct ID. Users leveraging Ultralytics YOLO26 for object tracking benefit from similar internal logic that maintains identity consistency across frames.
• 비디오 이해: 수 초에서 수 분에 걸친 동작을 인식하려면 모델에 시간적 맥락이 필요합니다. 메모리 뱅크는 과거 프레임이나 클립을 위한 버퍼 역할을 하여, 네트워크가 끝부분을 처리하는 동안 비디오 시작 부분에서 일어난 일을 "기억"할 수 있게 합니다. 이는 정확한 동작 인식에 매우 중요합니다.

Link to this section관련 개념 구분#

메모리 뱅크를 용어집에 나오는 다른 저장 및 처리 개념과 구분하는 것이 도움이 됩니다:

• 메모리 뱅크 vs. 벡터 데이터베이스: 둘 다 검색을 위해 임베딩을 저장합니다. 그러나 메모리 뱅크는 일반적으로 단일 모델 세션의 학습 또는 활성 추론 중에 동적으로 사용되는 일시적인 인메모리 구조입니다. RAG에 사용되는 것과 같은 벡터 데이터베이스는 영구적이고 확장 가능한 저장 솔루션으로, 장기간 유지되어 여러 애플리케이션을 지원하도록 설계되었습니다.
• 메모리 뱅크 vs. 컨텍스트 윈도우: 컨텍스트 윈도우(Transformer에서 일반적임)는 모델이 한 번에 처리하는 최대 입력 시퀀스 길이(예: 32k 토큰)를 정의합니다. 메모리 뱅크는 활성 처리 창 외부에 압축된 표현을 저장하는 외부 버퍼로, Transformer-XL과 같은 아키텍처에서 볼 수 있듯이 이론적으로 무한한 메모리 깊이를 허용합니다.
• 메모리 뱅크 vs. 배치 크기: 배치 크기는 그래디언트 업데이트를 위해 병렬로 처리되는 샘플의 수를 결정합니다. 메모리 뱅크는 순전파 및 역전파의 연산 비용을 증가시키지 않으면서 모델이 비교 목적으로 "볼" 수 있는 유효 샘플 수를 증가시킵니다.

Link to this section코드 예제: 특징 뱅크 시뮬레이션#

다음 Python 코드 조각은 torch를 사용하는 선입선출(FIFO) 메모리 뱅크의 개념을 보여줍니다. 이 구조는 커스텀 학습 루프나 복잡한 추론 작업 중에 특징 벡터의 롤링 기록을 유지하기 위해 자주 사용됩니다.

import torch

# Initialize a memory bank (Capacity: 100 features, Vector Dim: 128)
# In a real scenario, these would be embeddings from a model like YOLO26
memory_bank = torch.randn(100, 128)

# Simulate receiving a new batch of features (e.g., from the current image batch)
new_features = torch.randn(10, 128)

# Update the bank: Enqueue new features, Dequeue the oldest ones
# This maintains a fixed size while keeping the memory 'fresh'
memory_bank = torch.cat([memory_bank[10:], new_features], dim=0)

print(f"Updated Memory Bank Shape: {memory_bank.shape}")
# Output: Updated Memory Bank Shape: torch.Size([100, 128])

Link to this section과제 및 고려 사항#

메모리 뱅크는 강력하지만 "표현 드리프트(representation drift)"라는 문제를 야기합니다. 인코더 네트워크가 학습 단계마다 약간씩 변경되기 때문에, 100단계 전에 뱅크에 저장된 특징은 현재 모델 상태와 "낡았거나" 일치하지 않을 수 있습니다. 모멘텀 인코더(모델의 서서히 업데이트되는 평균)를 사용하는 것과 같은 기술은 이 문제를 완화하는 데 도움이 됩니다.

이러한 고급 기술을 활용하는 데이터셋 버전 및 모델 아티팩트를 관리하려는 팀을 위해 Ultralytics Platform은 데이터를 정리하고, 실험을 추적하며, 모델을 효율적으로 배포할 수 있는 중앙 집중식 허브를 제공합니다. 특징 저장 및 검색의 복잡성을 관리하는 것은 실험적인 인공지능(AI)에서 강력한 프로덕션 시스템으로 나아가는 데 필수적입니다.