Long Short-Term Memory (LSTM)

장단기 메모리(LSTM)는 시퀀스 예측 문제에서 순서 의존성을 학습할 수 있는 특수한 유형의 순환 신경망(RNN) 아키텍처입니다. 표준 피드포워드 신경망과 달리 LSTM에는 피드백 연결이 있어 단일 데이터 포인트(예: 이미지)뿐 아니라 전체 데이터 시퀀스(예: 음성 또는 비디오)도 처리할 수 있습니다. 이러한 기능 덕분에 현재 데이터를 이해하는 데 이전 입력의 문맥이 중요한 작업에 특히 적합하며, 기존 RNN의 "단기 기억" 한계를 해결합니다.

표준 RNN의 문제#

LSTM의 혁신을 이해하려면 기본 순환 신경망이 직면한 문제를 살펴보는 것이 좋습니다. RNN은 순차 정보를 처리하도록 설계되었지만 기울기 소실 문제로 인해 긴 데이터 시퀀스를 처리하는 데 어려움을 겪습니다. 네트워크가 시간에 따라 역전파할 때 네트워크의 가중치를 업데이트하는 데 사용되는 값인 그래디언트가 기하급수적으로 작아져, 멀리 떨어진 사건 간의 연결을 학습하지 못할 수 있습니다. 즉, 표준 RNN은 직전 문장의 단어를 기억하면서도 세 단락 전에 형성된 문맥은 잊어버릴 수 있습니다. LSTM은 훨씬 더 긴 기간 동안 문맥 창을 유지할 수 있는 더 복잡한 내부 구조를 도입하여 이 문제를 해결하도록 설계되었습니다.

LSTM의 작동 방식#

LSTM의 핵심 개념은 셀 상태이며, 네트워크 전체 체인을 따라 이어지는 컨베이어 벨트에 비유되기도 합니다. 이 상태를 통해 정보가 변경되지 않은 채 흐르면서 장기 의존성이 보존됩니다. 네트워크는 게이트라고 불리는 구조를 사용해 셀 상태에서 어떤 정보를 저장하고, 업데이트하거나, 버릴지 결정합니다.

• 망각 게이트: 이 메커니즘은 더 이상 관련이 없어 셀 상태에서 제거해야 할 정보를 결정합니다. 예를 들어 언어 모델이 새로운 주제를 접하면 이전 주제의 성별을 '잊을' 수 있습니다.
• 입력 게이트: 이 게이트는 어떤 새로운 정보가 셀 상태에 저장할 만큼 중요한지 결정합니다.
• 출력 게이트: 마지막으로 이 게이트는 내부 상태의 어떤 부분을 다음 은닉 상태로 출력하고 즉각적인 예측에 사용할지 제어합니다.

정보 흐름을 조절함으로써 LSTM은 1,000단계를 넘는 시간 지연도 처리할 수 있으며, 시계열 분석이 필요한 작업에서 기존 RNN보다 훨씬 뛰어난 성능을 보입니다.

실제 적용 사례#

LSTM은 지난 10년 동안 딥러닝의 여러 주요 혁신을 뒷받침했습니다. 다음은 대표적인 응용 사례 두 가지입니다.

• 번역을 위한 시퀀스-투-시퀀스 모델링: LSTM은 기계 번역 시스템의 핵심 구성 요소입니다. 이 아키텍처에서는 하나의 LSTM(인코더)이 한 언어(예: 영어)의 입력 문장을 처리하여 문맥 벡터로 압축합니다. 두 번째 LSTM(디코더)은 이 벡터를 사용해 다른 언어(예: 프랑스어)로 번역문을 생성합니다. 서로 다른 길이의 입력 및 출력 시퀀스를 처리하는 이 기능은 자연어 처리(NLP)에 매우 중요합니다.
• 비디오 분석 및 동작 인식: ResNet-50과 같은 합성곱 신경망 (CNNs)은 정지 이미지에서 객체를 식별하는 데 뛰어나지만 시간에 대한 감각은 없습니다. CNN과 LSTM을 결합하면 AI 시스템은 비디오 스트림에서 동작 인식을 수행할 수 있습니다. CNN은 각 프레임에서 특징을 추출하고, LSTM은 이러한 특징의 시퀀스를 분석해 사람이 걷는지, 달리는지, 넘어지는지 판단합니다.

LSTM과 컴퓨터 비전의 통합#

최신 컴퓨터 비전에서는 LSTM을 강력한 특징 추출기와 함께 사용하는 경우가 많습니다. 예를 들어 YOLO 모델을 사용해 개별 프레임의 객체를 탐지하고, LSTM을 사용해 객체의 궤적을 추적하거나 향후 움직임을 예측할 수 있습니다.

다음은 torch을 사용해 동영상 스트림에서 추출한 특징 벡터 시퀀스를 처리할 수 있는 간단한 LSTM을 정의하는 개념적 예제입니다.

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

관련 개념 및 구분#

LSTM을 다른 시퀀스 처리 아키텍처와 구분해 이해하면 도움이 됩니다.

• LSTM과 GRU 비교: 게이트 순환 유닛(GRU)은 LSTM을 간소화한 변형입니다. GRU는 망각 게이트와 입력 게이트를 하나의 '업데이트 게이트'로 결합하고 셀 상태와 은닉 상태를 통합합니다. 따라서 GRU는 계산 효율이 높고 학습 속도가 빠르지만, 규모가 크고 복잡한 데이터셋에서는 LSTM이 여전히 더 나은 성능을 보일 수 있습니다.
• LSTM과 Transformer 비교: 순환 대신 셀프 어텐션 메커니즘을 사용하는 Transformer 아키텍처는 GPT-4가 수행하는 것과 같은 NLP 작업에서 LSTM을 대체하는 추세입니다. Transformer는 시퀀스를 순차적으로가 아니라 전체를 병렬로 처리하므로 대규모 데이터셋에서 훨씬 빠르게 학습할 수 있습니다. 그러나 데이터가 제한적이거나 어텐션 메커니즘의 오버헤드가 필요하지 않은 특정 시계열 제약이 있는 경우에는 LSTM이 여전히 유용합니다.

발전과 미래#

어텐션 메커니즘이 생성형 AI의 중심이 되었지만, LSTM은 특히 컴퓨팅 리소스가 제한적인 엣지 AI 환경에서 경량 애플리케이션을 위한 견고한 선택지로 계속 활용됩니다. 연구자들은 LSTM의 메모리 효율성과 최신 객체 탐지 시스템의 표현력을 결합한 하이브리드 아키텍처를 계속 연구하고 있습니다.

시퀀스 모델 또는 복잡한 비전 작업을 위한 데이터셋을 관리하려는 경우, Ultralytics Platform은 어노테이션 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다. 또한 LSTM의 작동 방식을 이해하면 자율주행차와 로보틱스에 사용되는 더 고급 시간 모델을 이해하는 데 탄탄한 기반이 됩니다.