Long Short-Term Memory (LSTM)

Long Short-Term Memory(LSTM)은 시퀀스 예측 문제에서 순서 의존성을 학습할 수 있는 순환 신경망(RNN) 아키텍처의 특수 유형입니다. 일반적인 피드포워드 신경망과 달리 LSTM에는 이미지와 같은 단일 데이터 포인트뿐만 아니라 음성이나 비디오와 같은 데이터 시퀀스 전체를 처리할 수 있는 피드백 연결이 있습니다. 이러한 기능 덕분에 LSTM은 이전 입력의 컨텍스트가 현재 데이터를 이해하는 데 중요한 작업에 특히 적합하며, 기존 RNN의 "단기 기억" 한계를 해결합니다.

Link to this section표준 RNN의 문제점#

LSTM의 혁신을 이해하려면 기본 순환 신경망(RNN)이 직면한 과제를 살펴보는 것이 도움이 됩니다. RNN은 순차적인 정보를 처리하도록 설계되었지만, 기울기 소실(vanishing gradient) 문제로 인해 긴 데이터 시퀀스를 처리하는 데 어려움을 겪습니다. 네트워크가 시간을 거슬러 역전파할 때 네트워크의 가중치를 업데이트하는 데 사용되는 값인 기울기가 기하급수적으로 작아질 수 있으며, 이는 결과적으로 네트워크가 먼 사건 간의 연결을 학습하는 것을 방해합니다. 즉, 표준 RNN은 이전 문장의 단어는 기억할 수 있지만 세 문단 전에 설정된 문맥은 잊어버릴 수 있습니다. LSTM은 훨씬 더 긴 기간 동안 컨텍스트 윈도우(context window)를 유지할 수 있는 더 복잡한 내부 구조를 도입하여 이 문제를 해결하도록 명시적으로 설계되었습니다.

Link to this sectionLSTM의 작동 원리#

LSTM의 핵심 개념은 네트워크 전체 체인을 통과하는 컨베이어 벨트로 자주 묘사되는 셀 상태(cell state)입니다. 이 상태를 통해 정보가 변경되지 않은 채 흐를 수 있어 장기 의존성을 보존합니다. 네트워크는 게이트(gates)라고 불리는 구조를 사용하여 이 셀 상태에서 무엇을 저장, 업데이트 또는 폐기할지 결정합니다.

• 망각 게이트(Forget Gate): 이 메커니즘은 더 이상 관련이 없으므로 셀 상태에서 제거해야 할 정보를 결정합니다. 예를 들어, 언어 모델이 새로운 주제를 접하면 이전 주제의 성별을 "잊을" 수 있습니다.
• 입력 게이트(Input Gate): 이 게이트는 어떤 새로운 정보가 셀 상태에 저장될 만큼 중요한지 결정합니다.
• 출력 게이트(Output Gate): 마지막으로 이 게이트는 내부 상태 중 어떤 부분을 다음 은닉 상태(hidden state)로 출력하고 즉각적인 예측에 사용할지 제어합니다.

이러한 정보 흐름을 조절함으로써 LSTM은 1,000단계 이상의 시간 지연을 연결할 수 있으며, 시계열 분석(time series analysis)이 필요한 작업에서 기존 RNN보다 훨씬 뛰어난 성능을 발휘합니다.

Link to this section실제 애플리케이션 사례#

LSTM은 지난 10년간 딥러닝(deep learning)의 많은 주요 돌파구를 마련했습니다. 다음은 그 응용 사례 중 두 가지입니다.

• 번역에서의 시퀀스-투-시퀀스 모델링: LSTM은 기계 번역(machine translation) 시스템의 근간입니다. 이 아키텍처에서 하나의 LSTM(인코더)은 한 언어(예: 영어)의 입력 문장을 처리하여 컨텍스트 벡터로 압축합니다. 그런 다음 두 번째 LSTM(디코더)이 이 벡터를 사용하여 다른 언어(예: 프랑스어)로 번역을 생성합니다. 길이가 다른 입력 및 출력 시퀀스를 처리하는 이 기능은 자연어 처리(NLP)에 매우 중요합니다.
• 비디오 분석 및 활동 인식: ResNet-50과 같은 합성곱 신경망(CNN)은 정적 이미지에서 객체를 식별하는 데 탁월하지만 시간 개념이 부족합니다. CNN과 LSTM을 결합함으로써 AI 시스템은 비디오 스트림에서 동작 인식(action recognition)을 수행할 수 있습니다. CNN은 각 프레임에서 특징을 추출하고, LSTM은 이러한 특징 시퀀스를 분석하여 사람이 걷고 있는지, 달리고 있는지, 넘어지고 있는지 판단합니다.

Link to this section컴퓨터 비전과 LSTM 통합#

현대 컴퓨터 비전(computer vision)에서 LSTM은 강력한 특징 추출기와 함께 자주 사용됩니다. 예를 들어, YOLO 모델을 사용하여 개별 프레임의 객체를 감지하고 LSTM을 사용하여 해당 객체의 궤적을 추적하거나 미래의 움직임을 예측할 수 있습니다.

다음은 비디오 스트림에서 추출된 특징 벡터 시퀀스를 처리할 수 있는 간단한 LSTM을 정의하기 위해 torch를 사용하는 개념적 예시입니다.

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Link to this section관련 개념 및 차이점#

LSTM을 다른 시퀀스 처리 아키텍처와 구별하는 것이 도움이 됩니다.

• LSTM vs. GRU: 게이트 순환 유닛(GRU)은 LSTM의 단순화된 변형입니다. GRU는 망각 게이트와 입력 게이트를 하나의 "업데이트 게이트"로 결합하고 셀 상태와 은닉 상태를 병합합니다. 이로 인해 GRU는 계산 효율성이 더 높고 학습 속도가 빠르지만, 더 크고 복잡한 데이터셋에서는 여전히 LSTM이 더 나은 성능을 보일 수 있습니다.
• LSTM vs. Transformers: The Transformer architecture, which relies on self-attention mechanisms rather than recurrence, has largely superseded LSTMs in NLP tasks like those performed by GPT-4. Transformers can process entire sequences in parallel rather than sequentially, allowing for much faster training on massive datasets. However, LSTMs remain relevant in scenarios with limited data or specific time-series constraints where the overhead of attention mechanisms is unnecessary.

Link to this section진화와 미래#

어텐션 메커니즘(attention mechanism)이 생성형 AI(generative AI)의 중심이 되었지만, LSTM은 특히 계산 자원이 제한적인 엣지 AI(edge AI) 환경에서 더 가벼운 애플리케이션을 위한 강력한 선택지로 남아 있습니다. 연구자들은 LSTM의 메모리 효율성과 현대적인 객체 탐지(object detection) 시스템의 표현력을 결합한 하이브리드 아키텍처를 계속 탐구하고 있습니다.

시퀀스 모델 학습이나 복잡한 비전 작업을 위한 데이터셋 관리를 원하는 사용자를 위해 Ultralytics Platform은 주석 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다. 또한 LSTM의 작동 방식을 이해하는 것은 자율 주행차(autonomous vehicles) 및 로봇 공학에 사용되는 고급 시간 모델을 파악하기 위한 강력한 기반을 제공합니다.