Long Short-Term Memory（LSTM）

Long Short-Term Memory (LSTM) は、シーケンス予測問題における順序依存性を学習できる、リカレントニューラルネットワーク (RNN)の一種である特殊なアーキテクチャです。標準的なフィードフォワードニューラルネットワークとは異なり、LSTMはフィードバック接続を持ち、単一のデータポイント（画像など）だけでなく、データ全体のシーケンス（音声や動画など）を処理できます。この能力により、以前の入力からのコンテキストが現在のデータを理解するために不可欠なタスクに特に適しており、従来のRNNの「短期記憶」の限界に対処します。

標準RNNの問題点

LSTMの革新性を理解するには、基本的なリカレントニューラルネットワークが直面する課題を見ると役立ちます。RNNはシーケンシャル情報を処理するように設計されていますが、勾配消失問題のため、長いデータシーケンスに苦慮します。ネットワークが時間を遡って逆伝播するにつれて、ネットワークの重みを更新するために使用される勾配の値は指数関数的に小さくなり、遠く離れたイベント間の接続を学習するのを効果的に妨げます。これは、標準的なRNNが前の文の単語を記憶していても、3段落前に確立された文脈を忘れてしまう可能性があることを意味します。LSTMは、はるかに長い期間にわたってコンテキストウィンドウを維持できる、より複雑な内部構造を導入することで、この問題を解決するために明示的に設計されました。

LSTMの仕組み

LSTMの背後にある中核概念はセル状態であり、しばしばネットワークのチェーン全体を流れるコンベアベルトとして記述されます。この状態により、情報が変化せずに流れ続け、長期的な依存関係が保持されます。ネットワークは、ゲートと呼ばれる構造を使用して、このセル状態から何を保存、更新、または破棄するかについて決定します。

• Forget Gate: このメカニズムは、どの情報がもはや関連性がなく、セル状態から削除されるべきかを決定します。例えば、言語モデルが新しい主題に遭遇した場合、以前の主題の性別を「忘れる」ことがあります。
• 入力ゲート: このゲートは、どの新しい情報がセル状態に保存するのに十分重要であるかを決定します。
• 出力ゲート: 最後に、このゲートは内部状態のどの部分を次の隠れ状態に出力し、即時の予測に使用するかを制御します。

この情報フローを調整することで、LSTMは1,000ステップを超える時間遅延を埋めることができ、時系列分析を必要とするタスクにおいて、従来のRNNをはるかに上回ります。

実際のアプリケーション

LSTMは、過去10年間で深層学習における多くの主要なブレークスルーを牽引してきました。その応用例として、特に注目すべき2つを以下に示します。

• 翻訳におけるシーケンス・ツー・シーケンス・モデリング: LSTMは機械翻訳システムにとって不可欠です。このアーキテクチャでは、1つのLSTM（エンコーダ）が、ある言語（例：English）の入力文を処理し、それをコンテキストベクトルに圧縮します。次に、2番目のLSTM（デコーダ）がこのベクトルを使用して、別の言語（例：フランス語）で翻訳を生成します。異なる長さの入出力シーケンスを処理するこの能力は、自然言語処理（NLP）にとって極めて重要です。
• ビデオ分析と行動認識: ResNet-50のような畳み込みニューラルネットワーク（CNN）は静止画像内の物体識別には優れていますが、時間的な感覚がありません。CNNとLSTMを組み合わせることで、AIシステムはビデオストリーム内の行動認識を実行できます。CNNは各フレームから特徴を抽出し、LSTMはこれらの特徴のシーケンスを分析して、人物が歩いているか、走っているか、倒れているかを判断します。

LSTMとコンピュータービジョンの統合

現代のコンピュータビジョンでは、LSTMは強力な特徴抽出器と組み合わせて使用されることがよくあります。例えば、YOLOモデルを使用して個々のフレームでオブジェクトをdetectし、LSTMを使用してそれらの軌跡をtrackしたり、将来の動きを予測したりすることができます。

を使用した概念的な例です。 torch ビデオストリームから抽出された特徴ベクトルシーケンスを処理できるシンプルなLSTMを定義する。

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

関連する概念と区別

LSTMを他のシーケンス処理アーキテクチャと区別することは有用です。

• LSTM vs. GRU: Gated Recurrent Unit (GRU)は、LSTMの簡略化されたバリエーションです。GRUは忘却ゲートと入力ゲートを単一の「更新ゲート」に結合し、セル状態と隠れ状態をマージします。これにより、GRUは計算効率が高く、トレーニングが高速になりますが、LSTMsはより大規模で複雑なデータセットではGRUを上回る場合があります。
• LSTM vs. Transformers: Transformerアーキテクチャは、リカレンスではなく自己注意機構に依存しており、GPT-4が実行するようなNLPタスクにおいて、LSTMsを大部分において置き換えています。Transformerは、シーケンシャルではなく並列にシーケンス全体を処理できるため、大規模なデータセットでのトレーニングがはるかに高速になります。しかし、LSTMsは、データが限られている場合や、アテンション機構のオーバーヘッドが不要な特定の時系列制約があるシナリオでは依然として関連性があります。

進化と未来

アテンションメカニズムが生成AIの中心的な役割を担う一方で、LSTMは、特に計算リソースが制約されるエッジAI環境における軽量アプリケーションにとって、依然として堅牢な選択肢です。研究者は、LSTMのメモリ効率と現代の物体検出システムの表現力を組み合わせたハイブリッドアーキテクチャの探求を続けています。

シーケンスモデルや複雑なビジョンタスクの学習用データセットを管理したい方には、Ultralytics Platformがアノテーションとデータセット管理のための包括的なツールを提供します。さらに、LSTMの機能原理を理解することは、自動運転車やロボティクスで使用されるより高度な時系列モデルを把握するための強力な基盤となります。