Long Short-Term Memory (LSTM)

長短期記憶 (LSTM) は、系列予測問題における順序依存性を学習できる、特殊なタイプのリカレントニューラルネットワーク (RNN)アーキテクチャです。標準的なフィードフォワードニューラルネットワークとは異なり、LSTMにはフィードバック接続があるため、単一のデータポイント（画像など）だけでなく、データの系列全体（音声や動画など）も処理できます。この能力により、現在のデータを理解するうえで以前の入力から得られるコンテキストが重要なタスクに特に適しており、従来のRNNが抱える「短期記憶」の制限に対処できます。

標準的なRNNの課題#

LSTMの革新性を理解するには、基本的なリカレントニューラルネットワークが直面する課題に注目するとよいでしょう。RNNは系列情報を扱うように設計されていますが、勾配消失問題により、長いデータ系列の処理に苦労します。ネットワークが時間方向にバックプロパゲーションを行うと、ネットワークの重みを更新するために使用される勾配（値）が指数関数的に小さくなり、離れたイベント間のつながりをネットワークが学習できなくなることがあります。つまり、標準的なRNNは直前の文の単語を覚えていても、3段落前に確立されたコンテキストを忘れてしまう可能性があります。LSTMは、はるかに長い期間にわたってコンテキストウィンドウを維持できる、より複雑な内部構造を導入することで、この問題を解決するために明示的に設計されました。

LSTMの仕組み#

LSTMの中核となる概念はセル状態であり、ネットワーク全体のチェーンを通るベルトコンベアにたとえられることがよくあります。この状態に沿って情報を変更せずに流すことで、長期的な依存関係を保持できます。ネットワークは、ゲートと呼ばれる構造を使用して、このセル状態に何を保存、更新、破棄するかを決定します。

• 忘却ゲート: このメカニズムは、もはや関連性がなく、セル状態から削除すべき情報を決定します。たとえば、言語モデルが新しい主語に遭遇した場合、以前の主語の性別を「忘れる」ことがあります。
• 入力ゲート: このゲートは、セル状態に保存するのに十分な重要性を持つ新しい情報を決定します。
• 出力ゲート: 最後に、このゲートは内部状態のどの部分を次の隠れ状態に出力し、即時の予測に使用するかを制御します。

この情報の流れを調整することで、LSTMは1,000ステップを超える時間遅延にも対応でき、時系列分析を必要とするタスクでは従来のRNNを大幅に上回る性能を発揮します。

実世界での利用例#

LSTMは、過去10年間におけるディープラーニングの主要なブレークスルーの多くを支えてきました。ここでは、その応用例として代表的なものを2つ紹介します。

• 翻訳における系列間モデル: LSTMは機械翻訳システムの基盤となっています。このアーキテクチャでは、1つ目のLSTM（エンコーダー）がある言語（例: 英語）の入力文を処理し、コンテキストベクトルに圧縮します。次に、2つ目のLSTM（デコーダー）がこのベクトルを使用して、別の言語（例: フランス語）への翻訳を生成します。長さの異なる入力系列と出力系列を扱えるこの能力は、自然言語処理 (NLP)にとって重要です。
• 動画分析とアクティビティ認識: ResNet-50のような畳み込みニューラルネットワーク (CNN) は静止画像内の物体の識別に優れていますが、時間の概念を持ちません。CNNとLSTMを組み合わせることで、AIシステムは動画ストリーム内でアクション認識を実行できます。CNNは各フレームから特徴を抽出し、LSTMはそれらの特徴の系列を分析して、人物が歩いているのか、走っているのか、倒れているのかを判断します。

LSTMとコンピュータービジョンの統合#

最新のコンピュータービジョンでは、LSTMは強力な特徴抽出器と組み合わせて使用されることがよくあります。たとえば、YOLOモデルを使用して個々のフレーム内の物体を検出し、LSTMを使用してその軌跡を追跡したり、将来の動きを予測したりできます。

ここでは、動画ストリームから抽出した特徴ベクトルの系列を処理できる、シンプルなLSTMを定義するためにtorchを使用した概念例を示します。

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

関連する概念と違い#

LSTMを他の系列処理アーキテクチャと区別して理解すると役立ちます。

• LSTMとGRU: ゲート付きリカレントユニット (GRU)は、LSTMを簡略化したバリエーションです。GRUは忘却ゲートと入力ゲートを1つの「更新ゲート」に統合し、セル状態と隠れ状態を統合します。これにより、GRUは計算効率が高く、学習も高速になりますが、より大規模で複雑なデータセットではLSTMのほうが優れた性能を発揮する場合があります。
• LSTMとTransformer: Transformerアーキテクチャは、再帰ではなく自己注意メカニズムに依存しており、GPT-4などが実行するNLPタスクでは、LSTMに大きく取って代わっています。Transformerは系列全体を逐次的ではなく並列に処理できるため、大規模なデータセットでの学習を大幅に高速化できます。ただし、データが限られているシナリオや、注意メカニズムのオーバーヘッドが不要な特定の時系列上の制約がある場合には、LSTMは依然として有効です。

進化と将来#

注意メカニズムが生成AIの中心的な役割を担うようになった一方で、LSTMは軽量なアプリケーション、特に計算リソースが限られているエッジAI環境において、堅牢な選択肢であり続けています。研究者は、LSTMのメモリ効率と、最新の物体検出システムの表現力を組み合わせたハイブリッドアーキテクチャの研究を続けています。

系列モデルのトレーニングや複雑なビジョンタスク向けのデータセット管理を検討している方には、Ultralytics Platformがアノテーションとデータセット管理のための包括的なツールを提供します。さらに、LSTMの仕組みを理解することは、自動運転車やロボティクスで使用される、より高度な時間モデルを理解するための強固な基盤となります。