Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) は、シーケンス予測問題における順序依存関係を学習できる、特殊なリカレントニューラルネットワーク (RNN) アーキテクチャです。標準的なフィードフォワードニューラルネットワークとは異なり、LSTMにはフィードバック接続があり、単一のデータポイント（画像など）だけでなく、データシーケンス全体（音声やビデオなど）を処理できます。この能力により、過去の入力からの文脈が現在のデータを理解するために不可欠なタスクにおいて非常に適しており、従来のRNNの「短期記憶」の制限に対処しています。

Link to this section標準的なRNNの問題点#

LSTMの革新性を理解するには、基本的なリカレントニューラルネットワークが直面する課題を見るのが役立ちます。RNNはシーケンシャルな情報を扱うように設計されていますが、勾配消失問題のために長いデータシーケンスを扱うのに苦労します。ネットワークが時間を遡ってバックプロパゲーションを行う際、ネットワークの重みを更新するために使用される値である勾配が指数関数的に小さくなり、離れたイベント間の接続を学習できなくなる可能性があります。つまり、標準的なRNNは前の文の単語は覚えていても、3段落前に確立された文脈を忘れてしまうことがあります。LSTMは、より長い期間にわたってコンテキストウィンドウを維持できる複雑な内部構造を導入することで、この問題を解決するために明確に設計されました。

Link to this sectionLSTMの仕組み#

LSTMの背後にある核となる概念はセルステートであり、これはネットワークのチェーン全体を通るコンベアベルトのように説明されることがよくあります。このステートにより、情報が変更されずに流れ、長期的な依存関係が保持されます。ネットワークは、「ゲート」と呼ばれる構造を使用して、このセルステートから何を保存し、更新し、破棄するかを決定します。

• 忘却ゲート: このメカニズムは、どの情報がもはや関連性がなく、セルステートから削除されるべきかを決定します。例えば、言語モデルが新しい被験者に遭遇した場合、前の被験者の性別を「忘れる」ことがあります。
• 入力ゲート: このゲートは、どの新しい情報が重要であり、セルステートに保存すべきかを決定します。
• 出力ゲート: 最後に、このゲートは内部ステートのどの部分を次の隠れステートに出力し、直近の予測に使用するかを制御します。

このように情報の流れを調整することで、LSTMは1,000ステップを超えるタイムラグを克服でき、時系列分析を必要とするタスクにおいて従来のRNNをはるかに上回るパフォーマンスを発揮します。

Link to this section実社会での応用#

LSTMは過去10年間のディープラーニングにおける多くの主要なブレークスルーを支えてきました。以下に、その代表的な応用例を2つ挙げます。

• 翻訳におけるシーケンス・ツー・シーケンスモデリング: LSTMは機械翻訳システムの基礎となっています。このアーキテクチャでは、1つのLSTM（エンコーダー）がある言語（英語など）の入力文を処理し、コンテキストベクトルに圧縮します。次に、2つ目のLSTM（デコーダー）がこのベクトルを使用して別の言語（フランス語など）で翻訳を生成します。このように異なる長さの入力シーケンスと出力シーケンスを処理する能力は、自然言語処理 (NLP)において非常に重要です。
• ビデオ分析と行動認識: ResNet-50 のような畳み込みニューラルネットワーク (CNN) は静止画内のオブジェクトを識別するのには優れていますが、時間の感覚がありません。CNNとLSTMを組み合わせることで、AIシステムはビデオストリーム内で行動認識を実行できます。CNNは各フレームから特徴を抽出し、LSTMはそれらの特徴のシーケンスを分析して、人物が歩いているか、走っているか、転んでいるかを判断します。

Link to this sectionLSTMとコンピュータビジョンの統合#

現代のコンピュータビジョンでは、LSTMは強力な特徴抽出器と併用されることがよくあります。例えば、YOLOモデルを使用して個々のフレーム内のオブジェクトを検出し、LSTMを使用してそれらの軌跡を追跡したり、将来の動きを予測したりすることができます。

以下は、torchを使用して、ビデオストリームから抽出された特徴ベクトルシーケンスを処理できる単純なLSTMを定義する概念的な例です。

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Link to this section関連する概念と区別#

LSTMを他のシーケンス処理アーキテクチャと区別すると理解しやすくなります。

• LSTMとGRUの比較: ゲート付きリカレントユニット (GRU) は、LSTMを簡略化したバリエーションです。GRUは忘却ゲートと入力ゲートを1つの「更新ゲート」に統合し、セルステートと隠れステートをマージします。これによりGRUは計算効率が高くトレーニングも速くなりますが、より大規模で複雑なデータセットではLSTMの方が優れたパフォーマンスを発揮する場合があります。
• LSTM vs. Transformers: The Transformer architecture, which relies on self-attention mechanisms rather than recurrence, has largely superseded LSTMs in NLP tasks like those performed by GPT-4. Transformers can process entire sequences in parallel rather than sequentially, allowing for much faster training on massive datasets. However, LSTMs remain relevant in scenarios with limited data or specific time-series constraints where the overhead of attention mechanisms is unnecessary.

Link to this section進化と未来#

注意メカニズム が生成AIの中心的存在となっていますが、LSTMは、特に計算リソースが制限されているエッジAI環境において、軽量なアプリケーションのための堅牢な選択肢であり続けています。研究者は、LSTMのメモリ効率と現代のオブジェクト検出システムの表現力を組み合わせたハイブリッドアーキテクチャの研究を続けています。

シーケンスモデルや複雑なビジョンタスクをトレーニングするためのデータセットを管理したいと考えている方にとって、Ultralytics Platform は、アノテーションとデータセット管理のための包括的なツールを提供しています。さらに、LSTMがどのように機能するかを理解することは、自動運転車やロボット工学で使用されるより高度な時間モデルを把握するための強力な基盤となります。