長期短期記憶（LSTM）

LSTMの仕組み

従来のRNNは、シーケンスの初期段階からの情報がネットワークを伝搬するにつれて消えていき、長い間隔での依存関係を学習することが難しくなるという、勾配の消失問題に苦戦していた。LSTMは、メモリセルとゲートを含む独自の構造を用いてこの問題に対処する。

コア・コンポーネントはメモリー・セルで、ベルトコンベアーのような役割を果たし、情報が比較的変化せずにネットワーク内を流れるようにする。LSTMは主に3つの「ゲート」を使って、メモリセルに格納された情報を制御する：

1. 忘却ゲート：セルの状態からどの情報を捨てるかを決める。
2. 入力ゲート：どの新しい情報をセル状態に格納するかを決定する。
3. 出力ゲート：セル状態のどの部分を出力するかを決める。

シグモイドや tanhのような活性化関数を用いて実装されたこれらのゲートは、各時間ステップで、どの情報を残すべきか、あるいは捨てるべきかを学習する。

実世界での応用

LSTMは、配列モデリングを必要とする多くの領域で応用され、成功を収めている：

• 自然言語処理（NLP）：LSTMは、機械翻訳（例えば、意味を保ちながら長い文章を翻訳する）、感情分析（テキストで表現された意見を理解する）、言語モデリングなどのタスクに優れている。例えば、LSTMはテキストの段落を処理して全体的なセンチメントを理解し、最後の意味に影響する重要なフレーズを最初から記憶することができます。
• 音声認識：音声信号の時間的依存関係をモデル化することで、話し言葉をテキストに変換するために使用される。LSTMベースのシステムは、時間の経過に伴う音のシーケンスを考慮することで、単語やフレーズを認識することができ、長距離のコンテキストを捉えないモデルに比べて精度が向上する。グーグルの音声認識システムは、これまでLSTMを利用してきた。
• 時系列分析：LSTMは、株価、天候パターン、エネルギー消費など、過去のデータに基づいて将来の値を予測するために応用される。長期的なトレンドを記憶する能力があるため、複雑な予測モデリングに適している。
• ビデオ解析：LSTMはビデオフレームのシーケンスを処理して、時間経過とともに発生するアクションやイベントを理解することができ、アクティビティ認識などのアプリケーションに貢献する。

LSTMと関連アーキテクチャの比較

強力ではあるが、LSTMはより広範なシーケンスモデル・ファミリーの一部である：

• RNN：LSTMはRNNの一種で、単純なRNNが抱える短期記憶の問題を回避するために特別に設計されている。
• ゲーテッド・リカレント・ユニット（GRU）：GRUはLSTMのバリエーションで、よりシンプルなアーキテクチャ（ゲート数が少ない）を持つ。特定のタスクではLSTMに匹敵する性能を発揮することが多いが、計算量は少ない。
• トランスフォーマー後に導入されたトランスフォーマーは、再帰ではなく注意メカニズムに依存している。多くの自然言語処理タスク、特にGPT-4のような大規模言語モデル（LLM）において、最先端のパフォーマンスでLSTMを大きく上回っている。Longformerのようなアーキテクチャは、非常に長いシーケンスに対するTransformerの能力をさらに拡張する。

実装とツール

LSTMは、PyTorch（PyTorch LSTMのドキュメントを参照）やTensorFlow（TensorFlow LSTMのドキュメントを参照）などの一般的なディープラーニングフレームワークを使用して容易に実装することができます。Ultralyticsは、主にオブジェクト検出や インスタンス分割などのタスクのためのUltralytics YOLOのようなコンピュータビジョン（CV）モデルに焦点を当てていますが、シーケンスモデルを理解することは、特にビデオ理解や画像キャプションのようなタスクのためのNLPとCVの橋渡しを探求する研究において貴重です。さまざまなMLモデルと概念については、Ultralyticsのドキュメントを参照してください。様々なモデルのトレーニングと デプロイの管理は、Ultralytics HUBのようなプラットフォームを使って効率化できます。HochreiterとSchmidhuberによるLSTMの基礎的な論文は、オリジナルの技術的な詳細を提供しています。DeepLearning.AIのようなリソースは、LSTMを含むシーケンスモデルをカバーするコースを提供しています。