Long Short-Term Memory (LSTM)

Long Short-Term Memory (LSTM) — это специализированный тип архитектуры recurrent neural network (RNN), способный изучать зависимость от порядка в задачах прогнозирования последовательностей. В отличие от стандартных нейронных сетей прямого распространения, LSTM имеют обратные связи, которые позволяют им обрабатывать не только отдельные точки данных (например, изображения), но и целые последовательности данных (например, речь или видео). Эта способность делает их уникально подходящими для задач, где контекст из предыдущих входных данных имеет решающее значение для понимания текущих данных, устраняя ограничения «кратковременной памяти» традиционных RNN.

Проблема стандартных RNN#

Чтобы понять инновационность LSTM, полезно взглянуть на проблемы, с которыми сталкиваются базовые recurrent neural networks. Хотя RNN предназначены для работы с последовательной информацией, они испытывают трудности с длинными последовательностями данных из-за проблемы vanishing gradient. По мере того как сеть выполняет обратное распространение во времени, градиенты — значения, используемые для обновления весов сети, — могут становиться экспоненциально меньше, что фактически мешает сети изучать связи между удаленными событиями. Это означает, что стандартная RNN может запомнить слово из предыдущего предложения, но забыть контекст, установленный тремя абзацами ранее. LSTM были специально разработаны для решения этой проблемы путем внедрения более сложной внутренней структуры, способной поддерживать context window в течение гораздо более длительных периодов времени.

Как работают LSTM#

Основная концепция LSTM — это состояние ячейки, часто описываемое как конвейерная лента, проходящая через всю цепь сети. Это состояние позволяет информации проходить вдоль нее без изменений, сохраняя долгосрочные зависимости. Сеть принимает решения о том, что хранить, обновлять или удалять из этого состояния ячейки, используя структуры, называемые вентилями.

• Вентиль забывания (Forget Gate): Этот механизм решает, какая информация больше не актуальна и должна быть удалена из состояния ячейки. Например, если языковая модель сталкивается с новым подлежащим, она может «забыть» род предыдущего подлежащего.
• Вентиль ввода (Input Gate): Этот вентиль определяет, какая новая информация достаточно важна, чтобы быть сохраненной в состоянии ячейки.
• Вентиль вывода (Output Gate): Наконец, этот вентиль контролирует, какие части внутреннего состояния должны быть переданы на следующий скрытый слой и использованы для немедленного прогнозирования.

Регулируя этот поток информации, LSTM могут преодолевать временные лаги более чем в 1000 шагов, значительно превосходя обычные RNN в задачах, требующих time series analysis.

Реальные приложения#

LSTM стали основой многих крупных прорывов в области deep learning за последнее десятилетие. Вот два ярких примера их применения:

• Моделирование «последовательность в последовательность» при переводе: LSTM играют фундаментальную роль в системах machine translation. В этой архитектуре одна LSTM (кодер) обрабатывает входное предложение на одном языке (например, на английском) и сжимает его в вектор контекста. Вторая LSTM (декодер) затем использует этот вектор для генерации перевода на другой язык (например, на французский). Эта способность обрабатывать входные и выходные последовательности разной длины имеет решающее значение для natural language processing (NLP).
• Видеоанализ и распознавание активности: В то время как сверточные нейронные сети (CNN), такие как ResNet-50, превосходно справляются с распознаванием объектов на статичных изображениях, им не хватает чувства времени. Объединяя CNN с LSTM, системы ИИ могут выполнять action recognition в видеопотоках. CNN извлекает признаки из каждого кадра, а LSTM анализирует последовательность этих признаков, чтобы определить, идет ли человек, бежит или падает.

Интеграция LSTM с компьютерным зрением#

В современном computer vision LSTM часто используются вместе с мощными извлекателями признаков. Например, ты можешь использовать модель YOLO для обнаружения объектов в отдельных кадрах и LSTM для отслеживания их траекторий или прогнозирования будущего движения.

Вот концептуальный пример с использованием torch для определения простой LSTM, которая могла бы обрабатывать последовательность векторов признаков, извлеченных из видеопотока:

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Связанные концепции и различия#

Полезно отличать LSTM от других архитектур обработки последовательностей:

• LSTM против GRU: Gated Recurrent Unit (GRU) — это упрощенная вариация LSTM. В GRU вентили забывания и входа объединены в один «вентиль обновления», а состояние ячейки и скрытое состояние слиты воедино. Это делает GRU более эффективными с точки зрения вычислений и более быстрыми в обучении, хотя LSTM все еще могут превосходить их на более крупных и сложных наборах данных.
• LSTM против Transformers: Архитектура Transformer, которая опирается на механизмы self-attention, а не на рекуррентность, в значительной степени вытеснила LSTM в задачах NLP, подобных тем, что выполняются GPT-4. Transformers могут обрабатывать целые последовательности параллельно, а не последовательно, что позволяет значительно ускорить обучение на массивных наборах данных. Тем не менее, LSTM остаются актуальными в сценариях с ограниченными данными или специфическими ограничениями временных рядов, где накладные расходы механизмов внимания излишни.

Эволюция и будущее#

Хотя attention mechanism вышел на передний план в generative AI, LSTM продолжают оставаться надежным выбором для более легких приложений, особенно в средах edge AI, где вычислительные ресурсы ограничены. Исследователи продолжают изучать гибридные архитектуры, которые сочетают в себе эффективность памяти LSTM с репрезентативной мощью современных систем object detection.

Для тех, кто хочет управлять наборами данных для обучения моделей последовательностей или сложных задач компьютерного зрения, Ultralytics Platform предлагает комплексные инструменты для аннотирования и управления наборами данных. Кроме того, понимание того, как функционируют LSTM, обеспечивает прочную основу для освоения более продвинутых темпоральных моделей, используемых в autonomous vehicles и робототехнике.