Long Short-Term Memory (LSTM)

Долговременная краткосрочная память (LSTM) — это специализированный тип архитектуры рекуррентной нейронной сети (RNN), способный обучаться зависимостям порядка в задачах прогнозирования последовательностей. В отличие от стандартных полносвязных нейронных сетей, LSTM имеют обратные связи, которые позволяют им обрабатывать не только отдельные точки данных (например, изображения), но и целые последовательности данных (например, речь или видео). Благодаря этой возможности они особенно хорошо подходят для задач, в которых контекст предыдущих входных данных имеет решающее значение для понимания текущих данных, устраняя ограничения «кратковременной памяти» традиционных RNN.

Проблема стандартных RNN#

Чтобы понять инновационность LSTM, полезно рассмотреть проблемы, с которыми сталкиваются базовые рекуррентные нейронные сети. Хотя RNN предназначены для работы с последовательной информацией, им трудно обрабатывать длинные последовательности данных из-за проблемы исчезающего градиента. При обратном распространении ошибки во времени градиенты — значения, используемые для обновления весов сети, — могут экспоненциально уменьшаться, фактически не позволяя сети обучаться связям между отдалёнными событиями. Это означает, что стандартная RNN может запомнить слово из предыдущего предложения, но забыть контекст, установленный тремя абзацами ранее. LSTM были специально разработаны для решения этой проблемы: в них введена более сложная внутренняя структура, способная поддерживать контекстное окно в течение гораздо более длительного времени.

Как работают LSTM#

Основная концепция LSTM — это состояние ячейки, которое часто описывают как конвейерную ленту, проходящую через всю цепочку сети. Это состояние позволяет информации проходить по ней без изменений, сохраняя долгосрочные зависимости. Сеть принимает решения о том, что сохранить, обновить или удалить из состояния ячейки, используя структуры, называемые вентилями.

• Вентиль забывания: этот механизм определяет, какая информация больше не актуальна и должна быть удалена из состояния ячейки. Например, если языковая модель встречает новый субъект, она может «забыть» род предыдущего субъекта.
• Входной вентиль: этот вентиль определяет, какая новая информация достаточно значима, чтобы сохранить её в состоянии ячейки.
• Выходной вентиль: наконец, этот вентиль управляет тем, какие части внутреннего состояния следует передать в следующее скрытое состояние и использовать для непосредственного прогнозирования.

Регулируя этот поток информации, LSTM могут обрабатывать временные задержки длительностью более 1 000 шагов, значительно превосходя обычные RNN в задачах, требующих анализа временных рядов.

Практические применения#

LSTM обеспечили многие из крупнейших прорывов в области глубокого обучения за последнее десятилетие. Ниже приведены два ярких примера их применения:

• Моделирование последовательность-в-последовательность в переводе: LSTM лежат в основе систем машинного перевода. В этой архитектуре один LSTM (кодировщик) обрабатывает входное предложение на одном языке (например, английском) и сжимает его в контекстный вектор. Затем второй LSTM (декодировщик) использует этот вектор для создания перевода на другом языке (например, французском). Возможность обрабатывать входные и выходные последовательности разной длины имеет решающее значение для обработки естественного языка (NLP).
• Анализ видео и распознавание действий: хотя сверточные нейронные сети (CNNs), такие как ResNet-50, отлично распознают объекты на статичных изображениях, им не хватает ощущения времени. Объединяя CNNs с LSTM, системы AI могут выполнять распознавание действий в видеопотоках. CNN извлекает признаки из каждого кадра, а LSTM анализирует последовательность этих признаков, чтобы определить, идёт ли человек, бежит или падает.

Интеграция LSTM с компьютерным зрением#

В современном компьютерном зрении LSTM часто используются вместе с мощными экстракторами признаков. Например, ты можешь использовать модель YOLO для обнаружения объектов в отдельных кадрах, а LSTM — для отслеживания их траекторий или прогнозирования будущего движения.

Ниже приведён концептуальный пример использования torch для определения простой LSTM, которая может обрабатывать последовательность векторов признаков, извлечённых из видеопотока:

import torch
import torch.nn as nn

# Define an LSTM model for processing sequential video features
# Input size: 512 (e.g., features from a CNN), Hidden size: 128
lstm_model = nn.LSTM(input_size=512, hidden_size=128, num_layers=2, batch_first=True)

# Simulate a batch of video sequences: 8 videos, 10 frames each, 512 features per frame
video_features = torch.randn(8, 10, 512)

# Pass the sequence through the LSTM
output, (hidden_state, cell_state) = lstm_model(video_features)

print(f"Output shape: {output.shape}")  # Shape: [8, 10, 128]
print("LSTM successfully processed the temporal sequence.")

Связанные концепции и различия#

Полезно отличать LSTM от других архитектур обработки последовательностей:

• LSTM и GRU: управляемый рекуррентный блок (GRU) — это упрощённая разновидность LSTM. GRU объединяют вентили забывания и входные вентили в один «вентиль обновления», а также объединяют состояние ячейки и скрытое состояние. Благодаря этому GRU вычислительно эффективнее и быстрее обучаются, хотя LSTM всё ещё могут превосходить их на больших и более сложных наборах данных.
• LSTM и Transformer: архитектура Transformer, которая использует механизмы самовнимания, а не рекуррентность, в значительной степени вытеснила LSTM в задачах NLP, например тех, которые выполняет GPT-4. Transformer могут обрабатывать целые последовательности параллельно, а не последовательно, что обеспечивает гораздо более быстрое обучение на огромных наборах данных. Однако LSTM по-прежнему актуальны в сценариях с ограниченным объёмом данных или специфическими ограничениями временных рядов, когда накладные расходы механизмов внимания не оправданы.

Эволюция и будущее#

Хотя механизм внимания вышел на первый план в области генеративного AI, LSTM остаются надёжным выбором для облегчённых приложений, особенно в средах периферийного AI, где вычислительные ресурсы ограничены. Исследователи продолжают изучать гибридные архитектуры, объединяющие эффективность LSTM в работе с памятью и способность современных систем обнаружения объектов формировать представления.

Если тебе нужно управлять наборами данных для обучения моделей последовательностей или решения сложных задач компьютерного зрения, Ultralytics Platform предлагает комплексные инструменты для аннотирования и управления наборами данных. Кроме того, понимание принципов работы LSTM создаёт прочную основу для изучения более продвинутых временных моделей, используемых в автономных транспортных средствах и робототехнике.