Исчезающий градиент

Проблема исчезающего градиента — это распространенная проблема, возникающая во время обучения глубоких нейронных сетей. Она возникает, когда градиенты, которые являются сигналами, используемыми для обновления весов сети посредством обратного распространения, становятся чрезвычайно малыми, когда они распространяются от выходного слоя обратно к начальным слоям. Когда эти градиенты приближаются к нулю, веса начальных слоев не обновляются эффективно или не обновляются вообще. Это, по сути, останавливает процесс обучения для этих слоев, не позволяя модели глубокого обучения сойтись к оптимальному решению и учиться на данных.

Что вызывает исчезновение градиентов?

Основная причина исчезновения градиентов кроется в природе определенных функций активации и глубине самой сети.

• Функции активации: Традиционные функции активации, такие как функции сигмоиды и гиперболического тангенса (tanh), сжимают свой входной сигнал в очень маленький диапазон выходных значений. Производные этих функций малы. Во время обратного распространения эти малые производные перемножаются по многим слоям. Чем больше слоев в сети, тем больше перемножаются эти малые числа, в результате чего конечный градиент экспоненциально уменьшается до нуля.
• Глубокие архитектуры: Проблема особенно остро стоит в очень глубоких сетях, включая ранние рекуррентные нейронные сети (RNN), где градиенты распространяются обратно через множество временных шагов. Каждый шаг включает умножение, которое может уменьшить градиентный сигнал на длинных последовательностях.

Исчезающие градиенты против взрывающихся градиентов

Исчезающие градиенты — это противоположность взрывающимся градиентам. Обе проблемы связаны с потоком градиентов во время обучения, но они имеют разные эффекты:

• Исчезающие градиенты: Градиенты экспоненциально уменьшаются, пока не станут слишком малы, чтобы способствовать какому-либо значимому обучению в ранних слоях сети.
• Взрывные градиенты: Градиенты неконтролируемо увеличиваются, что приводит к массивным обновлениям весов, которые делают модель нестабильной и приводят к невозможности сходимости.

Решение обеих проблем имеет решающее значение для успешного обучения глубоких и мощных AI моделей.

Решения и стратегии смягчения последствий

Было разработано несколько методов для борьбы с проблемой исчезающего градиента:

• Улучшенные функции активации: Замена сигмоиды и гиперболического тангенса такими функциями, как ReLU (выпрямленный линейный элемент) или его варианты (Leaky ReLU, GELU), является распространенным решением. Производная ReLU равна 1 для положительных входов, что предотвращает уменьшение градиента.
• Продвинутые архитектуры: Архитектуры были разработаны специально для смягчения этой проблемы. Остаточные сети (ResNets) вводят «пропускные соединения», которые позволяют градиенту обходить слои, обеспечивая более короткий путь во время обратного распространения. Для последовательных данных сети Long Short-Term Memory (LSTM) и Gated Recurrent Unit (GRU) используют механизмы стробирования для управления потоком информации и градиентов, как подробно описано в оригинальной статье об LSTM и статье о GRU.
• Инициализация весов: Правильная инициализация весов сети, с использованием таких методов, как инициализация He или Xavier, может помочь обеспечить, чтобы градиенты начинались в разумном диапазоне. Дополнительную информацию об этом можно найти в обсуждениях лучших практик глубокого обучения.
• Пакетная нормализация: Применение пакетной нормализации помогает нормализовать входы для каждого слоя, что стабилизирует сеть и снижает зависимость от инициализации, тем самым смягчая проблему исчезающего градиента.

Реальное влияние и примеры

Преодоление исчезающих градиентов стало критическим прорывом для современного ИИ.

1. Обработка естественного языка (NLP): Ранние RNN не справлялись с такими задачами, как машинный перевод и анализ тональности длинных текстов, потому что они не могли запомнить информацию из начала длинного предложения. Изобретение LSTM и GRU позволило моделям фиксировать эти долгосрочные зависимости. Современные архитектуры, такие как Transformer, используют само-внимание, чтобы полностью обойти проблему последовательного градиента, что приводит к современной производительности.
2. Компьютерное зрение: Когда-то считалось, что простое углубление сверточных нейронных сетей (CNN) не улучшит производительность из-за трудностей обучения, таких как исчезающие градиенты. Внедрение архитектур ResNet доказало обратное, позволив создавать сети с сотнями слоев. Это привело к крупным достижениям в классификации изображений, сегментации изображений и обнаружении объектов, сформировав основу для таких моделей, как Ultralytics YOLO. Обучение этих моделей часто включает в себя большие наборы данных компьютерного зрения, и ими можно управлять на платформах, таких как Ultralytics HUB.