Tanh (гиперболический тангенс)

Tanh (гиперболический тангенс) - это широко используемая функция активации в нейронных сетях. Это математическая функция, которая сжимает входные значения в диапазон от -1 до 1. Визуально она создает кривую в форме буквы "S", похожую на сигмоидную функцию. Ее ключевая особенность заключается в том, что ее выход ориентирован на ноль, то есть отрицательные входы отображаются на отрицательные выходы, а положительные входы - на положительные выходы. Это свойство может помочь ускорить сходимость алгоритмов оптимизации, таких как градиентный спуск, в процессе обучения модели.

Как работает Tanh

В модели глубокого обучения функция активации решает, активировать нейрон или нет, вычисляя взвешенную сумму и добавляя к ней смещение. Функция Tanh берет любое вещественное число и отображает его в диапазон [-1, 1]. Большие положительные значения отображаются близко к 1, большие отрицательные значения - близко к -1, а значения, близкие к нулю, отображаются на значения, близкие к нулю. Эта нуль-центрированная природа является значительным преимуществом, так как она помогает удержать выходы слоев от слишком большого смещения в одном направлении, что может сделать обучение более стабильным. Для более глубокого технического объяснения можно найти подробные курсы по активационным функциям в таких учебных заведениях, как Стэнфорд.

Сравнение с другими функциями активации

Tanh часто сравнивают с другими функциями активации, каждая из которых имеет свои сильные и слабые стороны:

• Танха против сигмовидной: Обе функции имеют схожую S-образную форму. Однако функция Sigmoid выводит значения в диапазоне, тогда как Tanh - в [-1, 1]. Поскольку выход Tanh ориентирован на ноль, ее часто предпочитают использовать в скрытых слоях сети, так как она быстрее сходится.
• Tanh против ReLU: ReLU и его разновидности, такие как Leaky ReLU и SiLU, стали выбором по умолчанию во многих современных архитектурах компьютерного зрения. В отличие от Tanh, ReLU не требует больших вычислительных затрат и помогает справиться с проблемой исчезающего градиента, когда градиенты становятся очень маленькими во время обратного распространения. Однако Tanh все еще ценен в специфических контекстах, где требуется ограниченный выход. Вы можете увидеть использование современных функций активации в таких моделях, как Ultralytics YOLO11.

Приложения в искусственном интеллекте и машинном обучении

Танх исторически был популярным выбором, особенно в:

• Рекуррентные нейронные сети (РНС): Танх широко использовался в скрытых состояниях RNN и таких разновидностей, как сети с долговременной памятью (LSTM), особенно для задач обработки естественного языка (NLP). Его ограниченный диапазон помогает регулировать поток информации в рекуррентных связях. Более подробную информацию см. в разделе Понимание LSTM.
• Анализ настроений: В старых моделях NLP Tanh помогал отображать признаки, извлеченные из текста (например, вкрапления слов, обработанные RNN), в непрерывный диапазон, представляющий полярность настроения от негативного (-1) до позитивного (+1). Вы можете найти соответствующие наборы данных для анализа настроений на таких платформах, как Kaggle.
• Системы управления и робототехника: В обучении с подкреплением (RL) Tanh иногда используется в качестве конечной функции активации для политик, которые выдают непрерывные действия, ограниченные определенным диапазоном (например, управление крутящим моментом двигателя в диапазоне от -1 до +1). Такие фреймворки, как Gymnasium (бывший OpenAI Gym), часто используются в исследованиях RL.
• Скрытые слои: Может использоваться в скрытых слоях фидфорвардных сетей, хотя в настоящее время чаще встречаются варианты ReLU. Он может быть выбран, когда свойство нулевого центра особенно полезно для конкретной задачи или архитектуры. Вы можете изучить производительность различных архитектур на наших страницах сравнения моделей.

Хотя современные архитектуры, такие как Ultralytics YOLO, часто используют функции типа SiLU для таких задач, как обнаружение объектов, понимание Tanh остается ценным. Оно обеспечивает контекст для эволюции функций активации и может все еще встречаться в конкретных проектах сетей или унаследованных системах. Такие фреймворки, как PyTorch и TensorFlow, предоставляют стандартные реализации Tanh. Вы можете обучать и экспериментировать с различными функциями активации, используя такие платформы, как Ultralytics HUB. На сайте Papers with Code также есть список исследований, в которых используется Tanh.