Tanh (Гиперболический тангенс)

Tanh (гиперболический тангенс) - это широко используемая функция активации в области глубокого обучения, которая вносит нелинейность в нейронные сети. С математической точки зрения, она сжимает входные значения до определенного диапазона между -1 и 1. Эта "S"-образная кривая похожа на сигмоидной функции, но имеет явные преимущества благодаря нуль-центрированный выход. Сопоставляя отрицательные входы с сильно отрицательными выходами и положительные входы с сильно положительными выходы, Tanh помогает моделировать сложные закономерности более эффективно, чем простая линейной регрессии, что делает его основополагающим компонентом в истории искусственного интеллекта.

Как работает Tanh

Основная роль Tanh заключается в определении выхода нейрона на основе его взвешенных входов. Он преобразует любой реальный входной сигнал в ограниченный диапазон [-1, 1]. Это свойство известно как "нуль-центрирование", то есть среднее значение выходных величин ближе к нулю по сравнению с функциями типа Sigmoid, которые выводят значения между 0 и 1.

Данные с нулевым центром имеют решающее значение для эффективности алгоритмов оптимизации, таких как стохастический градиентный спуск (SGD). Во время обратного распространения активации с нулевым центром позволяют градиентам двигаться в положительном или отрицательном направлении более свободно, предотвращая "зигзагообразное" поведения обновлений весов, которое может замедлить обучение модели. Для более глубокого изучения этой динамики, Заметки по CS231n в Стэнфордском университете содержат отличный технический обзор.

Функция Tanh легко доступна в современных фреймворках. Ниже приведен запускаемый пример с использованием PyTorch демонстрирующий, как входные данные в диапазон [-1, 1].

import torch
import torch.nn as nn

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Create a sample tensor with negative, zero, and positive values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Apply Tanh: Values are squashed between -1 and 1
output = tanh(input_data)
print(f"Output: {output}")
# Output: tensor([-0.9640, -0.4621,  0.0000,  0.4621,  0.9640])

Сравнение с родственными функциями активации

Чтобы понять, когда использовать Tanh, нужно отличить ее от других распространенных функций активации, которые можно найти в глоссарии.

• Танх против сигмовидной: Оба имеют схожую S-образная форма, но Sigmoid ограничивает вывод [0, 1]. Диапазон Танха [-1, 1] и его более крутой градиент часто делают его предпочтительными для скрытых слоев, поскольку они смягчают проблему смещения, вызванную данными с ненулевым центром.
• Танх против Релу: Хотя Tanh является мощным, он страдает от проблемой исчезающего градиента, когда градиенты становятся почти нулевыми при очень больших или очень малых входных данных, что фактически останавливает обучение в глубоких сетях. ReLU избегает этой проблемы, сохраняя градиенты постоянными для положительных входных данных. Современные архитектуры, такие как YOLO11 обычно предпочитают ReLU или SiLU за их вычислительную эффективность и возможностью обучения более глубоких моделей.

Применение в AI и машинном обучении

Несмотря на развитие ReLU, Tanh по-прежнему важен для конкретных архитектур и задач.

Рекуррентные нейронные сети (РНС) и НЛП

Tanh исторически является стандартной функцией активации для рекуррентных нейронных сетей (РНС) и сетей с длинной кратковременной памятью (LSTM). В обработке естественного языка (NLP) таких задачах, как машинный перевод или генерация текста Tanh регулирует поток информации через ячейки памяти сети, обеспечивая, чтобы значения не взрывались по мере их распространения во времени.

Генеративные адверсарные сети (GAN)

В В генеративных адверсарных сетях (GAN) Tanh часто используется в последнем слое модели генератора. Он масштабирует выходные значения пикселей генерируемых изображений к нормализованному диапазону [-1, 1], что помогает стабилизировать процесс обучения противника по отношению к дискриминатора. Эту архитектуру можно увидеть в таких основополагающих работах, как DCGAN.

Анализ тональности

Для простых моделей анализа настроений Tanh может служить выходной активацией для отображения оценок настроения непосредственно на континуум, где -1 представляет крайне негативное настроения, 0 - нейтральное, а +1 - крайне позитивное. Такое интуитивное отображение облегчает интерпретацию прогнозов модели на наборах данных, подобных тем, что можно найти на Kaggle.

В то время как современные модели компьютерного зрения такие как YOLO11 перешли к использованию неограниченных функций для извлечения признаков, Tanh остается важнейшим инструментом в наборе инженера глубокого обучения, особенно для задач требующих ограниченных, нуль-центрированных выходов.