Tanh (Hyperbolic Tangent)

Функция Tanh (гиперболический тангенс) — это математическая функция активации, широко используемая в скрытых слоях искусственных нейронных сетей. Она преобразует входные значения в диапазон от -1 до 1, создавая S-образную кривую, похожую на сигмоидальную функцию, но центрированную относительно нуля. Это свойство центрирования относительно нуля имеет решающее значение, поскольку позволяет модели эффективнее обучаться, нормализуя выходные значения нейронов и обеспечивая среднее значение данных, проходящих через сеть, ближе к нулю. Явно обрабатывая отрицательные значения, Tanh помогает нейронным сетям выявлять более сложные закономерности и взаимосвязи в данных.

Механизм работы Tanh в глубоком обучении#

В архитектуре моделей глубокого обучения функции активации вносят нелинейность, позволяя сети обучаться сложным границам между различными классами данных. Без таких функций, как Tanh, нейронная сеть вела бы себя как простая модель линейной регрессии, независимо от количества слоев. Функция Tanh особенно эффективна в рекуррентных нейронных сетях (RNN) и некоторых типах сетей прямого распространения, где поддержание сбалансированного распределения активаций, центрированного относительно нуля, помогает предотвратить проблему исчезающего градиента во время обратного распространения ошибки.

При отображении входных данных в диапазон от -1 до 1 сильно отрицательные входные значения дают отрицательные выходные значения, а сильно положительные — положительные. Это отличается от функции Sigmoid, которая сжимает значения в диапазон от 0 до 1. Поскольку выходные значения Tanh симметричны относительно нуля, процесс градиентного спуска часто сходится быстрее: веса в последующих слоях не перемещаются постоянно в одном направлении — это явление в оптимизации известно как траектория «зигзаг».

Практические применения#

Tanh продолжает играть важную роль в определенных архитектурах и сценариях использования, особенно когда требуются обработка последовательностей и оценка непрерывных значений.

• Обработка естественного языка (NLP): В таких архитектурах, как сети с долгой краткосрочной памятью (LSTM) и управляемые рекуррентные блоки (GRU), Tanh используется как основная функция активации для регулирования потока информации. Например, в задачах машинного перевода, где модель переводит текст с английского на французский, Tanh помогает внутренним вентилям LSTM определить, какую часть предыдущего контекста (памяти) сохранить или забыть. Это позволяет модели обрабатывать долгосрочные зависимости в структуре предложений.
• Генеративно-состязательные сети (GANs): В компоненте-генераторе многих генеративно-состязательных сетей Tanh часто используется как финальная функция активации выходного слоя. Поскольку изображения при предварительной обработке часто нормализуются до диапазона от -1 до 1, использование Tanh гарантирует, что генератор будет создавать значения пикселей в том же допустимом диапазоне. Этот метод помогает синтезировать реалистичные изображения для таких приложений, как генерация изображений по тексту.

Сравнение: Tanh, Sigmoid и ReLU#

Чтобы понять, когда использовать Tanh, полезно отличать ее от других распространенных функций.

• Tanh и Sigmoid: Обе функции имеют S-образную форму. Однако Sigmoid выдает значения от 0 до 1, из-за чего градиенты могут исчезать быстрее, чем при использовании Tanh. Sigmoid обычно используется в выходном слое для задач двоичной классификации (предсказания вероятности), тогда как Tanh предпочтительнее применять в скрытых слоях RNN.
• Tanh и ReLU (выпрямленная линейная единица): В современных сверточных нейронных сетях (CNNs), таких как YOLO26, ReLU и ее варианты, например SiLU, обычно предпочтительнее Tanh для скрытых слоев. Это связано с тем, что ReLU эффективнее предотвращает проблему исчезающего градиента в очень глубоких сетях и требует меньше вычислений. Tanh вычислительно затратнее из-за используемых экспоненциальных вычислений.

Реализация функций активации в PyTorch#

Хотя высокоуровневые модели, такие как Ultralytics YOLO26, обрабатывают определения функций активации внутри своих конфигурационных файлов, понимание того, как применять Tanh с использованием PyTorch, полезно при создании пользовательских моделей.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Для пользователей, заинтересованных в обучении пользовательских архитектур или эффективном управлении наборами данных, Ultralytics Platform предоставляет удобную среду для экспериментов с различными гиперпараметрами модели, визуализации метрик обучения и развертывания решений без необходимости вручную кодировать каждый слой нейронной сети.