Tanh (Hyperbolic Tangent)

Функция Tanh (гиперболический тангенс) — это математическая функция активации, широко используемая в скрытых слоях искусственных нейронных сетей. Она преобразует входные значения в диапазон от -1 до 1, создавая S-образную кривую, похожую на сигмоиду, но с центром в нуле. Это свойство центрирования относительно нуля имеет решающее значение, так как оно позволяет модели учиться более эффективно за счет нормализации выхода нейронов, гарантируя, что данные, проходящие через сеть, имеют среднее значение ближе к нулю. Явно обрабатывая отрицательные значения, Tanh помогает нейронным сетям улавливать более сложные паттерны и связи в данных.

Механизм работы Tanh в глубоком обучении#

В архитектуре моделей глубокого обучения функции активации вводят нелинейность, позволяя сети изучать сложные границы между различными классами данных. Без таких функций, как Tanh, нейронная сеть вела бы себя как простая модель линейной регрессии независимо от того, сколько у нее слоев. Функция Tanh особенно эффективна в рекуррентных нейронных сетях (RNN) и определенных типах полносвязных сетей, где поддержание сбалансированного, центрированного вокруг нуля распределения активации помогает предотвратить проблему затухающего градиента во время обратного распространения ошибки.

Когда входные данные отображаются в диапазон от -1 до 1, сильно отрицательные входы дают отрицательные выходы, а сильно положительные — положительные. Это отличается от функции Sigmoid, которая сжимает значения в диапазон от 0 до 1. Поскольку выходы Tanh симметричны относительно нуля, процесс градиентного спуска часто сходится быстрее, так как веса в последующих слоях не движутся постоянно в одном направлении (явление, известное как «зигзагообразный» путь при оптимизации).

Реальные приложения#

Tanh продолжает играть важную роль в специфических архитектурах и сценариях использования, особенно там, где требуется обработка последовательностей и оценка непрерывных значений.

• Обработка естественного языка (NLP): В таких архитектурах, как сети с долговременной кратковременной памятью (LSTM) и управляемые рекуррентные блоки (GRU), Tanh используется в качестве основной активации для регулирования потока информации. Например, в задачах машинного перевода, где модель переводит текст с английского на французский, Tanh помогает внутренним гейтам LSTM решать, какую часть предыдущего контекста (памяти) сохранить, а какую забыть. Это позволяет модели работать с долгосрочными зависимостями в структурах предложений.
• Генеративно-состязательные сети (GAN): В генераторе многих генеративно-состязательных сетей Tanh часто используется в качестве финальной функции активации для выходного слоя. Поскольку изображения при предобработке обычно нормализуются в диапазон от -1 до 1, использование Tanh гарантирует, что генератор выдает значения пикселей в том же допустимом диапазоне. Этот метод помогает синтезировать реалистичные изображения для таких приложений, как генерация текста в изображение.

Сравнение: Tanh против Sigmoid против ReLU#

Полезно отличать Tanh от других распространенных функций, чтобы понимать, когда её следует применять.

• Tanh против Sigmoid: Обе функции имеют S-образную форму. Однако Sigmoid выводит значения от 0 до 1, из-за чего градиенты могут затухать быстрее, чем при использовании Tanh. Sigmoid обычно используется для финального выходного слоя задач бинарной классификации (прогнозирование вероятности), в то время как Tanh предпочтительнее для скрытых слоев в RNN.
• Tanh против ReLU (выпрямленный линейный блок): В современных сверточных нейронных сетях (CNN), таких как YOLO26, ReLU и ее варианты (например, SiLU), как правило, предпочтительнее Tanh для скрытых слоев. Это обусловлено тем, что ReLU эффективнее предотвращает проблему затухания градиента для очень глубоких сетей и обходится дешевле с точки зрения вычислений. Tanh является более ресурсоемкой из-за задействования экспоненциальных вычислений.

Реализация функций активации в PyTorch#

Хотя модели высокого уровня вроде Ultralytics YOLO26 обрабатывают определения активаций внутри своих конфигурационных файлов, понимание того, как применять Tanh с помощью PyTorch, полезно для создания пользовательских моделей.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Для пользователей, заинтересованных в обучении кастомных архитектур или эффективном управлении датасетами, Ultralytics Platform предлагает удобную среду для экспериментов с различными гиперпараметрами моделей, визуализации метрик обучения и развертывания решений без необходимости вручную кодировать каждый слой нейронной сети.