Tanh (Hyperbolic Tangent)

Функция Tanh (гиперболический тангенс) — это математическая функция активации, широко используемая в скрытых слоях искусственных нейронных сетей. Она преобразует входные значения в диапазон вывода от -1 до 1, создавая S-образную кривую, похожую на сигмоидальную функцию, но центрированную относительно нуля. Это свойство центрирования по нулю имеет решающее значение, поскольку позволяет модели обучаться эффективнее за счет нормализации выхода нейронов, гарантируя, что среднее значение данных, проходящих через сеть, ближе к нулю. Явно обрабатывая отрицательные значения, Tanh помогает нейронным сетям улавливать более сложные закономерности и взаимосвязи в данных.

Link to this sectionМеханизм работы Tanh в глубоком обучении#

В архитектуре моделей глубокого обучения функции активации вводят нелинейность, позволяя сети изучать сложные границы между различными классами данных. Без таких функций, как Tanh, нейронная сеть вела бы себя как простая модель линейной регрессии, независимо от количества слоев. Функция Tanh особенно эффективна в рекуррентных нейронных сетях (RNN) и некоторых типах полносвязных сетей, где поддержание сбалансированного, центрированного относительно нуля распределения активаций помогает предотвратить проблему затухающего градиента во время обратного распространения ошибки.

Когда входные данные отображаются в диапазон от -1 до 1, сильно отрицательные входные значения приводят к отрицательным выходным, а сильно положительные — к положительным. Это отличается от сигмоидальной функции, которая сжимает значения в интервал от 0 до 1. Поскольку выходы Tanh симметричны относительно нуля, процесс градиентного спуска часто сходится быстрее, так как веса в последующих слоях не движутся постоянно в одном направлении (явление, известное как «зигзагообразный» путь в оптимизации).

Link to this sectionРеальные приложения#

Tanh продолжает играть важную роль в специфических архитектурах и сценариях использования, особенно там, где требуется обработка последовательностей и оценка непрерывных значений.

• Обработка естественного языка (NLP): В архитектурах, таких как сети долгой краткосрочной памяти (LSTM) и управляемые рекуррентные блоки (GRU), Tanh используется как основная функция активации для регулирования потока информации. Например, в задачах машинного перевода, где модель переводит текст с английского на французский, Tanh помогает внутренним «воротам» LSTM решать, какую часть предыдущего контекста (памяти) сохранить, а какую забыть. Это позволяет модели справляться с долгосрочными зависимостями в структуре предложений.
• Генеративно-состязательные сети (GAN): В генераторном компоненте многих генеративно-состязательных сетей Tanh часто используется как финальная функция активации для выходного слоя. Поскольку изображения при предварительной обработке часто нормализуются в диапазон от -1 до 1, использование Tanh гарантирует, что генератор создает значения пикселей в том же допустимом диапазоне. Этот метод помогает в синтезе реалистичных изображений для таких задач, как генерация текст-в-изображение.

Link to this sectionСравнение: Tanh против Sigmoid против ReLU#

Полезно отличать Tanh от других распространенных функций, чтобы понимать, когда её следует применять.

• Tanh против Sigmoid: Обе функции представляют собой S-образные кривые. Однако Sigmoid выводит значения от 0 до 1, что может приводить к более быстрому затуханию градиентов по сравнению с Tanh. Sigmoid обычно используется для финального выходного слоя в задачах бинарной классификации (прогнозирование вероятности), тогда как Tanh предпочтительнее для скрытых слоев в RNN.
• Tanh против ReLU (выпрямленная линейная единица): В современных сверточных нейронных сетях (CNN), таких как YOLO26, ReLU и её варианты (например, SiLU) обычно предпочтительнее Tanh для скрытых слоев. Это связано с тем, что ReLU эффективнее решает проблему затухающего градиента в очень глубоких сетях и дешевле с вычислительной точки зрения. Tanh более затратна по вычислениям из-за необходимости выполнения экспоненциальных операций.

Link to this sectionРеализация функций активации в PyTorch#

Хотя высокоуровневые модели, такие как YOLO26, обрабатывают определения активаций внутренне в своих конфигурационных файлах, понимание того, как применять Tanh с помощью PyTorch, полезно для создания пользовательских моделей.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Для пользователей, заинтересованных в обучении собственных архитектур или эффективном управлении наборами данных, платформа Ultralytics предлагает оптимизированную среду для экспериментов с различными гиперпараметрами моделей, визуализации метрик обучения и развертывания решений без необходимости вручную кодировать каждый слой нейронной сети.