Tanh (Hyperbolic Tangent)

Hàm tang hyperbolic, tanh(x) = (eˣ − e^(−x)) / (eˣ + e^(−x)), là một hàm kích hoạt ánh xạ mọi số thực thành một giá trị trong khoảng từ −1 đến 1 theo đường cong hình chữ S có tâm tại 0. Đây là sigmoid được đổi tỷ lệ, tanh(x) = 2σ(2x) − 1, nên có hình dạng giống sigmoid nhưng trả về giá trị âm với đầu vào âm và có độ dốc bằng 1 tại gốc tọa độ. Tanh là hàm kích hoạt tiêu chuẩn cho các lớp ẩn của mạng nơ-ron trong suốt thập niên 1990 và 2000. Ngày nay, hàm này định hình trạng thái ẩn của mạng nơ-ron hồi quy (RNNs), giới hạn đầu ra của bộ tạo ảnh và các chính sách điều khiển, đồng thời giữ giá trị trong phạm vi cho phép bên trong các model lớn hơn.

Công thức và tính chất#

Tanh là hàm lẻ, tanh(−x) = −tanh(x), với tanh(0) = 0. Gần 0, hàm gần như tuyến tính, tanh(x) ≈ x, và khi vượt quá khoảng ±3, hàm dần phẳng về ±1. Đạo hàm của hàm, 1 − tanh²(x), bằng 1 tại gốc tọa độ, gấp bốn lần giá trị cực đại 0.25 của sigmoid, và tiến về 0 khi đường cong bão hòa. Đoạn mã PyTorch bên dưới tính tanh và gradient của hàm, sau đó so sánh giá trị trung bình đầu ra của tanh và sigmoid trên các đầu vào có trung bình bằng 0:

import torch

x = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0], requires_grad=True)
y = torch.tanh(x)

# The derivative of tanh is 1 - tanh(x)^2, which peaks at 1 when x = 0
y.sum().backward()
print(f"Tanh:     {[round(v, 3) for v in y.tolist()]}")
print(f"Gradient: {[round(v, 3) for v in x.grad.tolist()]}")

# For zero-mean inputs, tanh outputs average near 0 and sigmoid outputs near 0.5
torch.manual_seed(0)
z = torch.randn(100_000)
print(f"Mean output, tanh: {torch.tanh(z).mean():.3f}, sigmoid: {torch.sigmoid(z).mean():.3f}")

Đoạn mã in ra các giá trị tanh của [-0.995, -0.762, 0.0, 0.762, 0.995] và gradient của [0.01, 0.42, 1.0, 0.42, 0.01], vì vậy gradient tại ±3 chỉ bằng một phần trăm giá trị tại 0. Với 100.000 đầu vào phân phối chuẩn tắc, đầu ra tanh có giá trị trung bình khoảng 0.0, còn đầu ra sigmoid khoảng 0.5.

Lợi ích của đầu ra có trung tâm tại 0#

Gradient trọng số của một nơ-ron tỷ lệ thuận với đầu vào của nó. Khi mọi đầu vào đều dương, như đầu ra sigmoid luôn như vậy, gradient của tất cả trọng số trong một nơ-ron cùng dấu ở mỗi lần cập nhật. Vì thế, các trọng số chỉ có thể cùng tăng hoặc cùng giảm, và phải tiến tới giá trị tối ưu theo đường zíc zắc. Đầu ra tanh có lượng giá trị dương và âm tương đương nhau, cho phép từng trọng số thay đổi độc lập và giữ đầu vào của lớp tiếp theo gần mức trung bình bằng 0, nơi gradient descent hội tụ nhanh hơn. Vì lý do này, hướng dẫn “Efficient BackProp” năm 1998 của Yann LeCun và các cộng sự khuyến nghị dùng hàm đối xứng thay cho sigmoid logistic ở các lớp ẩn, cụ thể là dạng được đổi tỷ lệ 1.7159 · tanh(2x/3). Tanh vẫn bão hòa, và việc xếp chồng nhiều lớp tanh làm gradient suy giảm trong quá trình lan truyền ngược, gây ra vấn đề gradient biến mất.

Tanh được sử dụng ở đâu#

• Mạng hồi quy: Một RNN đơn giản cập nhật trạng thái theo công thức hₜ = tanh(Wxₜ + Uhₜ₋₁ + b), và tanh là hàm phi tuyến mặc định của nn.RNN trong PyTorch. Trong các ô LSTM và GRU, tanh tạo nội dung ứng viên và, trong LSTM, nén trạng thái ô trước khi xuất ra, trong khi các cổng sigmoid quyết định mức độ sử dụng trạng thái đó. Phạm vi giá trị bị giới hạn giúp trạng thái được đưa ngược lại qua nhiều bước không tăng vô hạn.
• Bộ tạo GAN: DCGAN kết thúc bộ tạo bằng tanh để pixel được tạo nằm trong khoảng từ −1 đến 1, là phạm vi mà ảnh huấn luyện được chuẩn hóa theo. Nhiều mạng đối sinh tạo sinh (GANs) ra đời sau này cũng sử dụng cách này.
• Hành động bị giới hạn: Các chính sách điều khiển liên tục trong học tăng cường đưa đầu ra qua tanh để giữ mọi lệnh trong giới hạn của cơ cấu chấp hành. Soft Actor-Critic cũng nén các mẫu từ chính sách Gaussian theo cách này.
• Giới hạn mềm logit: Các model ngôn ngữ Gemma 2 của Google tính cap · tanh(logits / cap), với cap bằng 50 cho logit attention và 30 cho logit cuối cùng. Logit nhỏ gần như không đổi, còn logit lớn không bao giờ vượt quá giới hạn.
• Phép xấp xỉ GELU: 0.5x(1 + tanh(√(2/π)(x + 0.044715x³))) xấp xỉ GELU rất chính xác, và mã gốc của GPT-2 và BERT tính GELU theo cách này.
• Normalizing flow: Các flow kiểu RealNVP thường kết thúc mỗi mạng scale bằng tanh, nhờ đó mỗi lớp coupling scale đầu vào theo hệ số từ e⁻¹ đến e, giúp quá trình huấn luyện ổn định về mặt số học. Các model ước tính tư thế YOLO26 được huấn luyện bằng loss ước tính log-likelihood dư. Flow RealNVP sáu lớp của model, với tanh ở cuối mỗi mạng scale, mô hình hóa khoảng cách giữa keypoint dự đoán và ground truth.

Tanh so với các hàm liên quan#

• Sigmoid: Tanh là sigmoid được kéo giãn thành phạm vi −1 đến 1 và nén theo chiều ngang hai lần, làm độ dốc cực đại tăng từ 0.25 lên 1. Phạm vi 0 đến 1 của sigmoid khiến hàm này phù hợp nhất với xác suất và các cổng.
• Hardtanh: Phiên bản tuyến tính từng đoạn giới hạn đầu vào trong [−1, 1]. Hàm này có chi phí tính toán thấp hơn và gradient chính xác bằng 0 bên ngoài phạm vi đó.
• ReLU: max(0, x) không bao giờ bão hòa với đầu vào dương và chỉ tốn một phép so sánh. Vì vậy, ReLU cùng các hàm kế nhiệm trơn như SiLU đã thay thế tanh trong các lớp ẩn của mạng nơ-ron tích chập (CNNs) sâu và transformer. Trong bài báo AlexNet, một CNN bốn lớp dùng ReLU đạt tỷ lệ lỗi huấn luyện 25% trên CIFAR-10 nhanh gấp sáu lần so với cùng mạng dùng các đơn vị tanh.