Tanh (Hyperbolic Tangent)

Hàm Tanh (Hyperbolic Tangent) là một activation function toán học được sử dụng rộng rãi trong các lớp ẩn của mạng neural nhân tạo. Nó biến đổi các giá trị đầu vào thành một khoảng đầu ra từ -1 đến 1, tạo ra đường cong hình chữ S tương tự như hàm sigmoid nhưng có tâm đối xứng tại số không. Đặc tính có tâm tại số không này rất quan trọng vì nó cho phép model học hiệu quả hơn bằng cách chuẩn hóa đầu ra của các neuron, đảm bảo rằng dữ liệu chạy qua mạng có giá trị trung bình gần bằng không hơn. Bằng cách xử lý rõ ràng các giá trị âm, Tanh giúp neural networks nắm bắt các mô hình và mối quan hệ phức tạp hơn bên trong dữ liệu.

Cơ chế của Tanh trong Deep Learning#

Trong kiến trúc của các model deep learning, activation functions đưa tính phi tuyến tính vào, giúp mạng học được các ranh giới phức tạp giữa các lớp dữ liệu khác nhau. Nếu không có các hàm như Tanh, mạng neural sẽ hoạt động giống như một model linear regression đơn giản, bất kể nó có bao nhiêu lớp. Hàm Tanh đặc biệt hiệu quả trong recurrent neural networks (RNN) và một số loại mạng truyền thẳng nhất định, nơi việc duy trì phân phối kích hoạt cân bằng và có tâm tại số không giúp ngăn ngừa vấn đề vanishing gradient trong quá trình backpropagation.

Khi các đầu vào được ánh xạ tới khoảng từ -1 đến 1, các đầu vào âm mạnh sẽ tạo ra đầu ra âm và các đầu vào dương mạnh sẽ tạo ra đầu ra dương. Điều này khác với hàm Sigmoid, vốn nén các giá trị trong khoảng từ 0 đến 1. Do các đầu ra của Tanh đối xứng quanh số không, quá trình gradient descent thường hội tụ nhanh hơn, vì trọng số ở các lớp tiếp theo không di chuyển liên tục theo một hướng duy nhất (hiện tượng được gọi là đường đi "hình zic-zắc" trong tối ưu hóa).

Các ứng dụng trong thực tế#

Tanh tiếp tục đóng vai trò quan trọng trong các kiến trúc và trường hợp sử dụng cụ thể, đặc biệt là nơi yêu cầu xử lý chuỗi và ước tính giá trị liên tục.

• Natural Language Processing (NLP): Trong các kiến trúc như mạng Long Short-Term Memory (LSTM) và Gated Recurrent Units (GRU), Tanh được sử dụng làm hàm kích hoạt chính để điều tiết luồng thông tin. Ví dụ, trong các tác vụ machine translation nơi model dịch văn bản từ tiếng Anh sang tiếng Pháp, Tanh giúp các cổng bên trong của LSTM quyết định mức độ ngữ cảnh trước đó (bộ nhớ) cần giữ lại hay quên đi. Điều này cho phép model xử lý các phụ thuộc dài hạn trong cấu trúc câu.
• Generative Adversarial Networks (GANs): Trong thành phần generator của nhiều Generative Adversarial Networks, Tanh thường được sử dụng làm activation function cuối cùng cho lớp đầu ra. Vì hình ảnh thường được chuẩn hóa về khoảng từ -1 đến 1 trong quá trình tiền xử lý, việc sử dụng Tanh đảm bảo generator tạo ra các giá trị pixel nằm trong cùng khoảng hợp lệ. Kỹ thuật này giúp tổng hợp hình ảnh thực tế cho các ứng dụng như tạo text-to-image.

So sánh: Tanh vs. Sigmoid vs. ReLU#

Việc phân biệt Tanh với các hàm phổ biến khác sẽ giúp hiểu rõ khi nào nên sử dụng nó.

• Tanh và Sigmoid: Cả hai đều là đường cong hình chữ S. Tuy nhiên, Sigmoid xuất ra các giá trị trong khoảng từ 0 đến 1, điều này có thể khiến các gradient biến mất nhanh hơn so với Tanh. Sigmoid thường được dành riêng cho lớp đầu ra cuối cùng của các bài toán classification nhị phân (dự đoán xác suất), trong khi Tanh được ưa chuộng hơn cho các lớp ẩn trong RNN.
• Tanh và ReLU (Rectified Linear Unit): Trong các Convolutional Neural Networks (CNNs) hiện đại như YOLO26, ReLU và các biến thể của nó (như SiLU) thường được ưu tiên hơn Tanh cho các lớp ẩn. Điều này là do ReLU tránh được vấn đề vanishing gradient hiệu quả hơn đối với các mạng rất sâu và tính toán rẻ hơn về mặt chi phí tính toán. Tanh tốn kém hơn về mặt tính toán do các phép tính hàm mũ liên quan.

Triển khai Activation trong PyTorch#

Mặc dù các model cấp cao như Ultralytics YOLO26 xử lý các định nghĩa hàm kích hoạt nội bộ bên trong các file cấu hình của chúng, việc hiểu cách áp dụng Tanh bằng PyTorch rất hữu ích cho việc xây dựng model tùy chỉnh.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Đối với người dùng quan tâm đến việc huấn luyện các kiến trúc tùy chỉnh hoặc quản lý dataset hiệu quả, Ultralytics Platform cung cấp một môi trường được tối ưu hóa để thử nghiệm với các model hyperparameters khác nhau, trực quan hóa training metrics và triển khai các giải pháp mà không cần phải mã hóa thủ công từng lớp của mạng neural.