Tanh (Hyperbolic Tangent)

Hàm Tanh (Hyperbolic Tangent) là một activation function toán học được sử dụng rộng rãi trong các lớp ẩn của mạng thần kinh nhân tạo. Nó biến đổi các giá trị đầu vào thành phạm vi đầu ra từ -1 đến 1, tạo ra một đường cong hình chữ S tương tự như hàm sigmoid nhưng được căn giữa tại số không. Đặc tính căn giữa tại số không này rất quan trọng vì nó cho phép model học tập hiệu quả hơn bằng cách chuẩn hóa đầu ra của các neuron, đảm bảo dữ liệu chạy qua mạng có giá trị trung bình gần bằng không. Bằng cách xử lý rõ ràng các giá trị âm, Tanh giúp neural networks nắm bắt được các mô hình và mối quan hệ phức tạp hơn trong dữ liệu.

Link to this sectionCơ chế của Tanh trong Deep Learning#

Trong kiến trúc của các deep learning model, các hàm kích hoạt tạo ra tính phi tuyến, cho phép mạng học được các ranh giới phức tạp giữa các lớp dữ liệu khác nhau. Nếu không có các hàm như Tanh, một neural network sẽ hoạt động giống như một model linear regression đơn giản, bất kể nó có bao nhiêu lớp. Hàm Tanh đặc biệt hiệu quả trong các recurrent neural networks (RNN) và một số loại mạng feed-forward nhất định, nơi việc duy trì phân phối kích hoạt cân bằng và căn giữa tại số không giúp ngăn chặn vấn đề vanishing gradient trong quá trình backpropagation.

Khi đầu vào được ánh xạ vào phạm vi từ -1 đến 1, các đầu vào âm mạnh sẽ dẫn đến đầu ra âm, và các đầu vào dương mạnh sẽ dẫn đến đầu ra dương. Điều này khác với hàm Sigmoid, vốn nén các giá trị trong khoảng từ 0 đến 1. Vì đầu ra của Tanh đối xứng qua số không, quá trình gradient descent thường hội tụ nhanh hơn, do các trọng số trong các lớp tiếp theo không liên tục di chuyển theo một hướng duy nhất (một hiện tượng được gọi là đường đi "zig-zag" trong tối ưu hóa).

Link to this sectionCác ứng dụng trong thực tế#

Tanh tiếp tục đóng vai trò quan trọng trong các kiến trúc và trường hợp sử dụng cụ thể, đặc biệt là nơi yêu cầu xử lý chuỗi và ước tính giá trị liên tục.

• Natural Language Processing (NLP): Trong các kiến trúc như mạng Long Short-Term Memory (LSTM) và Gated Recurrent Units (GRU), Tanh được sử dụng làm kích hoạt chính để điều tiết luồng thông tin. Ví dụ, trong các tác vụ machine translation nơi model dịch văn bản từ tiếng Anh sang tiếng Pháp, Tanh giúp các cổng nội bộ của LSTM quyết định bao nhiêu phần ngữ cảnh trước đó (bộ nhớ) cần được giữ lại hoặc quên đi. Điều này cho phép model xử lý các phụ thuộc dài hạn trong cấu trúc câu.
• Generative Adversarial Networks (GANs): Trong thành phần generator của nhiều Generative Adversarial Networks, Tanh thường được sử dụng làm hàm kích hoạt cuối cùng cho lớp đầu ra. Vì hình ảnh thường được chuẩn hóa về phạm vi từ -1 đến 1 trong quá trình tiền xử lý, việc sử dụng Tanh đảm bảo generator tạo ra các giá trị pixel trong cùng một phạm vi hợp lệ. Kỹ thuật này hỗ trợ việc tổng hợp hình ảnh thực tế cho các ứng dụng như tạo text-to-image.

Link to this sectionSo sánh: Tanh vs. Sigmoid vs. ReLU#

Việc phân biệt Tanh với các hàm phổ biến khác sẽ giúp hiểu rõ khi nào nên sử dụng nó.

• Tanh vs. Sigmoid: Cả hai đều là đường cong hình chữ S. Tuy nhiên, Sigmoid xuất ra các giá trị từ 0 đến 1, điều này có thể làm cho các gradient biến mất nhanh hơn so với Tanh. Sigmoid thường được dành riêng cho lớp đầu ra cuối cùng của các bài toán classification nhị phân (dự đoán xác suất), trong khi Tanh được ưu tiên cho các lớp ẩn trong RNN.
• Tanh vs. ReLU (Rectified Linear Unit): Trong các Convolutional Neural Networks (CNNs) hiện đại như YOLO26, ReLU và các biến thể của nó (như SiLU) thường được ưu tiên hơn Tanh cho các lớp ẩn. Điều này là do ReLU tránh vấn đề vanishing gradient hiệu quả hơn đối với các mạng rất sâu và chi phí tính toán thấp hơn. Tanh tốn kém hơn về mặt tính toán do liên quan đến các phép tính hàm mũ.

Link to this sectionTriển khai Activation trong PyTorch#

Mặc dù các model cấp cao như YOLO26 xử lý các định nghĩa kích hoạt nội bộ trong các tệp cấu hình của chúng, việc hiểu cách áp dụng Tanh bằng PyTorch vẫn hữu ích cho việc xây dựng model tùy chỉnh.

import torch
import torch.nn as nn

# Define a sample input tensor with positive and negative values
input_data = torch.tensor([-2.0, -0.5, 0.0, 0.5, 2.0])

# Initialize the Tanh activation function
tanh = nn.Tanh()

# Apply Tanh to the input data
output = tanh(input_data)

# Print results to see values squashed between -1 and 1
print(f"Input: {input_data}")
print(f"Output: {output}")

Đối với người dùng quan tâm đến việc huấn luyện các kiến trúc tùy chỉnh hoặc quản lý tập dữ liệu một cách hiệu quả, Ultralytics Platform cung cấp một môi trường hợp lý để thử nghiệm với các model hyperparameters khác nhau, trực quan hóa training metrics và triển khai các giải pháp mà không cần phải viết code thủ công cho từng lớp của neural network.