Tanh (Tiếp tuyến Hyperbol)

Tanh (Tiếp tuyến Hyperbolic) là một hàm kích hoạt được sử dụng rộng rãi trong mạng nơ-ron. Nó là một hàm toán học ép các giá trị đầu vào vào một phạm vi từ -1 đến 1. Về mặt trực quan, nó tạo ra một đường cong hình "S", tương tự như hàm Sigmoid. Đặc điểm chính của nó là đầu ra của nó được căn giữa tại số không, có nghĩa là các đầu vào âm được ánh xạ tới các đầu ra âm và các đầu vào dương được ánh xạ tới các đầu ra dương. Thuộc tính này có thể giúp tăng tốc độ hội tụ của các thuật toán tối ưu hóa như gradient descent trong quá trình huấn luyện mô hình.

Cách Tanh Hoạt Động

Trong một mô hình học sâu, hàm kích hoạt quyết định xem một nơ-ron có nên được kích hoạt hay không bằng cách tính tổng có trọng số và thêm độ lệch vào đó. Hàm Tanh lấy bất kỳ số thực nào và ánh xạ nó vào phạm vi [-1, 1]. Các giá trị dương lớn được ánh xạ gần 1, các giá trị âm lớn được ánh xạ gần -1 và các giá trị gần 0 được ánh xạ thành các giá trị xung quanh 0. Bản chất tập trung vào số 0 này là một lợi thế đáng kể, vì nó giúp giữ cho đầu ra của các lớp không bị dịch chuyển quá xa theo một hướng, điều này có thể làm cho quá trình huấn luyện ổn định hơn. Để có giải thích kỹ thuật chuyên sâu, các tài nguyên từ các tổ chức như Stanford cung cấp các ghi chú khóa học chi tiết về các hàm kích hoạt.

So Sánh Với Các Hàm Kích Hoạt Khác

Tanh thường được so sánh với các hàm kích hoạt khác, mỗi hàm có những điểm mạnh và điểm yếu riêng:

• Tanh so với Sigmoid: Cả hai hàm đều có hình chữ S tương tự. Tuy nhiên, hàm Sigmoid xuất ra các giá trị trong phạm vi , trong khi Tanh xuất ra các giá trị trong [-1, 1]. Vì đầu ra của Tanh có tâm tại 0, nên nó thường được ưu tiên hơn Sigmoid trong các lớp ẩn của mạng, vì nó có xu hướng dẫn đến sự hội tụ nhanh hơn.
• Tanh so với ReLU: ReLU và các biến thể của nó, như Leaky ReLU và SiLU, đã trở thành lựa chọn mặc định trong nhiều kiến trúc thị giác máy tính hiện đại. Không giống như Tanh, ReLU không tốn kém về mặt tính toán và giúp giảm thiểu vấn đề biến mất gradient, trong đó gradient trở nên cực kỳ nhỏ trong quá trình lan truyền ngược. Tuy nhiên, Tanh vẫn có giá trị trong các ngữ cảnh cụ thể, nơi cần có đầu ra bị giới hạn. Bạn có thể thấy việc sử dụng các hàm kích hoạt hiện đại trong các mô hình như Ultralytics YOLO11.

Các ứng dụng trong AI và Machine Learning

Trong lịch sử, Tanh là một lựa chọn phổ biến, đặc biệt trong:

• Mạng nơ-ron hồi quy (RNN): Tanh thường được sử dụng trong các trạng thái ẩn của RNN và các biến thể như mạng Bộ nhớ dài-ngắn hạn (LSTM), đặc biệt đối với các tác vụ trong Xử lý ngôn ngữ tự nhiên (NLP). Phạm vi giới hạn của nó giúp điều chỉnh luồng thông tin trong các kết nối hồi quy. Xem Tìm hiểu về LSTM để biết thêm chi tiết.
• Phân Tích Cảm Xúc (Sentiment Analysis): Trong các mô hình NLP cũ hơn, Tanh đã giúp ánh xạ các đặc trưng được trích xuất từ văn bản (ví dụ: word embeddings được xử lý bởi RNN) thành một phạm vi liên tục, biểu thị cực tính tình cảm từ âm (-1) đến dương (+1). Bạn có thể tìm thấy các tập dữ liệu phù hợp để phân tích tình cảm trên các nền tảng như Kaggle.
• Hệ thống Điều khiển và Người máy: Trong Học tăng cường (RL), Tanh đôi khi được sử dụng làm hàm kích hoạt cuối cùng cho các chính sách xuất ra các hành động liên tục bị giới hạn trong một phạm vi cụ thể (ví dụ: điều khiển mô-men xoắn động cơ trong khoảng -1 và +1). Các framework như Gymnasium (trước đây là OpenAI Gym) thường được sử dụng trong nghiên cứu RL.
• Các lớp ẩn: Nó có thể được sử dụng trong các lớp ẩn của mạng feedforward, mặc dù các biến thể ReLU hiện phổ biến hơn. Nó có thể được chọn khi thuộc tính zero-centered đặc biệt có lợi cho vấn đề hoặc kiến trúc cụ thể. Bạn có thể khám phá hiệu suất của các kiến trúc khác nhau trong các trang so sánh mô hình của chúng tôi.

Mặc dù các kiến trúc hiện đại như Ultralytics YOLO thường sử dụng các hàm như SiLU cho các tác vụ như nhận diện đối tượng, hiểu Tanh vẫn có giá trị. Nó cung cấp bối cảnh cho sự phát triển của các hàm kích hoạt và vẫn có thể xuất hiện trong các thiết kế mạng cụ thể hoặc các hệ thống kế thừa. Các framework như PyTorch và TensorFlow cung cấp các triển khai tiêu chuẩn của Tanh. Bạn có thể huấn luyện và thử nghiệm với các hàm kích hoạt khác nhau bằng cách sử dụng các nền tảng như Ultralytics HUB. Trang web Papers with Code cũng liệt kê các nghiên cứu sử dụng Tanh.