Activation Function

Hàm kích hoạt là một thành phần nền tảng của mạng neural (NN), xác định đầu ra của một neuron dựa trên một tập hợp đầu vào. Thường được mô tả như "người gác cổng", hàm này quyết định neuron có nên hoạt động—nghĩa là đóng góp vào dự đoán của mạng—hay không hoạt động. Nếu không có các phép toán toán học này, mạng neural sẽ hoạt động giống như một model hồi quy tuyến tính đơn giản, không thể nắm bắt các mẫu phức tạp bất kể độ sâu của mạng. Bằng cách đưa tính phi tuyến vào, các hàm kích hoạt cho phép các model deep learning (DL) học các cấu trúc tinh vi, chẳng hạn như các đường cong trong chữ số viết tay hoặc những bất thường khó nhận thấy trong phân tích ảnh y tế.

Chức năng cốt lõi và các loại phổ biến#

Vai trò chính của hàm kích hoạt là ánh xạ các tín hiệu đầu vào sang một khoảng đầu ra mong muốn và đưa tính phức tạp vào các feature map do mạng tạo ra. Nhà phát triển lựa chọn các hàm cụ thể dựa trên vị trí của layer và mục tiêu của quá trình huấn luyện model.

• ReLU (Đơn vị tuyến tính chỉnh lưu): Hiện là hàm được sử dụng rộng rãi nhất cho các hidden layer. Hàm này xuất trực tiếp đầu vào nếu giá trị dương và xuất 0 trong các trường hợp còn lại. Sự đơn giản này giúp tăng tốc tính toán và giảm thiểu vấn đề gradient biến mất, một thách thức thường gặp khi huấn luyện các kiến trúc deep learning.
• Sigmoid: Hàm này "nén" các giá trị đầu vào vào khoảng từ 0 đến 1. Nó thường được sử dụng ở layer cuối cho các tác vụ phân loại nhị phân, chẳng hạn như xác định một email có phải là thư rác hay không, vì đầu ra có thể được diễn giải là một điểm xác suất.
• Softmax: Cần thiết cho các bài toán đa lớp, Softmax chuyển một vector số thành một phân phối xác suất trong đó tổng tất cả các giá trị bằng một. Đây là lựa chọn tiêu chuẩn trong các bài toán phân loại ảnh như những bài toán trong dataset ImageNet.
• SiLU (Đơn vị tuyến tính Sigmoid): Một hàm trơn, không đơn điệu, thường được sử dụng trong các kiến trúc hiện đại như YOLO26. SiLU cho phép dòng gradient tốt hơn ReLU trong các model rất sâu, góp phần nâng cao độ chính xác.

Các Ứng dụng Thực tế trong AI#

Việc lựa chọn hàm kích hoạt tác động trực tiếp đến hiệu năng và độ trễ suy luận của các hệ thống AI được triển khai trong hoạt động hằng ngày.

1. Phát hiện đối tượng trong bán lẻ: Trong các hệ thống thanh toán tự động, các model phát hiện đối tượng xác định sản phẩm trên băng chuyền. Các hidden layer sử dụng những hàm hiệu quả như ReLU hoặc SiLU để xử lý nhanh các đặc trưng hình ảnh. Layer đầu ra xác định class (ví dụ: "táo", "ngũ cốc") và tọa độ bounding box, cho phép hệ thống tự động tính hóa đơn. Điều này rất quan trọng đối với AI trong bán lẻ nhằm đảm bảo tốc độ và sự hài lòng của khách hàng.

2. Phân tích cảm xúc: Trong xử lý ngôn ngữ tự nhiên (NLP), các model phân tích đánh giá của khách hàng để đo lường mức độ hài lòng. Một mạng có thể xử lý dữ liệu văn bản và sử dụng hàm Sigmoid ở layer cuối để xuất ra điểm cảm xúc từ 0 (tiêu cực) đến 1 (tích cực), giúp doanh nghiệp nắm bắt phản hồi của khách hàng trên quy mô lớn bằng machine learning (ML).

Ví dụ triển khai#

Bạn có thể trực quan hóa cách các hàm kích hoạt khác nhau biến đổi dữ liệu bằng thư viện PyTorch. Đoạn mã sau đây minh họa sự khác biệt giữa ReLU (đưa các giá trị âm về 0) và Sigmoid (nén các giá trị).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_output = nn.ReLU()(data)
print(f"ReLU:    {relu_output}")
# Output: tensor([0., 0., 2.])

# Apply Sigmoid: Squashes values between 0 and 1
sigmoid_output = nn.Sigmoid()(data)
print(f"Sigmoid: {sigmoid_output}")
# Output: tensor([0.1192, 0.5000, 0.8808])

Phân biệt các khái niệm liên quan#

Điều quan trọng là phải phân biệt các hàm kích hoạt với những thành phần toán học khác trong pipeline học.

• Hàm kích hoạt so với Hàm mất mát: Hàm kích hoạt hoạt động trong lượt truyền xuôi để định hình đầu ra của neuron. Hàm mất mát, chẳng hạn như Sai số bình phương trung bình, tính toán sai số giữa dự đoán và mục tiêu thực tế ở cuối lượt truyền xuôi.
• Hàm kích hoạt so với Thuật toán tối ưu hóa: Trong khi hàm kích hoạt xác định cấu trúc đầu ra, optimizer (chẳng hạn Adam hoặc Stochastic Gradient Descent) quyết định cách cập nhật trọng số model để giảm thiểu sai số do hàm mất mát tính toán.
• Hàm kích hoạt so với Transfer Learning: Các hàm kích hoạt là những phép toán toán học cố định bên trong các layer của mạng. Transfer learning là một kỹ thuật trong đó một model đã được huấn luyện trước được điều chỉnh cho một tác vụ mới, thường giữ lại các hàm kích hoạt của kiến trúc ban đầu trong khi tinh chỉnh trọng số trên một dataset tùy chỉnh thông qua Ultralytics Platform.

Để tìm hiểu sâu hơn về cách các hàm này tích hợp vào những hệ thống lớn hơn, hãy xem tài liệu PyTorch về các hàm kích hoạt phi tuyến hoặc đọc về cách các tác vụ computer vision dựa vào chúng để trích xuất đặc trưng.