Hàm kích hoạt

Hàm kích hoạt là một thành phần toán học quan trọng trong mạng nơ-ron (NN) , quyết định trạng thái hoạt động hay không hoạt động của một nơ-ron cụ thể. Thường được mô tả là "người gác cổng" của một nơ-ron, hàm kích hoạt nhận một tổng trọng số các đầu vào và chuyển đổi chúng thành tín hiệu đầu ra để truyền đến lớp tiếp theo. Phép biến đổi này rất cần thiết để đưa tính phi tuyến tính vào các mô hình học sâu (DL) . Nếu không có hàm kích hoạt, mạng nơ-ron sẽ hoạt động hiệu quả như một mô hình hồi quy tuyến tính đơn giản, bất kể nó sở hữu bao nhiêu lớp. Hạn chế này sẽ ngăn mô hình học các mẫu phức tạp, chẳng hạn như đường cong của chữ số viết tay hoặc các đặc điểm trên khuôn mặt.

Chức năng cốt lõi và các loại

Mục đích chính của hàm kích hoạt là ánh xạ các giá trị đầu vào vào một phạm vi mong muốn và đưa vào độ phức tạp. Các hàm khác nhau được lựa chọn dựa trên các yêu cầu cụ thể của kiến trúc mô hình và nhiệm vụ đang thực hiện, chẳng hạn như thị giác máy tính (CV) hoặc xử lý ngôn ngữ.

• Bước nhị phân: Một hàm dựa trên ngưỡng, cho kết quả 1 nếu đầu vào vượt quá một giá trị nhất định và 0 nếu ngược lại. Hàm này mô phỏng quá trình kích hoạt của một nơ-ron sinh học, một khái niệm đã được khám phá trong lịch sử nơ-ron nhân tạo trên Wikipedia .
• ReLU (Đơn vị Tuyến tính Chỉnh lưu) : Lựa chọn phổ biến nhất cho các lớp ẩn. Nó xuất trực tiếp đầu vào nếu giá trị dương, ngược lại, đầu ra là 0. Hiệu quả này giúp tăng tốc quá trình huấn luyện mô hình và giảm thiểu vấn đề gradient biến mất .
• Sigmoid : Nén các giá trị giữa 0 và 1, lý tưởng để dự đoán xác suất ở lớp đầu ra của các mô hình phân loại nhị phân.
• SiLU (Đơn vị tuyến tính Sigmoid) : Một hàm trơn tru, không đơn điệu được sử dụng trong các kiến trúc tiên tiến như YOLO11 . Nó cho phép luồng gradient tốt hơn trong các mạng sâu so với ReLU truyền thống.
• Softmax : Chuyển đổi một vectơ số thô thành phân phối xác suất, thường được sử dụng để phân loại hình ảnh đa lớp.

Ứng dụng thực tế trong AI

Các hàm kích hoạt là động lực đằng sau khả năng ra quyết định của các hệ thống AI hiện đại. Việc lựa chọn chúng ảnh hưởng trực tiếp đến độ chính xác và tốc độ suy luận theo thời gian thực .

1. Xe tự hành: Trong các hệ thống xe tự lái, các mô hình phát hiện vật thể xử lý nguồn cấp dữ liệu video để nhận dạng người đi bộ và biển báo giao thông. Các mạng này dựa vào các chức năng hiệu quả như ReLU hoặc SiLU trong các lớp ẩn của chúng để xử lý dữ liệu hình ảnh độ phân giải cao tính bằng mili giây. Lớp đầu ra có thể sử dụng Softmax để phân loại vật thể, giúp xe tự hành quyết định nên phanh hay tăng tốc.
2. Chẩn đoán y tế: Trong phân tích hình ảnh y tế , các mô hình AI phân tích tia X hoặc quét MRI để detect bất thường. Một mô hình được huấn luyện để phát hiện khối u có thể sử dụng hàm Sigmoid ở lớp cuối cùng để đưa ra điểm xác suất (ví dụ: 0,95), cho thấy khả năng chẩn đoán dương tính cao. Độ chính xác này hỗ trợ bác sĩ đưa ra quyết định sáng suốt, như đã thảo luận trong nghiên cứu về AI trong chăm sóc sức khỏe .

Ví dụ triển khai

Các nhà phát triển có thể dễ dàng áp dụng các hàm kích hoạt bằng các thư viện như PyTorch . Ví dụ sau đây minh họa cách các hàm khác nhau biến đổi cùng một dữ liệu đầu vào.

import torch
import torch.nn as nn

# Sample data: a tensor with negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Define activation functions
relu = nn.ReLU()
sigmoid = nn.Sigmoid()

# Apply functions to the data
# ReLU turns negatives to 0; keeps positives unchanged
print(f"ReLU Output:    {relu(data)}")
# Expected: tensor([0., 0., 2.])

# Sigmoid squashes values between 0 and 1
print(f"Sigmoid Output: {sigmoid(data)}")
# Expected: tensor([0.1192, 0.5000, 0.8808])

Để biết thông tin chi tiết về việc triển khai, hãy tham khảo tài liệu PyTorch về kích hoạt phi tuyến tính .

Phân biệt các thuật ngữ liên quan

Sẽ rất hữu ích khi phân biệt các hàm kích hoạt với các thành phần cơ bản khác của quá trình học:

• Hàm Kích hoạt so với Hàm Mất mát : Hàm kích hoạt hoạt động trong quá trình truyền tiến để xác định đầu ra của nơ-ron. Ngược lại, hàm mất mát (như Sai số Bình phương Trung bình) hoạt động ở cuối quá trình truyền tiến để tính toán sai số giữa dự đoán của mô hình và mục tiêu thực tế.
• Hàm Kích hoạt so với Thuật toán Tối ưu hóa : Trong khi hàm kích hoạt xác định hình dạng đầu ra, thuật toán tối ưu hóa (chẳng hạn như Stochastic Gradient Descent ) xác định cách trọng số của mô hình được cập nhật dựa trên các gradient thu được từ đầu ra đó. Bạn có thể tìm hiểu thêm về mối quan hệ này trong Google Machine Learning Glossary .
• Hàm kích hoạt so với Tham số : Tham số ( weights and biases ) được học và cập nhật trong quá trình đào tạo. Các hàm kích hoạt thường là các phép toán cố định được chọn trong giai đoạn thiết kế kiến trúc, mặc dù một số loại nâng cao như PReLU cho phép các tham số có thể học được.