Sigmoid

Hàm Sigmoid là một hàm kích hoạt phổ biến được sử dụng trong học máy (ML) và học sâu (DL). Nó là một hàm toán học tạo ra một đường cong hình chữ "S" đặc trưng, hay còn gọi là đường cong sigmoid. Mục đích chính của nó là lấy bất kỳ số thực nào và "nén" nó vào một phạm vi từ 0 đến 1. Đầu ra này thường được hiểu là một xác suất, làm cho Sigmoid đặc biệt hữu ích trong các mô hình mà mục tiêu là dự đoán khả năng xảy ra của một kết quả. Bằng cách đưa tính phi tuyến vào một mạng nơ-ron (NN), nó cho phép mô hình học các mẫu phức tạp từ dữ liệu mà nếu không có các phép biến đổi tuyến tính đơn giản thì không thể thực hiện được.

Vai trò và ứng dụng

Khả năng ánh xạ các đầu vào thành một đầu ra giống như xác suất của hàm Sigmoid làm cho nó trở thành nền tảng cho một số loại tác vụ nhất định. Mặc dù nó đã trở nên ít phổ biến hơn trong các lớp ẩn của mạng nơ-ron sâu hiện đại, nhưng nó vẫn là một lựa chọn tiêu chuẩn cho lớp đầu ra trong các tình huống cụ thể.

Các ứng dụng chính

• Phân loại nhị phân (Binary Classification): Trong các bài toán phân loại nhị phân, mục tiêu là phân loại một đầu vào vào một trong hai lớp (ví dụ: thư rác hoặc không phải thư rác, có bệnh hoặc không có bệnh). Một hàm Sigmoid ở lớp đầu ra cung cấp một giá trị duy nhất từ 0 đến 1, biểu thị xác suất đầu vào thuộc về lớp dương tính. Ví dụ: một mô hình phân tích hình ảnh y tế có thể sử dụng Sigmoid để xuất ra xác suất 0,9, cho biết có 90% khả năng khối u là ác tính.
• Phân loại đa nhãn: Không giống như phân loại đa lớp, trong đó một đầu vào chỉ thuộc về một lớp, các tác vụ đa nhãn cho phép một đầu vào được liên kết với nhiều nhãn đồng thời. Ví dụ: một mô hình phát hiện đối tượng như Ultralytics YOLO có thể phân tích một hình ảnh và xác định "ô tô", "người đi bộ" và "đèn giao thông" cùng một lúc. Trong trường hợp này, một hàm Sigmoid được áp dụng cho từng nơ-ron đầu ra một cách độc lập, đưa ra xác suất cho mỗi nhãn có thể. Bạn có thể tìm hiểu thêm về sự phát triển của phát hiện đối tượng.
• Cơ Chế Điều Khiển (Gating Mechanisms) trong RNNs: Các hàm Sigmoid là một thành phần cốt lõi trong cơ chế điều khiển của Mạng Nơ-ron Hồi Quy (RNNs), chẳng hạn như Bộ Nhớ Dài-Ngắn Hạn (LSTM) và Đơn Vị Hồi Quy Điều Khiển (GRU). Các cổng này sử dụng Sigmoid để kiểm soát luồng thông tin, quyết định dữ liệu nào cần giữ lại hoặc loại bỏ ở mỗi bước. Cơ chế này rất quan trọng để học các phụ thuộc dài hạn trong dữ liệu tuần tự, như được giải thích trong bài đăng blog chi tiết này về hiểu LSTM.

So Sánh Với Các Hàm Kích Hoạt Khác

Điều quan trọng là phải phân biệt hàm Sigmoid với các hàm kích hoạt khác để hiểu khi nào nên sử dụng nó.

• Softmax: Hàm Softmax thường được sử dụng cho các bài toán phân loại đa lớp, trong đó mỗi đầu vào thuộc về chính xác một trong số một vài lớp có thể có. Không giống như Sigmoid, tính toán xác suất độc lập cho mỗi đầu ra, Softmax tính toán phân phối xác suất trên tất cả các lớp có tổng bằng 1. Ví dụ: một mô hình phân loại chữ số viết tay từ bộ dữ liệu MNIST sẽ sử dụng Softmax để gán một xác suất duy nhất cho mỗi chữ số từ 0 đến 9.
• ReLU (Rectified Linear Unit): ReLU đã trở thành tiêu chuẩn mặc định cho các lớp ẩn trong mạng nơ-ron sâu. Nó hiệu quả hơn về mặt tính toán và giúp giảm thiểu vấn đề vanishing gradient (mất đạo hàm)—một vấn đề đáng kể với Sigmoid, trong đó các gradient trở nên cực kỳ nhỏ trong quá trình backpropagation (lan truyền ngược), làm chậm hoặc dừng quá trình học. Bạn có thể đọc thêm về những thách thức của gradient trong bài viết này của DeepLearning.AI.
• SiLU (Sigmoid Linear Unit): Còn được gọi là Swish, SiLU là một hàm kích hoạt hiện đại hơn có nguồn gốc từ Sigmoid. Nó thường hoạt động tốt hơn ReLU trong các mô hình sâu hơn, bao gồm cả các kiến trúc thị giác máy tính (computer vision) tiên tiến. Các mô hình Ultralytics thường tận dụng các hàm kích hoạt nâng cao để đạt được sự cân bằng tốt hơn giữa tốc độ và độ chính xác.

Tính khả dụng và cách sử dụng hiện đại

Mặc dù ít phổ biến hơn trong các lớp ẩn ngày nay, Sigmoid vẫn là một lựa chọn tiêu chuẩn cho các lớp đầu ra trong các tác vụ phân loại nhị phân và đa nhãn. Nó cũng tạo thành một thành phần cốt lõi trong các cơ chế cổng trong các kiến trúc phức tạp xử lý dữ liệu tuần tự.

Sigmoid có sẵn trong tất cả các thư viện chính các framework học sâu, bao gồm PyTorch (như torch.sigmoid) và TensorFlow (như tf.keras.activations.sigmoid). Các nền tảng như Ultralytics HUB hỗ trợ các mô hình sử dụng nhiều hàm kích hoạt khác nhau, cho phép người dùng huấn luyện và triển khai các giải pháp thị giác máy tính phức tạp.