Dropout Layer

Lớp dropout là một kỹ thuật regularization cơ bản được sử dụng trong các mạng thần kinh (NN) để chống lại vấn đề phổ biến là quá khớp (overfitting). Khi một model được huấn luyện trên một tập hợp dữ liệu hữu hạn, nó thường học cách ghi nhớ nhiễu và các chi tiết cụ thể của dữ liệu huấn luyện thay vì phân biệt các mô hình tổng quát bên dưới. Việc ghi nhớ này dẫn đến độ chính xác cao trong quá trình phát triển nhưng hiệu suất kém trên các đầu vào mới, chưa từng thấy. Dropout giải quyết vấn đề này bằng cách ngẫu nhiên hủy kích hoạt—hay "loại bỏ"—một phần các neuron trong một lớp trong mỗi bước của quá trình huấn luyện. Chiến lược đơn giản nhưng hiệu quả này, được giới thiệu trong một bài báo nghiên cứu quan trọng của Srivastava et al., đã cải thiện đáng kể tính ổn định và hiệu suất của các kiến trúc deep learning (DL).

Link to this sectionCách thức hoạt động của các lớp Dropout#

Cơ chế đằng sau một lớp dropout có tính trực quan tương tự như việc loại bỏ các cầu thủ khỏi một đội thể thao trong khi luyện tập để buộc các cầu thủ còn lại phải làm việc chăm chỉ hơn và không dựa dẫm vào một ngôi sao duy nhất. Trong giai đoạn huấn luyện model, lớp này tạo ra một mặt nạ xác suất gồm các số không và số một. Nếu tỷ lệ dropout được đặt là 0.5, khoảng 50% các neuron sẽ tạm thời bị bỏ qua trong lượt truyền xuôi và truyền ngược cụ thể đó. Quá trình này buộc các neuron hoạt động còn lại phải học các đặc trưng mạnh mẽ một cách độc lập, ngăn chặn mạng lưới phụ thuộc quá nhiều vào bất kỳ neuron đơn lẻ nào—một hiện tượng được gọi trong machine learning (ML) là sự đồng thích nghi đặc trưng (feature co-adaptation).

Trong quá trình suy luận thời gian thực, hay giai đoạn kiểm thử, lớp dropout thường bị hủy kích hoạt. Tất cả các neuron vẫn hoạt động để tận dụng tối đa năng lực dự đoán của model đã được huấn luyện. Để đảm bảo các giá trị kích hoạt tổng thể vẫn nhất quán với giai đoạn huấn luyện, các trọng số thường được tự động điều chỉnh tỷ lệ bởi framework. Các thư viện hiện đại như PyTorch xử lý các thao tác điều chỉnh tỷ lệ toán học này một cách liền mạch, cho phép các lập trình viên tập trung vào kiến trúc thay vì tính toán số học.

Link to this sectionTriển khai thực tế với YOLO#

Đối với người dùng gói ultralytics, việc áp dụng dropout cho một model tiên tiến như YOLO26 đơn giản như việc điều chỉnh một đối số huấn luyện. Điều này đặc biệt hữu ích khi làm việc với các tập dữ liệu nhỏ hơn, nơi rủi ro quá khớp cao hơn. Bằng cách đưa vào tính ngẫu nhiên, bạn có thể khuyến khích model khái quát hóa tốt hơn trong các môi trường đa dạng.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model with a custom dropout rate of 0.1 (10%)
# This encourages the model to learn more generalized features
results = model.train(data="coco8.yaml", epochs=50, dropout=0.1)

Link to this sectionCác ứng dụng trong thực tế#

Dropout là thứ không thể thiếu trong nhiều lĩnh vực trí tuệ nhân tạo (AI), nơi các model sử dụng số lượng tham số lớn so với lượng dữ liệu khả dụng.

1. Hệ thống lái xe tự động: Trong các tác vụ như phát hiện đối tượng cho phương tiện, một model thị giác phải hoạt động đáng tin cậy trong các điều kiện thời tiết khác nhau. Một model được huấn luyện mà không có regularization có thể ghi nhớ ánh sáng cụ thể của một ngày nắng trong tập huấn luyện. Bằng cách áp dụng dropout, các lập trình viên làm việc về AI trong ô tô đảm bảo mạng lưới tập trung vào các hình dạng thiết yếu—như người đi bộ hoặc biển báo dừng—thay vì các kết cấu nền, giúp cải thiện an toàn trong mưa hoặc sương mù.

2. Chẩn đoán y tế: Khi thực hiện phân tích hình ảnh y tế, các tập dữ liệu thường đắt đỏ để thu thập và có quy mô hạn chế. Một mạng sâu có thể vô tình học cách xác định bệnh dựa trên các nhiễu đặc trưng của máy X-quang được sử dụng để thu thập dữ liệu. Dropout ngăn chặn điều này bằng cách thêm nhiễu vào quá trình học, đảm bảo model xác định được các đặc trưng sinh học của bệnh lý thay vì các dấu hiệu cụ thể của thiết bị, điều này rất quan trọng đối với AI trong chăm sóc sức khỏe.

Link to this sectionDropout so với các kỹ thuật Regularization khác#

Mặc dù dropout cực kỳ hiệu quả, nó thường được sử dụng cùng với các kỹ thuật khác. Nó khác biệt với tăng cường dữ liệu (data augmentation), vốn sửa đổi các hình ảnh đầu vào (ví dụ: lật hoặc xoay) thay vì chính kiến trúc mạng. Tương tự, nó khác với chuẩn hóa hàng loạt (batch normalization), vốn chuẩn hóa đầu vào của lớp để ổn định quá trình học nhưng không chủ động hủy kích hoạt các neuron.

Đối với các dự án phức tạp, việc quản lý các siêu tham số này có thể là một thách thức. Nền tảng Ultralytics đơn giản hóa điều này bằng cách cung cấp các công cụ để trực quan hóa các chỉ số huấn luyện, giúp người dùng xác định xem tỷ lệ dropout của họ có đang giảm thiểu tổn thất xác thực (validation loss) một cách hiệu quả hay không. Cho dù bạn đang xây dựng một hệ thống phân loại hình ảnh tùy chỉnh hay một pipeline phân đoạn (segmentation) phức tạp, việc hiểu về dropout là chìa khóa để xây dựng các hệ thống AI bền bỉ.