Mạng dư thừa (ResNet)

Mạng dư, thường được gọi là ResNet, là một loại kiến trúc mạng nơ-ron (NN) đột phá, có tác động sâu sắc đến lĩnh vực học sâu . Được giới thiệu bởi Kaiming He và cộng sự trong bài báo năm 2015, " Học dư sâu cho nhận dạng hình ảnh ", ResNet cho phép huấn luyện hiệu quả các mạng nơ-ron cực sâu, với hàng trăm hoặc thậm chí hàng nghìn lớp. Điều này đạt được bằng cách sử dụng "khối dư" với "kết nối bỏ qua", một khái niệm đơn giản nhưng mạnh mẽ giúp giảm thiểu vấn đề mất dần độ dốc , thường gặp ở các mạng rất sâu.

ResNet hoạt động như thế nào

Cải tiến cốt lõi của ResNet là việc sử dụng kết nối bỏ qua hoặc phím tắt. Trong Mạng Nơ-ron Tích chập (CNN) truyền thống, mỗi lớp truyền dữ liệu đầu ra trực tiếp đến lớp tiếp theo theo trình tự. Khi mạng càng sâu, việc học và lan truyền gradient trở nên ngày càng khó khăn trong quá trình huấn luyện . Điều này có thể dẫn đến tình huống việc thêm nhiều lớp thực sự làm giảm hiệu suất của mô hình.

ResNet giải quyết vấn đề này bằng cách cho phép thêm đầu vào của một lớp (hoặc một khối các lớp) vào đầu ra của nó. Kết nối bỏ qua này tạo ra một đường dẫn thay thế cho gradient chảy qua, đảm bảo rằng ngay cả các mạng rất sâu cũng có thể được huấn luyện hiệu quả. Cấu trúc này cho phép mạng học các hàm thặng dư—về cơ bản, các lớp chỉ cần học các thay đổi hoặc thặng dư từ đầu vào, thay vì toàn bộ phép biến đổi. Nếu một lớp không có lợi, mạng có thể dễ dàng học cách bỏ qua nó bằng cách đưa trọng số của nó về 0, cho phép ánh xạ danh tính được truyền qua kết nối bỏ qua.

ResNet so với các kiến trúc khác

• CNN tiêu chuẩn : Không giống như CNN tuần tự tiêu chuẩn, ResNet có thể phát triển sâu hơn nhiều mà không làm giảm hiệu suất, nhờ vào khả năng học dư. Độ sâu này cho phép chúng học các tính năng phức tạp hơn và đạt được độ chính xác cao hơn trong các tác vụ khó.
• U-Net : Mặc dù U-Net cũng sử dụng kết nối bỏ qua, nhưng mục đích của nó lại khác. Trong U-Net, kết nối bỏ qua liên kết các lớp từ đường dẫn lấy mẫu xuống đến đường dẫn lấy mẫu lên để khôi phục thông tin không gian cho việc phân đoạn ảnh chính xác. Trong ResNet, các kết nối thường ngắn hơn và được thiết kế để cải thiện luồng gradient và cho phép kiến trúc sâu hơn.

Ứng dụng trong thế giới thực

Khả năng trích xuất tính năng mạnh mẽ của ResNet khiến nó trở thành lựa chọn phổ biến làm nền tảng cho nhiều tác vụ thị giác máy tính phức tạp.

• Phân tích hình ảnh y tế : Trong AI chăm sóc sức khỏe , kiến trúc ResNet được sử dụng để phân tích các hình ảnh quét y tế như X-quang, CT và MRI. Ví dụ, một mô hình dựa trên ResNet có thể được đào tạo trên một tập dữ liệu quét não để giúp các bác sĩ X-quang phát hiện khối u sớm, cải thiện độ chính xác và tốc độ chẩn đoán.
• Lái xe tự động : Các hệ thống trong xe tự lái dựa vào nền tảng vững chắc để nhận thức thời gian thực. ResNet thường được sử dụng để xử lý dữ liệu đầu vào từ camera nhằm phát hiện vật thể , nhận dạng người đi bộ, phương tiện và biển báo giao thông, điều này rất quan trọng đối với các hệ thống dẫn đường an toàn do các công ty như Waymo phát triển.

Công cụ và triển khai

Kiến trúc ResNet được triển khai rộng rãi trong các nền tảng học sâu lớn như PyTorch và TensorFlow . Các mô hình được đào tạo trước, thường được đào tạo trên tập dữ liệu ImageNet quy mô lớn, có sẵn thông qua các thư viện như torchvision , giúp hỗ trợ học chuyển giao hiệu quả cho các ứng dụng tùy chỉnh. Các nền tảng như Ultralytics HUB cho phép người dùng tận dụng nhiều kiến trúc khác nhau, bao gồm cả các mô hình dựa trên ResNet, để đào tạo các mô hình tùy chỉnh cho nhu cầu cụ thể của họ. Mặc dù ResNet đặt ra một mức hiệu suất cơ bản mạnh mẽ, nhưng các kiến trúc mới hơn như EfficientNet đã được phát triển để mang lại hiệu quả tốt hơn. Bạn có thể tìm thêm tài liệu giáo dục về CNN tại khóa học CS231n của Stanford hoặc thông qua các khóa học từ các nhà cung cấp như DeepLearning.AI .