Residual Networks (ResNet)

Residual Networks, được biết đến rộng rãi là ResNet, là một loại kiến trúc mạng neural nhân tạo (ANN) cụ thể được thiết kế để cho phép huấn luyện các mạng cực kỳ sâu. Được giới thiệu bởi các nhà nghiên cứu tại Microsoft vào năm 2015, ResNet đã giải quyết một nút thắt cổ chai quan trọng trong deep learning được gọi là vấn đề mất mát gradient (vanishing gradient problem). Trong các mạng truyền thống, việc chồng thêm các lớp thường dẫn đến bão hòa hoặc suy giảm hiệu suất vì tín hiệu cần thiết để cập nhật trọng số model sẽ mờ dần khi lan truyền ngược qua các lớp. ResNet đã giới thiệu các "kết nối tắt" (skip connections, hoặc kết nối phần dư), cho phép dữ liệu bỏ qua một hoặc nhiều lớp và đi thẳng đến các giai đoạn xử lý tiếp theo. Đổi mới này chứng minh rằng các mạng sâu hơn có thể được huấn luyện hiệu quả, mang lại những bước đột phá đáng kể trong computer vision (CV) và trở thành một khái niệm nền tảng cho các kiến trúc hiện đại.

Khái niệm cốt lõi: Residual Learning#

Tính năng xác định của một ResNet là "khối phần dư" (residual block). Trong một mạng neural tích chập (CNN) tiêu chuẩn, mỗi lớp cố gắng học một phép ánh xạ trực tiếp từ đầu vào sang đầu ra. Khi các mạng ngày càng sâu hơn, việc học phép ánh xạ trực tiếp này trở nên khó khăn hơn đáng kể.

ResNet thay đổi cách tiếp cận này bằng cách định hình mục tiêu học tập theo một hướng khác. Thay vì hy vọng mỗi chồng lớp học được toàn bộ phép ánh xạ cơ bản, khối phần dư buộc các lớp phải học "phần dư" (residual)—hoặc sự khác biệt—giữa đầu vào và đầu ra mong muốn. Đầu vào ban đầu sau đó được cộng ngược lại vào phần dư đã học thông qua một kết nối tắt. Sự thay đổi cấu trúc này có nghĩa là nếu một phép ánh xạ đồng nhất (truyền đầu vào không đổi) là tối ưu, mạng có thể dễ dàng học cách đẩy phần dư về zero. Điều này làm cho các model deep learning (DL) dễ tối ưu hóa hơn nhiều, cho phép chúng mở rộng từ hàng chục lên hàng trăm hoặc thậm chí hàng nghìn lớp.

Các biến thể kiến trúc chính#

Kể từ khi ra đời, một số biến thể của ResNet đã trở thành các chuẩn benchmark trong cộng đồng AI.

• ResNet-50: Phiên bản 50 lớp sử dụng thiết kế "nút cổ chai" (bottleneck). Thiết kế này sử dụng các phép tích chập 1x1 để giảm và sau đó khôi phục kích thước, giúp mạng đạt hiệu quả tính toán cao trong khi vẫn duy trì độ chính xác lớn.
• ResNet-101 và ResNet-152: Các biến thể sâu hơn lần lượt có 101 và 152 lớp. Các biến thể này thường được sử dụng khi tài nguyên tính toán cho phép độ phức tạp cao hơn để nắm bắt các bản đồ đặc trưng phức tạp hơn.
• ResNeXt: Một sự tiến hóa của ResNet giới thiệu chiều "cardinality" (tính lực lượng), chia khối dư thành nhiều đường dẫn song song, giúp cải thiện hiệu quả và hiệu suất.

Các ứng dụng trong thực tế#

Sự mạnh mẽ của các kiến trúc ResNet đã biến chúng thành lựa chọn ưu tiên cho hàng loạt các tác vụ thị giác.

• Phân tích hình ảnh y tế: Trong y tế, việc xác định các dị thường tinh vi trong các bản quét độ phân giải cao là tối quan trọng. Các model dựa trên ResNet thường được sử dụng để phát hiện các tình trạng như phát hiện khối u trong hình ảnh y tế, trong đó độ sâu của mạng giúp nhận diện các mẫu chi tiết trong dữ liệu MRI hoặc CT.
• Xe tự lái: Xe tự hành đòi hỏi khả năng trích xuất đặc trưng đáng tin cậy từ nguồn cấp dữ liệu camera để nhận diện người đi bộ, biển báo và chướng ngại vật. ResNets thường đóng vai trò là backbone cho các hệ thống phát hiện đối tượng trong các ứng dụng AI trong ngành ô tô, cung cấp các đặc trưng trực quan phong phú cần thiết cho điều hướng an toàn.

ResNet so với các kiến trúc khác#

Việc phân biệt ResNet với các kiến trúc phổ biến khác là rất hữu ích để hiểu rõ công dụng cụ thể của nó.

• ResNet so với VGG: Các mạng VGG (Visual Geometry Group) cũng là các CNN sâu nhưng thiếu các kết nối phần dư. Do đó, chúng khó huấn luyện hơn nhiều ở độ sâu tương đương với ResNet và thường tốn kém tính toán hơn do có các lớp kết nối đầy đủ (fully connected) lớn.
• ResNet so với Inception: Các mạng Inception tập trung vào chiều rộng, sử dụng các bộ lọc với nhiều kích thước khác nhau trong cùng một lớp để nắm bắt các đặc trưng ở các tỷ lệ khác nhau. ResNet tập trung vào độ sâu. Các kiến trúc hiện đại như Inception-ResNet kết hợp cả hai khái niệm này.
• ResNet so với Vision Transformer (ViT): Mặc dù ViT sử dụng các cơ chế tự chú ý (self-attention) để xử lý hình ảnh toàn cục, ResNets lại dựa vào các phép tích chập cục bộ. Tuy nhiên, ResNets vẫn là một baseline mạnh mẽ và thường nhanh hơn cho các tập dữ liệu nhỏ hơn hoặc tác vụ inference thời gian thực.

Ví dụ về triển khai#

Các thư viện deep learning hiện đại như PyTorch giúp việc truy cập các model ResNet được huấn luyện trước trở nên đơn giản. Những model này cực kỳ hữu ích cho transfer learning, trong đó một model được huấn luyện trên một tập dữ liệu lớn như ImageNet được tinh chỉnh cho một tác vụ cụ thể.

Đoạn mã Python sau đây minh họa cách tải một model ResNet-50 được huấn luyện trước bằng cách sử dụng torchvision (một phần của hệ sinh thái PyTorch) và thực hiện một quá trình chuyển tiếp (forward pass) đơn giản. Mặc dù người dùng của Ultralytics Platform thường có thể sử dụng YOLO26 để phát hiện, việc hiểu các khái niệm backbone cơ bản như ResNet là rất quan trọng đối với việc tùy chỉnh nâng cao.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Ý nghĩa trong AI hiện đại#

Mặc dù các kiến trúc mới hơn như YOLO26 áp dụng các cấu trúc được tối ưu hóa cao cho tốc độ và độ chính xác tối đa, các nguyên tắc học phần dư vẫn xuất hiện khắp nơi. Khái niệm kết nối tắt giờ đây là một thành phần tiêu chuẩn trong nhiều mạng tiên tiến, bao gồm các transformer được sử dụng trong natural language processing (NLP) và các model object detection mới nhất. Bằng cách cho phép thông tin truyền qua mạng một cách tự do hơn, ResNet đã dọn đường cho các model sâu và phức tạp cung cấp sức mạnh cho trí tuệ nhân tạo ngày nay.