Convolutional Neural Network (CNN)

Mạng nơ-ron tích chập (CNN) là một kiến trúc deep learning xử lý dữ liệu dạng lưới, phổ biến nhất là hình ảnh, bằng các filter nhỏ có thể học và trượt trên đầu vào. Mỗi filter sử dụng lại cùng trọng số ở mọi vị trí, nên CNN phát hiện một mẫu như cạnh hoặc bánh xe ở bất kỳ nơi nào mẫu đó xuất hiện, đồng thời dùng ít tham số hơn nhiều so với mạng kết nối đầy đủ. Các lớp xếp chồng tạo nên hệ thống phân cấp đặc trưng, từ cạnh và kết cấu ở các lớp đầu đến bộ phận và toàn bộ đối tượng ở các lớp sâu hơn. CNN thúc đẩy phần lớn tiến bộ trong thị giác máy tính kể từ khi AlexNet chiến thắng thử thách ImageNet năm 2012, và vẫn là lựa chọn phổ biến nhất cho thị giác thời gian thực trên phần cứng biên.

Cách CNN hoạt động#

CNN lặp lại một số loại lớp qua nhiều giai đoạn, mỗi giai đoạn hoạt động ở độ phân giải thấp hơn giai đoạn trước:

• Các lớp tích chập: Mỗi lớp trượt một tập filter có thể học, thường là 3×3, trên chiều cao và chiều rộng của đầu vào. Mỗi filter tạo ra một channel của feature map đầu ra, vì vậy lớp có 64 filter sẽ xuất ra 64 channel.
• Chuẩn hóa và activation: Batch normalization giữ đầu ra của mỗi lớp trong phạm vi ổn định khi huấn luyện; hàm activation phi tuyến như ReLU hoặc SiLU cho phép các lớp xếp chồng biểu diễn nhiều hơn một phép biến đổi tuyến tính.
• Giảm kích thước: Max pooling hoặc phép tích chập stride 2 giảm một nửa chiều cao và chiều rộng, giúp mở rộng trường tiếp nhận của các lớp sau và giảm tính toán. Nhiều thiết kế hiện đại chủ yếu giảm kích thước bằng các phép tích chập có stride.
• Head: Với phân loại ảnh, global average pooling rút gọn mỗi channel cuối cùng thành một số, rồi một lớp kết nối đầy đủ ánh xạ các số đó thành điểm số lớp. Các model phát hiện và phân đoạn thay head này bằng những lớp dự đoán bounding box hoặc mask theo từng pixel.

Các đặc tính chính của CNN#

Ba đặc tính lý giải vì sao phép tích chập phù hợp với hình ảnh. Kết nối cục bộ nghĩa là mỗi đầu ra chỉ phụ thuộc vào một vùng lân cận nhỏ của đầu vào, phù hợp với mối tương quan mạnh giữa các pixel gần nhau. Chia sẻ trọng số nghĩa là một filter xử lý toàn bộ hình ảnh, vì vậy số lượng tham số không đổi ở mọi kích thước đầu vào. Tương đương tịnh tiến nghĩa là khi dịch chuyển đầu vào, feature map cũng dịch chuyển cùng khoảng, nhờ đó mẫu được học ở một góc sẽ được nhận diện ở mọi nơi; các lớp pooling còn bổ sung khả năng chịu đựng một số dịch chuyển nhỏ. Kết hợp lại, các đặc tính này tạo nên inductive bias của CNN, tức những giả định tích hợp sẵn giúp CNN học từ ít hình ảnh hơn so với transformer.

Đoạn mã PyTorch bên dưới so sánh một lớp tích chập với một lớp kết nối đầy đủ áp dụng cho cùng hình ảnh RGB 224×224.

import torch
from torch import nn

image = torch.randn(1, 3, 224, 224)

# 64 learnable 3x3 filters, each reused at every position of the RGB image
conv = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, padding=1)

# A fully connected layer mapping the same flattened image to only 64 numbers
dense = nn.Linear(3 * 224 * 224, 64)

conv_params = sum(p.numel() for p in conv.parameters())
dense_params = sum(p.numel() for p in dense.parameters())
print(f"Conv2d: output {tuple(conv(image).shape)}, {conv_params:,} parameters")
print(f"Linear: output {tuple(dense(image.flatten(1)).shape)}, {dense_params:,} parameters")

Đoạn mã in ra Conv2d: output (1, 64, 224, 224), 1,792 parameters và Linear: output (1, 64), 9,633,856 parameters. Nhờ chia sẻ trọng số, phép tích chập tạo ra 64 feature map có độ phân giải đầy đủ chỉ với 1.792 tham số; lớp kết nối đầy đủ cần số tham số nhiều gấp 5.376 lần để chỉ xuất ra 64 số.

Các kiến trúc CNN tiêu biểu#

• LeNet-5 (1998): Mạng của Yann LeCun dùng để đọc chữ số viết tay đã thiết lập mô hình gồm các lớp tích chập và pooling xen kẽ, theo sau là các lớp kết nối đầy đủ; mạng này được triển khai thương mại để đọc séc ngân hàng.
• AlexNet (2012): Được huấn luyện trên hai GPU với activation ReLU và dropout, AlexNet chiến thắng thử thách ILSVRC 2012 với tỷ lệ lỗi top-5 trên tập kiểm thử là 15,3%, so với 26,2% của bài dự thi đứng thứ hai.
• VGG (2014): Cho thấy việc xếp chồng các phép tích chập 3×3 nhỏ thành mạng có độ sâu 16 đến 19 lớp trọng số giúp cải thiện đáng kể độ chính xác trên ImageNet.
• ResNet (2015): Các kết nối dư giúp huấn luyện được mạng sâu tới 152 lớp, và một tổ hợp ResNet đã chiến thắng ILSVRC 2015.
• U-Net (2015): CNN encoder-decoder với các kết nối tắt, trở thành kiến trúc tiêu chuẩn cho phân đoạn ảnh y sinh.
• ConvNeXt (2022): ResNet được hiện đại hóa bằng các lựa chọn thiết kế từ thời kỳ transformer, đạt độ chính xác top-1 trên ImageNet là 87,8% và vượt Swin Transformer trong phát hiện trên COCO.

CNN được sử dụng ở đâu#

• Phát hiện đối tượng: Detector CNN một giai đoạn tìm và phân loại đối tượng trong một lượt forward, đủ nhanh để xử lý video trên camera, điện thoại và bo mạch nhúng.
• Phân tích ảnh y tế: CNN kiểu U-Net phân đoạn cơ quan, khối u và tổn thương trên ảnh quét CT và MRI, nơi nhãn của từng pixel đều quan trọng.
• Ước lượng tư thế: CNN dự đoán keypoint cơ thể cho phân tích thể thao, công thái học và ứng dụng thể hình.
• Tín hiệu ngoài hình ảnh: Tích chập một chiều xử lý dạng sóng âm thanh và chuỗi thời gian từ cảm biến; CNN hai chiều phân loại spectrogram trong nhận dạng giọng nói.

CNN và Vision Transformer#

Vision Transformer (ViT) chia hình ảnh thành các patch và liên kết từng patch với tất cả patch còn lại bằng self-attention, nên có ngữ cảnh toàn cục ngay từ lớp đầu tiên. Inductive bias yếu hơn của ViT đi kèm một cái giá: ViT ban đầu kém hơn ResNet có kích thước tương đương khi chỉ được huấn luyện trên ImageNet, và chỉ bắt kịp hoặc vượt qua ResNet sau khi tiền huấn luyện trên 14 triệu đến 300 triệu hình ảnh. Chi phí attention cũng tăng theo bình phương số patch, khiến đầu vào độ phân giải cao trở nên tốn kém; trong khi đó, chi phí của phép tích chập chỉ tăng tuyến tính theo số pixel. Vì vậy, nhiều model hiện nay kết hợp cả hai, giữ các giai đoạn tích chập ở độ phân giải cao và bổ sung attention khi feature map nhỏ. YOLO26 áp dụng cách này: các khối Conv (tích chập, batch normalization và SiLU) cùng khối C3k2 thực hiện phần lớn công việc; self-attention nhiều head chỉ chạy trên feature map stride-32, tức lưới 20×20 với hình ảnh 640×640.