Identity Mapping
Ánh xạ đồng nhất truyền nguyên đầu vào của một khối qua shortcut rồi cộng đầu vào đó với đầu ra, giúp gradient truyền đến các lớp đầu trong mạng sâu.
Trong học sâu, ánh xạ đồng nhất là kết nối truyền nguyên vẹn đầu vào của một khối rồi cộng đầu vào đó với đầu ra của khối, vì vậy khối tính y = x + F(x) thay vì y = F(x). Tên gọi này bắt nguồn từ hàm đồng nhất, f(x) = x. Năm 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren và Jian Sun xây dựng mạng dư (ResNet) dựa trên các kết nối tắt đồng nhất này, giành chiến thắng trong thử thách phân loại ImageNet năm đó với mạng 152 lớp; hiện nay, các kết nối tắt đồng nhất xuất hiện trong hầu hết kiến trúc sâu, từ mạng nơ-ron tích chập (CNN) đến luồng dư của mọi Transformer.
Vì sao ánh xạ đồng nhất giúp huấn luyện mạng sâu#
Trước ResNet, thêm lớp thường khiến mạng hoạt động kém hơn. He và các đồng nghiệp nhận thấy mạng thường 56 lớp có lỗi huấn luyện trên CIFAR-10 cao hơn mạng 20 lớp, nghĩa là độ sâu bổ sung làm giảm hiệu quả tối ưu hóa; họ gọi vấn đề này là suy giảm. Một mạng sâu hơn luôn có thể khớp mạng nông hơn bằng cách đặt các lớp bổ sung thành hàm đồng nhất, nhưng các chồng lớp phi tuyến khó học được hàm đồng nhất. Khối dư chỉ cần học phần chênh lệch F(x) = H(x) - x so với đầu vào; đưa F về 0 sẽ khôi phục ánh xạ đồng nhất.
Kết nối tắt cũng thay đổi quá trình lan truyền ngược. Vì y = x + F(x), đạo hàm của y theo x bằng 1 cộng với đạo hàm của F; hằng số 1 này truyền gradient thẳng ngược qua mọi khối. Trong một chồng lớp thông thường, gradient là tích của nhiều hệ số theo từng lớp; khi các hệ số đó nhỏ hơn 1, tích giảm theo cấp số nhân, gây ra vấn đề gradient biến mất. Chạy cùng 50 lớp trong PyTorch, có và không có kết nối tắt, cho thấy sự khác biệt:
import torch
from torch import nn
torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)
for residual in (False, True):
h = x
for layer in layers:
h = h + layer(h) if residual else layer(h) # identity shortcut adds the input back
loss = h.square().mean()
(grad,) = torch.autograd.grad(loss, x)
print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")Kết quả in ra chuẩn gradient 1.1e-15 tại đầu vào đối với chồng lớp thông thường và 2.8e+00 đối với chồng lớp dư được xây dựng từ cùng bộ trọng số. Nếu không có kết nối tắt, các lớp đầu tiên của mạng này gần như không nhận được tín hiệu huấn luyện.
Giữ cho kết nối tắt thuần nhất#
Trong nghiên cứu tiếp theo năm 2016, Ánh xạ đồng nhất trong mạng dư sâu, cùng nhóm tác giả thử nghiệm các kết nối tắt điều chỉnh tỷ lệ, dùng cổng, tích chập hoặc áp dụng dropout lên x; mọi biến thể đều được huấn luyện kém hơn kết nối đồng nhất thuần túy. Họ cũng chuyển chuẩn hóa batch và hàm kích hoạt vào bên trong nhánh dư, trước các trọng số, để tín hiệu giữa các khối không bị tác động. Thiết kế tiền kích hoạt này huấn luyện ResNet 1.001 lớp trên CIFAR-10 đạt tỷ lệ lỗi 4.62% và ResNet 200 lớp trên ImageNet. Các Transformer hiện đại tuân theo cùng nguyên tắc với khối tiền chuẩn hóa, đặt phép chuẩn hóa bên trong từng nhánh attention và truyền thẳng, đồng thời giữ nguyên luồng dư.
Kết nối tắt đồng nhất yêu cầu đầu vào và đầu ra có cùng hình dạng. Khi một khối thay đổi số kênh hoặc giảm kích thước, ResNet thay bằng kết nối tắt chiếu, thường là phép tích chập 1 x 1 có stride tương ứng:
Ultralytics YOLO26 sử dụng các kết nối tắt đồng nhất xuyên suốt backbone và neck: mỗi khối C3k2 được tạo từ các bottleneck trả về x cộng với đầu ra của hai phép tích chập 3 x 3 khi số kênh đầu vào và đầu ra khớp nhau; khối SPPF cũng cộng đầu vào của nó với đầu ra sau pooling theo cách tương tự.
Khởi tạo đồng nhất#
Một block cũng có thể bắt đầu như một phép đồng nhất. Đặt hệ số scale của lớp batch normalization cuối cùng trong mỗi nhánh residual bằng 0 khiến F(x) = 0 tại thời điểm khởi tạo, vì vậy mạng sâu bắt đầu huấn luyện như thể nó là mạng nông; Priya Goyal và cộng sự đã dùng phương pháp này để huấn luyện ResNet-50 trên ImageNet trong một giờ với batch lớn, và torchvision cung cấp tính năng này dưới dạng zero_init_residual=True. ReZero, được đề xuất năm 2020, nhân mỗi nhánh residual với một scalar có thể học, khởi đầu bằng 0.
Module nn.Identity của PyTorch là một ánh xạ đồng nhất theo đúng nghĩa đen, không có tham số. Thay classifier head bằng module này, như trong model.fc = nn.Identity(), biến mạng phân loại ảnh thành model trích xuất đặc trưng trả về các embedding áp chót.
Các thuật ngữ liên quan#
Skip connection là thuật ngữ bao quát cho mọi đường đi bỏ qua các layer. Residual connection là dạng cộng, còn ánh xạ đồng nhất là residual connection mà đường đi không áp dụng phép biến đổi nào. U-Net và DenseNet dùng skip connection để nối các feature map trước đó thay vì cộng chúng. Bảo toàn danh tính là một thuật ngữ không liên quan trong AI tạo sinh và tracking, chỉ việc một người được tạo ra hoặc theo dõi giữ nguyên diện mạo dễ nhận biết qua các ảnh hoặc khung hình video.










