Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Identity Mapping

Ánh xạ đồng nhất truyền nguyên đầu vào của một khối qua shortcut rồi cộng đầu vào đó với đầu ra, giúp gradient truyền đến các lớp đầu trong mạng sâu.

Trong học sâu, ánh xạ đồng nhất là kết nối truyền nguyên vẹn đầu vào của một khối rồi cộng đầu vào đó với đầu ra của khối, vì vậy khối tính y = x + F(x) thay vì y = F(x). Tên gọi này bắt nguồn từ hàm đồng nhất, f(x) = x. Năm 2015, Kaiming He, Xiangyu Zhang, Shaoqing Ren và Jian Sun xây dựng mạng dư (ResNet) dựa trên các kết nối tắt đồng nhất này, giành chiến thắng trong thử thách phân loại ImageNet năm đó với mạng 152 lớp; hiện nay, các kết nối tắt đồng nhất xuất hiện trong hầu hết kiến trúc sâu, từ mạng nơ-ron tích chập (CNN) đến luồng dư của mọi Transformer.

Vì sao ánh xạ đồng nhất giúp huấn luyện mạng sâu#

Trước ResNet, thêm lớp thường khiến mạng hoạt động kém hơn. He và các đồng nghiệp nhận thấy mạng thường 56 lớp có lỗi huấn luyện trên CIFAR-10 cao hơn mạng 20 lớp, nghĩa là độ sâu bổ sung làm giảm hiệu quả tối ưu hóa; họ gọi vấn đề này là suy giảm. Một mạng sâu hơn luôn có thể khớp mạng nông hơn bằng cách đặt các lớp bổ sung thành hàm đồng nhất, nhưng các chồng lớp phi tuyến khó học được hàm đồng nhất. Khối dư chỉ cần học phần chênh lệch F(x) = H(x) - x so với đầu vào; đưa F về 0 sẽ khôi phục ánh xạ đồng nhất.

Kết nối tắt cũng thay đổi quá trình lan truyền ngược. Vì y = x + F(x), đạo hàm của y theo x bằng 1 cộng với đạo hàm của F; hằng số 1 này truyền gradient thẳng ngược qua mọi khối. Trong một chồng lớp thông thường, gradient là tích của nhiều hệ số theo từng lớp; khi các hệ số đó nhỏ hơn 1, tích giảm theo cấp số nhân, gây ra vấn đề gradient biến mất. Chạy cùng 50 lớp trong PyTorch, có và không có kết nối tắt, cho thấy sự khác biệt:

import torch
from torch import nn

torch.manual_seed(0)
# 50 identical-shape layers, reused for a plain and a residual stack
layers = [nn.Sequential(nn.Linear(64, 64), nn.Tanh()) for _ in range(50)]
x = torch.randn(32, 64, requires_grad=True)

for residual in (False, True):
    h = x
    for layer in layers:
        h = h + layer(h) if residual else layer(h)  # identity shortcut adds the input back
    loss = h.square().mean()
    (grad,) = torch.autograd.grad(loss, x)
    print(f"residual={residual}: gradient norm at the input {grad.norm():.1e}")

Kết quả in ra chuẩn gradient 1.1e-15 tại đầu vào đối với chồng lớp thông thường và 2.8e+00 đối với chồng lớp dư được xây dựng từ cùng bộ trọng số. Nếu không có kết nối tắt, các lớp đầu tiên của mạng này gần như không nhận được tín hiệu huấn luyện.

Giữ cho kết nối tắt thuần nhất#

Trong nghiên cứu tiếp theo năm 2016, Ánh xạ đồng nhất trong mạng dư sâu, cùng nhóm tác giả thử nghiệm các kết nối tắt điều chỉnh tỷ lệ, dùng cổng, tích chập hoặc áp dụng dropout lên x; mọi biến thể đều được huấn luyện kém hơn kết nối đồng nhất thuần túy. Họ cũng chuyển chuẩn hóa batch và hàm kích hoạt vào bên trong nhánh dư, trước các trọng số, để tín hiệu giữa các khối không bị tác động. Thiết kế tiền kích hoạt này huấn luyện ResNet 1.001 lớp trên CIFAR-10 đạt tỷ lệ lỗi 4.62% và ResNet 200 lớp trên ImageNet. Các Transformer hiện đại tuân theo cùng nguyên tắc với khối tiền chuẩn hóa, đặt phép chuẩn hóa bên trong từng nhánh attention và truyền thẳng, đồng thời giữ nguyên luồng dư.

Kết nối tắt đồng nhất yêu cầu đầu vào và đầu ra có cùng hình dạng. Khi một khối thay đổi số kênh hoặc giảm kích thước, ResNet thay bằng kết nối tắt chiếu, thường là phép tích chập 1 x 1 có stride tương ứng:

Ultralytics YOLO26 sử dụng các kết nối tắt đồng nhất xuyên suốt backbone và neck: mỗi khối C3k2 được tạo từ các bottleneck trả về x cộng với đầu ra của hai phép tích chập 3 x 3 khi số kênh đầu vào và đầu ra khớp nhau; khối SPPF cũng cộng đầu vào của nó với đầu ra sau pooling theo cách tương tự.

Khởi tạo đồng nhất#

Một block cũng có thể bắt đầu như một phép đồng nhất. Đặt hệ số scale của lớp batch normalization cuối cùng trong mỗi nhánh residual bằng 0 khiến F(x) = 0 tại thời điểm khởi tạo, vì vậy mạng sâu bắt đầu huấn luyện như thể nó là mạng nông; Priya Goyal và cộng sự đã dùng phương pháp này để huấn luyện ResNet-50 trên ImageNet trong một giờ với batch lớn, và torchvision cung cấp tính năng này dưới dạng zero_init_residual=True. ReZero, được đề xuất năm 2020, nhân mỗi nhánh residual với một scalar có thể học, khởi đầu bằng 0.

Module nn.Identity của PyTorch là một ánh xạ đồng nhất theo đúng nghĩa đen, không có tham số. Thay classifier head bằng module này, như trong model.fc = nn.Identity(), biến mạng phân loại ảnh thành model trích xuất đặc trưng trả về các embedding áp chót.

Skip connection là thuật ngữ bao quát cho mọi đường đi bỏ qua các layer. Residual connection là dạng cộng, còn ánh xạ đồng nhất là residual connection mà đường đi không áp dụng phép biến đổi nào. U-Net và DenseNet dùng skip connection để nối các feature map trước đó thay vì cộng chúng. Bảo toàn danh tính là một thuật ngữ không liên quan trong AI tạo sinh và tracking, chỉ việc một người được tạo ra hoặc theo dõi giữ nguyên diện mạo dễ nhận biết qua các ảnh hoặc khung hình video.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning