Backbone

Backbone là phần của mạng nơ-ron chuyển đầu vào thô thành feature map cho các phần còn lại của model. Trong thị giác máy tính, backbone thường là mạng nơ-ron tích chập (CNN) hoặc Transformer thị giác (ViT) được tiền huấn luyện trên một bộ dữ liệu lớn như ImageNet. Các lớp phía sau, thường gồm neck và head dành riêng cho tác vụ, chuyển đổi đặc trưng thành nhãn lớp, hộp giới hạn, mask hoặc keypoint. Backbone, encoder và bộ trích xuất đặc trưng thường được dùng như các từ đồng nghĩa; encoder là tên gọi phổ biến trong các model encoder-decoder như U-Net.

Cách backbone hoạt động#

Backbone thị giác xử lý ảnh theo từng giai đoạn. Mỗi giai đoạn áp dụng một loạt khối tích chập hoặc attention, sau đó giảm một nửa độ phân giải không gian và thường tăng số kênh; vì vậy, đầu vào 640×640 trở thành feature map 80×80 ở stride 8, 40×40 ở stride 16 và 20×20 ở stride 32. Các giai đoạn đầu phản hồi với cạnh, màu sắc và kết cấu. Các giai đoạn sau phản hồi với bộ phận và toàn bộ đối tượng, vì mỗi vị trí đầu ra bao phủ một trường tiếp nhận lớn hơn của ảnh đầu vào. Model phát hiện và phân đoạn lấy đầu ra từ ba giai đoạn cuối và chuyển chúng đến một neck như mạng kim tự tháp đặc trưng (FPN), giúp model tìm đối tượng nhỏ trên feature map độ phân giải cao và đối tượng lớn trên feature map độ phân giải thấp.

Backbone, Neck và Head#

Hầu hết kiến trúc phát hiện đối tượng hiện đại được chia thành ba phần; ranh giới giữa các phần rất quan trọng khi thay thế thành phần hoặc đóng băng lớp.

• Backbone: Thực hiện trích xuất đặc trưng, tạo feature map ở nhiều độ phân giải. Backbone lưu giữ kiến thức thị giác tổng quát có thể chuyển giao giữa các tác vụ và bộ dữ liệu.
• Neck: Kết hợp các cấp tỷ lệ của backbone để mỗi cấp đầu ra mang cả chi tiết không gian tinh và ngữ nghĩa cấp cao. FPN bổ sung đường đi từ trên xuống; PANet tiếp tục thêm đường đi từ dưới lên. Model phân loại thường không có neck và gộp giai đoạn cuối của backbone thành một vector duy nhất.
• Head: Chuyển mỗi feature map đã hợp nhất thành đầu ra của tác vụ. Head phát hiện dự đoán hộp và điểm số lớp; head phân đoạn và pose dự đoán mask cùng keypoint từ cùng loại đặc trưng.

Các nhóm backbone phổ biến#

• ResNet: Kết nối dư cho phép tín hiệu bỏ qua các khối, giúp huấn luyện được mạng sâu tới 152 lớp; một ensemble ResNet đã giành chiến thắng trong tác vụ phân loại ILSVRC 2015. ResNet-50 vẫn là backbone tham chiếu tiêu chuẩn để so sánh các model phát hiện.
• CSPNet: Mạng Cross Stage Partial chỉ đưa một phần kênh của mỗi giai đoạn qua các khối của giai đoạn đó rồi hợp nhất phần còn lại ở cuối, giúp giảm 20% phép tính với độ chính xác ImageNet ngang bằng hoặc cao hơn. CSPDarknet53, backbone của YOLOv4, được xây dựng từ các giai đoạn này.
• ConvNeXt: ResNet được hiện đại hóa bằng các lựa chọn thiết kế mượn từ Transformer, chẳng hạn kernel lớn và ít lớp chuẩn hóa hơn; model đạt độ chính xác top-1 ImageNet 87,8% và vượt Swin Transformer trong phát hiện trên COCO.
• ViT và Swin Transformer: ViT thuần duy trì một độ phân giải duy nhất từ đầu đến cuối, vì vậy các model phát hiện thường dùng Swin thay thế; Swin tính attention bên trong các cửa sổ cục bộ dịch chuyển và tạo ra hệ phân cấp giai đoạn tương tự CNN.
• Backbone nền tảng tự giám sát: DINOv3 huấn luyện một ViT 7 tỷ tham số trên 1,7 tỷ ảnh chưa gán nhãn; đặc trưng của model đạt kết quả cao trên các tác vụ dense như phân đoạn và ước lượng độ sâu khi giữ backbone ở trạng thái đóng băng.

Backbone tiền huấn luyện và học chuyển giao#

Huấn luyện backbone từ đầu cần dataset lớn và lịch huấn luyện dài, vì vậy phần lớn project bắt đầu từ trọng số pretrained. Kiểu học chuyển giao này hiệu quả vì cạnh, kết cấu và hình dạng học được từ một dataset hữu ích với hầu hết dataset khác. Với dataset nhỏ gần với miền pretraining, đóng băng backbone giữ nguyên các đặc trưng tổng quát, giảm overfitting và giảm bộ nhớ huấn luyện vì các layer đóng băng không lưu gradient hay trạng thái optimizer. Với dataset lớn hoặc miền khác biệt, chẳng hạn ảnh X-quang hoặc ảnh nhiệt, fine-tune cả backbone giúp đặc trưng thích ứng. Trong YOLO26, backbone trải từ layer 0–10 (convolution có stride, khối C3k2, khối pooling SPPF và khối attention C2PSA); đối số huấn luyện freeze=11 đóng băng toàn bộ các layer này để quá trình huấn luyện chỉ cập nhật neck và detection head, cấu hình được trình bày chi tiết trong hướng dẫn fine-tune.

from ultralytics import YOLO

# Nạp model phát hiện YOLO26 đã tiền huấn luyện trên COCO
model = YOLO("yolo26n.pt")

# Tinh chỉnh trên một bộ dữ liệu nhỏ, đồng thời đóng băng toàn bộ backbone (lớp 0-10)
results = model.train(data="coco8.yaml", epochs=3, imgsz=640, freeze=11)

Trainer ghi nhật ký Freezing layer 'model.0.conv.weight' trước epoch đầu tiên, cùng một dòng tương ứng cho mọi tham số khác ở lớp 0–10; các tham số này giữ nguyên trong khi neck và head học dữ liệu mới.