Feature Pyramid Network (FPN)

Mạng Kim tự tháp Đặc trưng (FPN) là một thành phần kiến trúc chuyên dụng được sử dụng trong các hệ thống thị giác máy tính (CV) hiện đại nhằm cải thiện khả năng phát hiện vật thể ở nhiều quy mô khác nhau. FPN giải quyết hiệu quả một thách thức tồn tại lâu nay trong phân tích ảnh: nhận diện đồng thời các cấu trúc lớn, nổi bật và những chi tiết nhỏ, ở xa trong cùng một ảnh. Bằng cách tạo ra biểu diễn đa quy mô của đầu vào—về mặt khái niệm tương tự như một kim tự tháp—FPN cho phép mạng neural trích xuất thông tin ngữ nghĩa phong phú ở mọi mức độ phân giải. Kiến trúc này thường nằm giữa backbone, nơi trích xuất các đặc trưng thô, và detection head, nơi dự đoán các lớp vật thể và bounding box.

Cách hoạt động của Mạng Kim tự tháp Đặc trưng#

Đổi mới cốt lõi của FPN nằm ở cách nó xử lý thông tin. Các Mạng Neural Tích chập (CNN) truyền thống tự nhiên tạo ra một hệ phân cấp đặc trưng, trong đó ảnh đầu vào liên tục được giảm mẫu. Mặc dù quá trình này làm tăng mức độ hiểu ngữ nghĩa (biết đối tượng gì có trong ảnh), nó thường làm suy giảm độ phân giải không gian (biết chính xác đối tượng ở đâu), khiến các vật thể nhỏ biến mất.

FPN giải quyết vấn đề này thông qua quy trình gồm ba bước:

1. Luồng từ dưới lên: Đây là lượt truyền tiến tiêu chuẩn của mạng, chẳng hạn như Mạng Residual (ResNet). Khi xử lý ảnh, mạng tạo ra các feature map giảm dần về kích thước nhưng tăng dần về giá trị ngữ nghĩa.

2. Luồng từ trên xuống: Mạng xây dựng một kim tự tháp có độ phân giải cao hơn bằng cách tăng kích thước các đặc trưng giàu ngữ nghĩa từ những layer sâu hơn. Bước này “bổ sung” ngữ cảnh mạnh mẽ trở lại các map không gian lớn hơn.

3. Kết nối ngang: Để khôi phục các chi tiết sắc nét bị mất trong quá trình giảm mẫu, FPN kết hợp các đặc trưng đã được tăng kích thước với các map gốc, có độ phân giải cao từ luồng dưới lên thông qua các kết nối ngang.

Sự kết hợp này tạo ra một kim tự tháp trong đó mọi cấp độ đều có ngữ nghĩa mạnh và khả năng định vị tốt, qua đó cải thiện đáng kể precision và recall trên mọi kích thước vật thể.

Tầm quan trọng trong các Kiến trúc Phát hiện Vật thể#

FPN là nền tảng của các kiến trúc phát hiện vật thể hiện đại. Trước khi FPN xuất hiện, model phải lựa chọn giữa tốc độ (chỉ sử dụng layer cuối cùng) hoặc độ chính xác (xử lý một kim tự tháp ảnh, vốn rất chậm). FPN cung cấp giải pháp dung hòa cả hai, cho phép suy luận thời gian thực mà không làm giảm khả năng phát hiện vật thể nhỏ.

Hiệu quả này rất quan trọng đối với các model tiên tiến như YOLO26, sử dụng các mạng tổng hợp tinh vi lấy cảm hứng từ các nguyên tắc của FPN (chẳng hạn như PANet) để đạt hiệu năng tiên tiến. Kiến trúc này đảm bảo rằng dù model được triển khai trên các thiết bị edge hay server mạnh mẽ thông qua Ultralytics Platform, model vẫn duy trì độ chính xác cao trên các dataset đa dạng.

Các ứng dụng trong thực tế#

Khả năng đa quy mô của FPN khiến chúng trở nên không thể thiếu trong những ngành mà an toàn và độ chính xác là ưu tiên hàng đầu.

• AI trong Ngành Ô tô: Xe tự hành phải đồng thời theo dõi các xe tải lớn ở gần và những đèn giao thông hoặc người đi bộ nhỏ ở xa. FPN cho phép perception stack xử lý các quy mô khác biệt này chỉ trong một lượt, đảm bảo ra quyết định kịp thời. Các dataset như nuScenes thường được sử dụng để benchmark những khả năng này.
• Phân tích Ảnh Y khoa: Trong chẩn đoán hình ảnh, việc phát hiện bệnh lý đòi hỏi phải nhận diện các bất thường có kích thước rất khác nhau. Model được trang bị FPN có thể xác định cả các cấu trúc cơ quan lớn lẫn những khối u nhỏ ở giai đoạn sớm trong ảnh chụp MRI, hỗ trợ bác sĩ chẩn đoán đưa ra kết luận chính xác.
• AI trong Nông nghiệp: Nông nghiệp chính xác phụ thuộc vào việc phát hiện cây trồng và sâu bệnh từ ảnh chụp bằng drone. Vì độ cao của drone có thể thay đổi, kích thước cây trong ảnh cũng thay đổi. FPN giúp model khái quát hóa tốt, thực hiện đếm vật thể chính xác bất kể độ cao của camera.

FPN so với các Bộ tổng hợp Đặc trưng khác#

Việc phân biệt FPN tiêu chuẩn với các biến thể phát triển từ nó trong những kiến trúc mới hơn là rất hữu ích.

• FPN so với PANet: Trong khi FPN thêm một luồng từ trên xuống để làm phong phú các đặc trưng, Mạng Tổng hợp Đường dẫn (PANet) bổ sung một luồng từ dưới lên trên FPN. Điều này rút ngắn đường truyền thông tin của các đặc trưng cấp thấp, tiếp tục cải thiện khả năng định vị—một kỹ thuật thường được điều chỉnh để sử dụng trong các model YOLO.
• FPN so với BiFPN: xuất hiện trong EfficientDet, Mạng Kim tự tháp Đặc trưng Hai chiều (BiFPN) đưa vào các trọng số có thể học cho những đặc trưng khác nhau và loại bỏ các node chỉ có một đầu vào, giúp tối ưu mạng về hiệu quả.

Ví dụ thực tế#

Các thư viện nâng cao như ultralytics xử lý nội bộ sự phức tạp của việc xây dựng FPN. Khi bạn load một model như YOLO26, kiến trúc sẽ tự động bao gồm các layer tổng hợp đặc trưng này để tối đa hóa hiệu năng.

from ultralytics import YOLO

# Load the YOLO26 model, which uses advanced feature pyramid principles internally
# The 'n' suffix indicates the nano version, optimized for speed
model = YOLO("yolo26n.pt")

# Perform inference on an image containing objects of various sizes
# The model's neck (FPN-based) aggregates features to detect small and large items
results = model("https://ultralytics.com/images/bus.jpg")

# Display results to see bounding boxes around buses (large) and people (small)
results[0].show()