Feature Pyramid Network (FPN)

Feature Pyramid Network (FPN) là một thành phần kiến trúc chuyên biệt được sử dụng trong các hệ thống computer vision (CV) hiện đại để cải thiện khả năng phát hiện đối tượng ở nhiều tỷ lệ khác nhau. Nó giải quyết hiệu quả một thách thức lâu đời trong phân tích hình ảnh: nhận diện cả các cấu trúc lớn, nổi bật lẫn các chi tiết nhỏ, ở xa trong cùng một hình ảnh. Bằng cách tạo ra một biểu diễn đa tỷ lệ của đầu vào—về mặt khái niệm tương tự như một kim tự tháp—FPN cho phép các mạng neural trích xuất thông tin ngữ nghĩa phong phú ở mọi cấp độ phân giải. Kiến trúc này thường nằm giữa backbone, nơi trích xuất các đặc trưng thô, và detection head, nơi dự đoán các lớp đối tượng và bounding box.

Cách thức hoạt động của Feature Pyramid Network#

Đổi mới cốt lõi của FPN nằm ở cách nó xử lý thông tin. Các Convolutional Neural Networks (CNNs) truyền thống tự nhiên tạo ra một phân cấp các đặc trưng, trong đó hình ảnh đầu vào bị downsample dần dần. Mặc dù điều này làm sâu sắc thêm hiểu biết ngữ nghĩa (biết cái gì có trong hình ảnh), nhưng nó thường làm giảm độ phân giải không gian (biết chính xác nó ở đâu), khiến các đối tượng nhỏ biến mất.

FPN giải quyết vấn đề này thông qua quy trình ba bước:

1. Bottom-Up Pathway: Đây là luồng truyền xuôi tiêu chuẩn của mạng, chẳng hạn như một Residual Network (ResNet). Khi mạng xử lý hình ảnh, nó tạo ra các feature maps có kích thước giảm dần nhưng giá trị ngữ nghĩa tăng lên.

2. Top-Down Pathway: Mạng xây dựng một kim tự tháp có độ phân giải cao hơn bằng cách tăng lấy mẫu (upsampling) các đặc trưng giàu ngữ nghĩa từ các lớp sâu hơn. Bước này "tái tạo" ngữ cảnh mạnh mẽ quay trở lại các bản đồ không gian lớn hơn.

3. Lateral Connections: Để khôi phục các chi tiết sắc nét bị mất trong quá trình giảm lấy mẫu, FPN hợp nhất các đặc trưng đã tăng lấy mẫu với các bản đồ độ phân giải cao ban đầu từ đường dẫn Bottom-Up thông qua các kết nối ngang (lateral connections).

Sự kết hợp này tạo ra một kim tự tháp nơi mọi cấp độ đều có ngữ nghĩa mạnh và khả năng định vị tốt, giúp thúc đẩy đáng kể precision và recall trên tất cả các kích thước đối tượng.

Tầm quan trọng trong các kiến trúc phát hiện vật thể#

FPN là nền tảng của các object detection architectures hiện đại. Trước khi chúng ra đời, các mô hình phải lựa chọn giữa tốc độ (chỉ sử dụng lớp cuối cùng) hoặc độ chính xác (xử lý một kim tự tháp hình ảnh, vốn rất chậm). FPN cung cấp một giải pháp tối ưu cho cả hai yếu tố, cho phép real-time inference mà không làm hy sinh khả năng phát hiện đối tượng nhỏ.

Hiệu suất này rất quan trọng đối với các mô hình tiên tiến như YOLO26, tận dụng các mạng tổng hợp phức tạp lấy cảm hứng từ các nguyên lý FPN (như PANet) để đạt được hiệu suất tối tân. Kiến trúc này đảm bảo rằng dù mô hình được triển khai trên các thiết bị biên hay máy chủ mạnh mẽ thông qua Ultralytics Platform, nó vẫn duy trì độ chính xác cao trên các tập dữ liệu đa dạng.

Các ứng dụng trong thực tế#

Khả năng đa quy mô của FPN khiến chúng trở nên không thể thiếu trong các ngành công nghiệp nơi sự an toàn và chính xác là ưu tiên hàng đầu.

• AI in Automotive: Các phương tiện tự trị phải đồng thời theo dõi các xe tải lớn ở gần và đèn giao thông nhỏ hoặc người đi bộ ở xa. FPN cho phép bộ nhớ nhận thức xử lý các tỷ lệ khác nhau này trong một lần truyền duy nhất, đảm bảo việc ra quyết định kịp thời. Các tập dữ liệu như nuScenes thường được sử dụng để đánh giá các khả năng này.
• Medical Image Analysis: Trong hình ảnh chẩn đoán, việc phát hiện bệnh lý đòi hỏi phải nhận diện các điểm bất thường có kích thước thay đổi lớn. Một mô hình được trang bị FPN có thể xác định cả các cấu trúc cơ quan lớn và các khối u nhỏ ở giai đoạn đầu trong MRI scans, giúp các bác sĩ X-quang đưa ra chẩn đoán chính xác.
• AI in Agriculture: Nông nghiệp chính xác phụ thuộc vào việc phát hiện cây trồng và sâu bệnh từ hình ảnh drone. Vì độ cao của drone có thể thay đổi, kích thước của thực vật trong hình ảnh cũng thay đổi. FPN giúp các mô hình khái quát hóa tốt, thực hiện chính xác object counting bất kể chiều cao của camera.

FPN so với các bộ tổng hợp đặc trưng khác#

Việc phân biệt FPN tiêu chuẩn với các biến thể phát triển của nó được tìm thấy trong các kiến trúc mới hơn là rất hữu ích.

• FPN vs. PANet: Trong khi FPN thêm một đường dẫn từ trên xuống để làm phong phú thêm các đặc trưng, Path Aggregation Network (PANet) lại thêm một đường dẫn từ dưới lên bổ sung lên trên FPN. Điều này rút ngắn đường dẫn thông tin cho các đặc trưng cấp thấp, cải thiện hơn nữa khả năng định vị, một kỹ thuật thường được áp dụng trong các mô hình YOLO.
• FPN vs. BiFPN: được tìm thấy trong EfficientDet, Bi-directional Feature Pyramid Network (BiFPN) giới thiệu các trọng số có thể học cho các đặc trưng khác nhau và loại bỏ các nút chỉ có một đầu vào, tối ưu hóa mạng để đạt hiệu quả cao.

Ví dụ thực tế#

Các thư viện tiên tiến như ultralytics xử lý độ phức tạp của việc xây dựng FPN bên trong. Khi bạn tải một mô hình như YOLO26, kiến trúc sẽ tự động bao gồm các lớp tổng hợp đặc trưng này để tối đa hóa hiệu suất.

from ultralytics import YOLO

# Load the YOLO26 model, which uses advanced feature pyramid principles internally
# The 'n' suffix indicates the nano version, optimized for speed
model = YOLO("yolo26n.pt")

# Perform inference on an image containing objects of various sizes
# The model's neck (FPN-based) aggregates features to detect small and large items
results = model("https://ultralytics.com/images/bus.jpg")

# Display results to see bounding boxes around buses (large) and people (small)
results[0].show()