Feature Pyramid Network (FPN)

Сеть пирамиды признаков (FPN) — это специализированный архитектурный компонент, используемый в современных системах computer vision (CV) для улучшения обнаружения объектов в различных масштабах. Она эффективно решает давнюю задачу анализа изображений: распознавание как крупных, заметных структур, так и мелких, удаленных деталей на одном и том же изображении. Генерируя многомасштабное представление входных данных, концептуально похожее на пирамиду, FPN позволяют нейронным сетям извлекать богатую семантическую информацию на каждом уровне разрешения. Эта архитектура обычно располагается между backbone, который извлекает необработанные признаки, и detection head, который прогнозирует классы объектов и ограничивающие рамки.

Как работают Feature Pyramid Networks#

Основная инновация FPN заключается в том, как она обрабатывает информацию. Традиционные Convolutional Neural Networks (CNNs) естественным образом создают иерархию признаков, где входное изображение подвергается последовательному уменьшению выборки. Хотя это углубляет семантическое понимание (понимание того, что находится на изображении), это часто снижает пространственное разрешение (понимание того, где именно оно находится), из-за чего мелкие объекты исчезают.

FPN решают это с помощью трехэтапного процесса:

1. Восходящий путь: это стандартный прямой проход сети, такой как Residual Network (ResNet). По мере того как сеть обрабатывает изображение, она создает feature maps, которые уменьшаются в размере, но увеличиваются в семантической ценности.

2. Top-Down Pathway: Сеть строит пирамиду с более высоким разрешением путем апсемплинга семантически богатых признаков из более глубоких слоев. Этот шаг «галлюцинирует» сильный контекст обратно в карты большего пространственного размера.

3. Lateral Connections: Чтобы восстановить четкие детали, потерянные во время уменьшения разрешения, FPN объединяют апсемплинговые признаки с исходными картами высокого разрешения из восходящего пути (bottom-up pathway) через латеральные связи.

Эта комбинация приводит к созданию пирамиды, в которой каждый уровень обладает сильной семантикой и хорошей локализацией, что значительно повышает precision и recall для всех размеров объектов.

Значение в архитектурах обнаружения объектов#

FPN являются краеугольным камнем современных object detection architectures. До их появления моделям приходилось выбирать между скоростью (использование только финального слоя) и точностью (обработка пирамиды изображений, что работает очень медленно). FPN предоставляют решение «лучшее из обоих миров», обеспечивая real-time inference без ущерба для возможностей обнаружения мелких объектов.

Эта эффективность имеет решающее значение для передовых моделей, таких как YOLO26, которая использует сложные сети агрегации, вдохновленные принципами FPN (например, PANet), для достижения максимальной производительности. Архитектура гарантирует, что независимо от того, развернута ли модель на периферийных устройствах или мощных серверах с помощью Ultralytics Platform, она поддерживает высокую точность на самых разных наборах данных.

Реальные приложения#

Многомасштабная способность FPN делает их незаменимыми в отраслях, где безопасность и точность имеют первостепенное значение.

• AI in Automotive: Автономные транспортные средства должны одновременно отслеживать крупные грузовики поблизости и мелкие светофоры или пешеходов вдалеке. FPN позволяют стеку восприятия обрабатывать эти разнородные масштабы за один проход, обеспечивая своевременное принятие решений. Такие наборы данных, как nuScenes, часто используются для оценки этих возможностей.
• Medical Image Analysis: В диагностической визуализации обнаружение патологий требует выявления аномалий, сильно различающихся по размеру. Модель, оснащенная FPN, может идентифицировать как крупные структуры органов, так и крошечные опухоли на ранних стадиях на MRI scans, помогая рентгенологам ставить точные диагнозы.
• AI in Agriculture: Точное земледелие опирается на обнаружение культур и вредителей по изображениям с дронов. Поскольку высота полета дрона может меняться, размер растений на изображении изменяется. FPN помогают моделям хорошо обобщать данные, точного выполняя object counting независимо от высоты камеры.

FPN против других агрегаторов признаков#

Полезно отличать стандартные FPN от их развитых вариантов, встречающихся в новых архитектурах.

• FPN против PANet: в то время как FPN добавляет нисходящий путь для обогащения признаков, Path Aggregation Network (PANet) добавляет дополнительный восходящий путь поверх FPN. Это сокращает путь информации для низкоуровневых признаков, дополнительно улучшая локализацию — метод, который часто адаптируется в моделях YOLO.
• FPN против BiFPN: встречающаяся в EfficientDet, Bi-directional Feature Pyramid Network (BiFPN) вводит обучаемые веса для различных признаков и удаляет узлы только с одним входом, оптимизируя сеть для повышения эффективности.

Практический пример#

Продвинутые библиотеки, такие как ultralytics, берут на себя всю сложность построения FPN внутри себя. Когда вы загружаете такую модель, как YOLO26, архитектура автоматически включает эти слои агрегации признаков для максимизации производительности.

from ultralytics import YOLO

# Load the YOLO26 model, which uses advanced feature pyramid principles internally
# The 'n' suffix indicates the nano version, optimized for speed
model = YOLO("yolo26n.pt")

# Perform inference on an image containing objects of various sizes
# The model's neck (FPN-based) aggregates features to detect small and large items
results = model("https://ultralytics.com/images/bus.jpg")

# Display results to see bounding boxes around buses (large) and people (small)
results[0].show()