Feature Pyramid Network (FPN)

Сеть пирамиды признаков (FPN) — это специализированный архитектурный компонент, используемый в современных системах компьютерного зрения (CV) для улучшения обнаружения объектов разного масштаба. Она эффективно решает давнюю проблему анализа изображений: распознавание как крупных заметных структур, так и мелких удалённых деталей на одном изображении. Формируя многоштабное представление входных данных — концептуально похожее на пирамиду, — FPN позволяет нейронным сетям извлекать богатую семантическую информацию на каждом уровне разрешения. Обычно эта архитектура располагается между магистральной сетью, которая извлекает исходные признаки, и головой обнаружения, которая предсказывает классы объектов и ограничивающие рамки.

Как работают сети пирамиды признаков#

Ключевая инновация FPN заключается в способе обработки информации. Традиционные свёрточные нейронные сети (CNN) естественным образом создают иерархию признаков, в которой входное изображение постепенно уменьшается в разрешении. Хотя это углубляет семантическое понимание (знание того, что находится на изображении), пространственное разрешение часто снижается (становится сложнее точно определить, где это находится), из-за чего мелкие объекты исчезают.

FPN решает эту проблему в три этапа:

1. Путь снизу вверх: это стандартный прямой проход сети, например остаточной сети (ResNet). По мере обработки изображения сеть создаёт карты признаков, которые уменьшаются в размере, но приобретают всё большую семантическую ценность.

2. Путь сверху вниз: сеть строит пирамиду с более высоким разрешением, повышая разрешение семантически насыщенных признаков из глубоких слоёв. На этом этапе сильный контекст «галлюцинируется» обратно в карты большего пространственного размера.

3. Боковые соединения: чтобы восстановить чёткие детали, утраченные при уменьшении разрешения, FPN объединяет признаки после повышения разрешения с исходными картами высокого разрешения из пути снизу вверх посредством боковых соединений.

Такое сочетание создаёт пирамиду, на каждом уровне которой сочетаются сильная семантика и точная локализация, что значительно повышает точность и полноту для объектов любого размера.

Значение для архитектур обнаружения объектов#

FPN — основа современных архитектур обнаружения объектов. До их появления моделям приходилось выбирать между скоростью (использовать только последний слой) и точностью (обрабатывать пирамиду изображений, что очень медленно). FPN предлагает лучшее из обоих подходов, обеспечивая вывод в реальном времени без потери возможностей обнаружения мелких объектов.

Эта эффективность крайне важна для передовых моделей, таких как YOLO26, в которых используются сложные сети агрегации, вдохновлённые принципами FPN (например, PANet), для достижения передовых результатов. Архитектура гарантирует высокую точность на различных наборах данных независимо от того, развёрнута ли модель на периферийных устройствах или мощных серверах через Ultralytics Platform.

Практические применения#

Многоштабная обработка в FPN делает эти сети незаменимыми в отраслях, где безопасность и точность имеют первостепенное значение.

• ИИ в автомобильной отрасли: автономные автомобили должны одновременно отслеживать находящиеся поблизости крупные грузовики и небольшие светофоры или пешеходов вдали. FPN позволяет стеку восприятия обрабатывать эти сильно различающиеся масштабы за один проход, обеспечивая своевременное принятие решений. Для оценки таких возможностей часто используются наборы данных, например nuScenes.
• Анализ медицинских изображений: при диагностической визуализации для обнаружения патологий необходимо выявлять аномалии, размер которых может сильно различаться. Модель с FPN может обнаруживать как крупные структуры органов, так и крошечные опухоли на ранних стадиях на МРТ-снимках, помогая радиологам ставить точные диагнозы.
• ИИ в сельском хозяйстве: точное земледелие relies на обнаружении сельскохозяйственных культур и вредителей на снимках с дронов. Поскольку высота дрона может изменяться, меняется и размер растений на изображении. FPN помогает моделям хорошо обобщать данные и точно выполнять подсчёт объектов независимо от высоты камеры.

FPN и другие агрегаторы признаков#

Полезно отличать стандартную FPN от её усовершенствованных вариантов, используемых в новых архитектурах.

• FPN и PANet: если FPN добавляет путь сверху вниз для обогащения признаков, сеть агрегации путей (PANet) добавляет поверх FPN дополнительный путь снизу вверх. Это сокращает информационный путь для признаков низкого уровня и дополнительно улучшает локализацию — метод, который часто адаптируется в моделях YOLO.
• FPN и BiFPN: используемая в EfficientDet, двунаправленная сеть пирамиды признаков (BiFPN) вводит обучаемые веса для разных признаков и удаляет узлы только с одним входом, оптимизируя сеть для повышения эффективности.

Практический пример#

Продвинутые библиотеки, такие как ultralytics, самостоятельно обрабатывают сложность построения FPN. При загрузке такой модели, как YOLO26, архитектура автоматически включает эти слои агрегации признаков для максимальной производительности.

from ultralytics import YOLO

# Load the YOLO26 model, which uses advanced feature pyramid principles internally
# The 'n' suffix indicates the nano version, optimized for speed
model = YOLO("yolo26n.pt")

# Perform inference on an image containing objects of various sizes
# The model's neck (FPN-based) aggregates features to detect small and large items
results = model("https://ultralytics.com/images/bus.jpg")

# Display results to see bounding boxes around buses (large) and people (small)
results[0].show()