Feature Maps

Карта признаков — это фундаментальный результат, получаемый при обработке входного изображения или предыдущего слоя в нейронной сети с помощью convolutional filter. В контексте computer vision (CV) эти карты служат внутренним представлением данных, подчеркивая конкретные паттерны, такие как границы, текстуры или сложные геометрические формы, которые модель научилась распознавать. По сути, карты признаков действуют как «глаза» Convolutional Neural Network (CNN), преобразуя сырые значения пикселей в осмысленные абстракции, облегчающие такие задачи, как object detection и классификация.

Механизм работы карт признаков#

Создание карты признаков обусловлено математической операцией, известной как convolution. В ходе этого процесса небольшая матрица обучаемых параметров, называемая ядром или фильтром, скользит по входным данным. В каждой позиции ядро выполняет поэлементное умножение и суммирование, в результате чего получается одно значение в выходной сетке.

• Активация паттерна: Каждый фильтр обучается искать определенный признак. Когда фильтр встречает этот признак во входных данных, результирующее значение в карте признаков оказывается высоким, что указывает на сильную активацию.
• Пространственная иерархия: В архитектурах deep learning (DL) карты признаков располагаются иерархически. Ранние слои создают карты, обнаруживающие низкоуровневые детали, такие как линии и кривые в рамках edge detection. Более глубокие слои объединяют эти простые карты, формируя высокоуровневые представления сложных объектов, например лиц или транспортных средств.
• Изменения размерности: По мере продвижения данных по сети такие операции, как pooling layers, обычно уменьшают пространственные размерности (высоту и ширину) карт признаков, одновременно увеличивая глубину (количество каналов). Этот процесс, часто называемый dimensionality reduction, помогает модели сосредоточиться на наличии признаков, а не на их точном расположении по пикселям.

Реальные приложения#

Карты признаков являются движущей силой современных ИИ-приложений, позволяя системам интерпретировать визуальные данные с пониманием, близким к человеческому.

• Медицинская диагностика: В medical image analysis модели используют карты признаков для обработки рентгенограмм или МРТ-сканов. Ранние карты могут выделять контуры костей, в то время как более глубокие карты определяют аномалии вроде опухолей или переломов, помогая врачам в сценариях AI in healthcare.
• Автономная навигация: Автопилотируемые автомобили сильно зависят от карт признаков, создаваемых визуальными сенсорами. Эти карты позволяют бортовому компьютеру машины в реальном времени различать полосы движения, пешеходов и дорожные знаки, что критически важно для безопасной работы autonomous vehicles.

Работа с картами признаков на Python#

Хотя карты признаков являются внутренними структурами, понимание их размеров крайне важно при проектировании архитектур. Следующий пример на PyTorch демонстрирует, как один сверточный слой преобразует входное изображение в карту признаков.

import torch
import torch.nn as nn

# Define a convolution layer: 1 input channel, 1 output filter, 3x3 kernel
conv_layer = nn.Conv2d(in_channels=1, out_channels=1, kernel_size=3, bias=False)

# Create a random dummy image (Batch Size=1, Channels=1, Height=5, Width=5)
input_image = torch.randn(1, 1, 5, 5)

# Pass the image through the layer to generate the feature map
feature_map = conv_layer(input_image)

print(f"Input shape: {input_image.shape}")
# The output shape will be smaller (3x3) due to the kernel size and no padding
print(f"Feature Map shape: {feature_map.shape}")

Разграничение похожих концепций#

Полезно отличать карты признаков от схожих терминов, чтобы избежать путаницы во время model training:

• Карта признаков против фильтра: Фильтр (или ядро) — это инструмент, используемый для сканирования изображения; он содержит model weights. Карта признаков является результатом этого сканирования. Ты можешь представлять фильтр как «объектив», а карту признаков — как «изображение», захваченное через этот объектив.
• Карта признаков против эмбеддинга: Хотя оба варианта представляют данные, карты признаков обычно сохраняют пространственные структуры (высоту и ширину), подходящие для semantic segmentation. В отличие от них, embeddings обычно представляют собой плоские одномерные векторы, которые фиксируют семантический смысл, но отбрасывают пространственное расположение, и часто применяются в задачах similarity search.
• Карта признаков против активации: activation function (например, ReLU) применяется к значениям внутри карты признаков для внесения нелинейности. Сама карта существует как до, так и после этой математической операции.

Отношение к моделям Ultralytics#

В продвинутых архитектурах вроде YOLO26 карты признаков играют ключевую роль в «бэкбоне» (backbone) и «голове» (head) модели. Бэкбон извлекает признаки на разных масштабах (пирамида признаков), гарантируя, что модель сможет эффективно обнаруживать как мелкие, так и крупные объекты. Пользователи, применяющие Ultralytics Platform для обучения, могут визуализировать работу этих моделей, косвенно наблюдая за эффективностью базовых карт признаков с помощью таких метрик, как accuracy и полнота. Задача оптимизации этих карт включает в себя масштабное обучение на размеченных датасетах с использованием таких техник, как feature extraction для переноса знаний с предобученных моделей на новые задачи.