Как повысить mAP модели на небольших объектах: краткое руководство

По мере того как растёт распространение искусственного интеллекта (AI), машинного обучения и компьютерного зрения, системы обнаружения объектов применяются повсюду — от умных дорожных камер до дронов и инструментов аналитики в розничной торговле. Часто от таких систем требуется обнаруживать объекты любого размера: от крупного грузовика рядом с камерой до крошечного пешехода далеко на горизонте.

Как правило, обнаружить крупные и хорошо различимые объекты проще. Мелкие объекты обнаруживать сложнее.

Когда объект занимает лишь крошечную часть изображения, доступной визуальной информации очень мало. Удаленный пешеход на записи с дорожной камеры или небольшой автомобиль, снятый с воздуха, может занимать всего несколько пикселей, но эти пиксели способны нести важную информацию.

Модели компьютерного зрения, такие как модели Ultralytics YOLO, распознают объекты по визуальным признакам. Когда таких признаков мало или они нечеткие, качество работы снижается. При обработке важные детали могут теряться, из-за чего предсказания становятся более чувствительными к ошибкам локализации. Даже небольшое смещение ограничивающей рамки может превратить правильное обнаружение в пропуск объекта.

Разрыв особенно заметен при оценке производительности модели. Большинство моделей обнаружения и сегментации хорошо справляются со средними и крупными объектами, но мелкие объекты часто снижают общую точность.

Производительность моделей глубокого обучения обычно измеряют с помощью средней точности, или mAP. Эта метрика показывает как точность обнаружения, так и степень совпадения предсказанных рамок с реальными объектами.

Она объединяет точность, которая показывает, сколько предсказанных объектов определено правильно, и полноту, которая показывает, сколько реальных объектов удалось обнаружить, при разных порогах уверенности и пересечения над объединением, или IoU (метрики, измеряющей степень перекрытия предсказанной ограничивающей рамки с рамкой эталонной разметки).

Ранее мы разбирали обнаружение мелких объектов и причины, по которым эта задача так сложна для моделей компьютерного зрения. В этой статье мы продолжим тему и сосредоточимся на том, как повысить mAP при работе с мелкими объектами. Начнем!

Почему мелкие объекты сложнее обнаруживать?#

В задачах с детекторами объектов размер объекта определяется тем, какую часть изображения он занимает, а не тем, насколько маленьким он кажется человеческому глазу. Если объект занимает лишь крошечную часть изображения, визуальной информации о нем очень мало, поэтому алгоритму компьютерного зрения сложнее точно его обнаружить.

Рис. 1. Примеры изображений, на которых мелкие объекты занимают небольшую часть пикселей (Источник)

Когда пикселей мало, важные детали, такие как края, форма и текстура, могут быть нечеткими или легко теряться. При обработке изображения модель изменяет его размер и упрощает, чтобы выделить полезные признаки.

Это помогает модели понять общую сцену, но может еще сильнее уменьшить количество мелких деталей. Для правильного обнаружения мелких объектов эти детали часто необходимы.

Эти сложности особенно заметны при анализе метрик оценки. Мелкие объекты особенно чувствительны к ошибкам локализации. Даже немного смещенная ограничивающая рамка может не достичь требуемого порога пересечения над объединением, или IoU.

В таком случае предсказание, которое выглядит вполне разумным, могут засчитать как ошибочное. Это снижает и точность, и полноту, что в итоге уменьшает среднюю точность, или mAP.

Поскольку эти факторы тесно связаны, для повышения производительности часто нужно учитывать всю систему целиком. Это значит, что необходимо тщательно сбалансировать разрешение изображения, извлечение признаков, архитектуру модели и параметры оценки, чтобы лучше сохранять и интерпретировать мелкие визуальные детали.

Важность качества датасета и разметки#

При обнаружении мелких объектов качество датасета часто сильнее всего влияет на производительность. Мелкие объекты занимают лишь крошечную часть изображения, поэтому модели доступно очень мало визуальной информации для обучения. Из-за этого обучающие данные особенно важны. Если в датасете недостаточно четких и репрезентативных примеров, модели обнаружения объектов будет сложно распознавать устойчивые закономерности.

Датасеты, подходящие для обнаружения мелких объектов, обычно содержат изображения высокого разрешения, частые примеры мелких объектов и стабильные визуальные условия. Хотя универсальные датасеты, такие как датасет COCO, подходят для начала работы, они часто не соответствуют масштабу, плотности объектов или контексту конкретных реальных задач. В таких случаях для повышения производительности модели необходимо собрать обучающие данные для конкретной предметной области.

Качество разметки тоже играет важную роль. Разметка задает эталонные значения: правильные классы объектов и расположение ограничивающих рамок, которые модель учится предсказывать.

Для мелких объектов ограничивающие рамки нужно размечать тщательно и единообразно. Даже небольшие различия в расположении рамок могут заметно повлиять на точность локализации, поскольку мелкие объекты очень чувствительны к смещениям на уровне пикселей.

Некачественная или непоследовательная разметка может существенно снизить mAP. Если объекты размечены неверно, модель усваивает ошибочные закономерности, что может увеличить число ложноположительных срабатываний.

Если объекты есть на изображении, но отсутствуют в эталонной разметке, при оценке правильные обнаружения могут засчитать как ложноположительные срабатывания. Оба случая снижают общую производительность.

Интересно, что недавние исследования показывают: средняя точность обнаружения мелких объектов на стандартных бенчмарках часто остается в диапазоне от 20% до 40%, что значительно ниже показателей для крупных объектов. Этот разрыв подчеркивает важность проектирования датасета и последовательности разметки для общей точности обнаружения.

Аугментация данных может существенно повысить точность#

Теперь, когда мы понимаем важность качества датасета и единообразия разметки, давай разберемся, как модель обнаружения объектов может эффективнее учиться на уже имеющихся данных. Даже если собрать дополнительные изображения сложно или дорого, производительность все равно можно повысить, лучше используя доступные данные.

Один из самых практичных подходов — аугментация данных. Она особенно важна для обнаружения мелких объектов, поскольку такие объекты дают модели меньше визуальных признаков для обучения. Добавляя контролируемые вариации во время обучения, аугментация помогает модели лучше обобщать данные без необходимости собирать новые.

Эффективная аугментация данных помогает сохранить хорошую видимость мелких объектов. Такие методы, как контролируемое изменение размера, легкая обрезка и разбиение изображения на фрагменты, позволяют сделать мелкие объекты заметнее, сохраняя их форму и внешний вид. Цель — помочь модели чаще видеть мелкие объекты в немного разных условиях, не изменяя их облик в реальных ситуациях.

Однако аугментацию нужно применять осторожно. Некоторые преобразования могут ухудшить видимость мелких объектов или изменить их внешний вид так, как в реальных данных обычно не бывает. В таких случаях модели может быть сложно научиться точно определять границы объектов.

Более умная аугментация данных с помощью генеративного ИИ#

Еще один интересный вид аугментации данных, который становится все популярнее, — использование генеративного ИИ для создания синтетических обучающих данных. Вместо того чтобы полагаться на изображения, собранные и размеченные вручную, команды теперь могут создавать реалистичные сцены, имитирующие конкретные среды, размеры объектов, условия освещения и варианты фона.

Рис. 2. Примеры синтетических аэрофотоснимков для аугментации данных (Источник)

Этот подход особенно полезен для обнаружения мелких объектов, примеры которых в реальных условиях бывает трудно получать регулярно. Управляя тем, как мелкие объекты появляются на синтетических изображениях, например настраивая масштаб, плотность и расположение, можно познакомить модели с более широким набором обучающих сценариев.

При аккуратном сочетании с реальными данными синтетическая аугментация повышает устойчивость модели, снижает затраты на сбор данных и помогает целенаправленно улучшать производительность.

Выбор параметров обучения модели, влияющий на mAP для мелких объектов#

Помимо качества датасета и единообразия разметки, выбор параметров обучения модели также существенно влияет на качество обнаружения мелких объектов.

Вот несколько основных стратегий обучения, которые стоит учесть:

• Начни с предварительно обученных моделей: Предварительно обученная модель, например Ultralytics YOLO26, уже усвоила общие визуальные закономерности на больших наборах изображений. Это дает хорошую отправную точку и избавляет от обучения с нуля, что особенно полезно при обнаружении мелких объектов на ограниченном объеме данных.
• Продуманно используй трансферное обучение: Трансферное обучение — это адаптация предварительно обученной модели к конкретному датасету. Оно помогает модели сосредоточиться на мелких объектах и снижает риск переобучения (запоминания обучающих данных вместо усвоения общих закономерностей).
• Учитывай дисбаланс классов: Если мелкие объекты встречаются реже крупных, модель может отдавать приоритет обучению на крупных объектах. Взвешивание классов и стратегии выборки помогают не допустить, чтобы модель игнорировала мелкие объекты.
• Настраивай пороги уверенности и IoU: Мелкие объекты чувствительны к небольшим ошибкам локализации. Точная настройка этих порогов помогает лучше оценивать и интерпретировать качество обнаружения мелких объектов при валидации и инференсе.

Особенности архитектуры модели для обнаружения мелких объектов#

Для обнаружения мелких объектов можно использовать универсальную модель обнаружения объектов, но существуют и архитектуры, специально разработанные для улучшения обнаружения таких объектов. Например, есть варианты модели Ultralytics YOLOv8 с P2, оптимизированные для сохранения мелких пространственных деталей.

Ultralytics YOLOv8 обрабатывает изображения в нескольких масштабах, постепенно уменьшая их по мере прохождения через сеть. Это помогает модели понять общую сцену, но также приводит к потере мелких деталей.

Если объект изначально очень мал, важная визуальная информация может исчезнуть при такой обработке. Вариант Ultralytics YOLOv8 с P2 решает эту проблему, используя шаг 2 в пирамиде признаков.

Пирамида признаков — это часть модели, которая анализирует изображение в нескольких внутренних разрешениях, чтобы обнаруживать объекты разных размеров. При шаге 2 изображение на этом этапе уменьшается более постепенно, что позволяет сохранить больше исходных деталей на уровне пикселей.

Благодаря сохранению большего количества пространственных деталей мелкие объекты остаются лучше различимыми внутри сети. Модели становится проще локализовать и обнаруживать объекты, занимающие всего несколько пикселей, что может повысить mAP для мелких объектов.

Оценка обнаружения мелких объектов с учетом размера#

Средняя точность позволяет оценить производительность модели в целом, но не всегда показывает, насколько хорошо модель справляется с объектами разных размеров. Для мелких объектов результат часто ограничивает точность локализации, а не только классификация, поэтому даже небольшое смещение ограничивающей рамки может существенно повлиять на итог.

Иными словами, модель может правильно определить класс объекта, но обнаружение все равно сочтут ошибочным, если предсказанная ограничивающая рамка немного смещена. Поскольку мелкие объекты занимают всего несколько пикселей, даже незначительное смещение рамки может существенно уменьшить ее перекрытие с эталонной рамкой. В результате оценочные показатели могут снизиться, даже если объект определен правильно.

Рис. 3. Оценивать обнаружение мелких объектов бывает непросто (Источник)

Более информативный подход — оценивать производительность отдельно для объектов разных размеров. В большинстве широко используемых бенчмарков средняя точность указывается отдельно для мелких, средних и крупных объектов.

Такое разделение по размеру позволяет лучше понять, с какими объектами модель справляется хорошо, а с какими испытывает трудности. На практике AP для мелких объектов часто уступает общей mAP, выявляя проблемы локализации, которые могут быть незаметны в агрегированных метриках.

Учитывай ограничения развертывания и компромиссы в реальных условиях#

При переходе от контролируемых условий тестирования к развертыванию в реальных условиях производительность модели часто меняется. Такие факторы, как разрешение изображения, скорость обработки и доступное оборудование, требуют компромиссов и напрямую влияют на обнаружение мелких объектов.

Например, повышение разрешения входного изображения может увеличить mAP для мелких объектов, поскольку мелкие цели занимают больше пикселей и сохраняют больше деталей. Однако при более высоком разрешении также растут потребление памяти и время обработки. Это может замедлить инференс и увеличить эксплуатационные расходы.

Рис. 4. Сложности развертывания систем обнаружения мелких объектов. Изображение создано автором.

Выбор оборудования играет важную роль в управлении этими компромиссами. Более мощные GPU позволяют использовать крупные модели и ускорять обработку, но в средах развертывания, особенно на периферийных устройствах, вычислительные ресурсы и память часто ограничены.

У приложений реального времени есть еще одно ограничение: для поддержания низкой задержки может потребоваться уменьшить размер модели или разрешение входного изображения, что способно снизить полноту обнаружения мелких объектов. В конечном счете при развертывании нужно найти баланс между качеством обнаружения, ограничениями оборудования, требованиями к скорости и общими затратами.

Подводим итоги: как повысить mAP модели для мелких объектов#

Для улучшения обнаружения мелких объектов нужен практичный и структурированный подход, особенно при работе в реальных условиях. Вот основные шаги, которые стоит учитывать:

• Проверь качество датасета: Убедись, что в датасете достаточно примеров мелких объектов, по возможности используются изображения высокого разрешения и представлены условия, в которых будет развернута модель.
• Проверь единообразие разметки: Убедись, что ограничивающие рамки точны, полны и размечены последовательно. Несогласованность разметки напрямую ограничивает качество локализации.
• Осознанно настрой параметры обучения: Тщательно подбери размер пакета, количество эпох и параметры оптимизации, чтобы мелкие объекты были должным образом представлены в процессе обучения.
• Улучшай модель шаг за шагом: Вноси контролируемые изменения, оценивай их влияние и корректируй подход. Последовательные итерации на основе данных со временем приводят к стабильному улучшению.

Главные выводы#

Для повышения mAP на мелких объектах нужен структурированный подход, основанный на данных, а не случайные правки. Реальный прогресс достигается сочетанием качественных данных, единообразной разметки, тщательного обучения и подходящих методов оценки. В реальных проектах именно регулярное тестирование и небольшие измеримые изменения со временем приводят к более качественному и надежному обнаружению мелких объектов.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub, где собраны практические ресурсы по ИИ. Чтобы уже сегодня создавать решения на основе визуального ИИ, изучи наши варианты лицензирования. Узнай, как ИИ в сельском хозяйстве меняет фермерское хозяйство и как визуальный ИИ в робототехнике формирует будущее, посетив страницы наших решений.