Как улучшить mAP модели на мелких объектах: Быстрое руководство

По мере того как искусственный интеллект (ИИ), машинное обучение и внедрение компьютерного зрения продолжают расти, системы обнаружения объектов используются повсеместно: от умных дорожных камер до дронов и инструментов розничной аналитики. Зачастую от этих систем требуется обнаруживать объекты любых размеров — будь то крупный грузовик вблизи камеры или крошечный пешеход далеко на горизонте.

Как правило, распознавать крупные и четко видимые объекты гораздо проще. И наоборот, обнаружение мелких объектов — задача более сложная.

Когда объект занимает лишь крошечную часть изображения, для работы остается совсем немного визуальной информации. Далекий пешеход на записи с дорожной камеры или небольшой автомобиль на снимке с воздуха могут содержать всего несколько пикселей, однако эти пиксели могут нести критически важную информацию.

Модели компьютерного зрения, такие как модели Ultralytics YOLO, опираются на визуальные паттерны для распознавания объектов, и когда эти паттерны ограничены или нечетки, производительность падает. Важные детали могут теряться во время обработки, что делает предсказания более чувствительными к ошибкам локализации. Даже небольшое смещение ограничивающей рамки может превратить правильное обнаружение в пропущенное.

Этот разрыв становится очевиден, если взглянуть на производительность модели. Большинство моделей обнаружения и сегментации хорошо справляются со средними и крупными объектами, но мелкие объекты часто снижают общую точность.

Производительность глубокого обучения обычно измеряется с помощью средней точности, или mAP. Эта метрика отражает как точность обнаружений, так и то, насколько хорошо предсказанные рамки совпадают с реальными объектами.

Она объединяет точность (precision), которая показывает, сколько предсказанных объектов верны, и полноту (recall), которая показывает, сколько реальных объектов было успешно обнаружено, на разных уровнях уверенности и порогах Intersection over Union, или IoU (метрика, измеряющая, насколько предсказанная ограничивающая рамка перекрывается с рамкой ground truth).

Ранее мы уже рассматривали обнаружение мелких объектов и то, почему это такая сложная задача для моделей компьютерного зрения. В этой статье мы опираемся на эту базу и сосредоточимся на том, как улучшить mAP при работе с мелкими объектами. Давай начнем!

Почему мелкие объекты сложнее обнаружить?#

Когда речь идет о приложениях с детекторами объектов, мелкий объект определяется тем, сколько места он занимает на изображении, а не обязательно тем, насколько маленьким он кажется человеческому глазу. Если он занимает лишь крошечную часть изображения, в нем содержится очень мало визуальной информации, что затрудняет точное обнаружение алгоритмом компьютерного зрения.

Рис. 1. Примеры изображений с мелкими объектами, занимающими небольшую площадь в пикселях (Источник)

При меньшем количестве пикселей для обработки важные детали, такие как края, формы и текстуры, могут быть неясными или легко теряться. По мере обработки изображения моделью оно изменяется в размере и упрощается, чтобы выделить полезные паттерны.

Хотя это помогает модели понять сцену в целом, это также может еще сильнее снизить мелкие детали. Для маленьких объектов эти детали часто критически важны для корректного обнаружения.

Эти трудности становятся еще более очевидными при взгляде на метрики оценки. Мелкие объекты особенно чувствительны к ошибкам локализации. Даже немного смещенная ограничивающая рамка может оказаться ниже требуемого порога пересечения по объединению, или IoU.

Когда это происходит, предсказание, которое выглядит разумным, может быть засчитано как неверное. Это снижает и precision, и recall, что в конечном итоге уменьшает mean average precision, или mAP.

Поскольку эти факторы тесно связаны, повышение производительности часто требует обдумывания всей системы целиком. Это означает тщательный баланс между разрешением изображения, извлечением признаков, архитектурой модели и настройками оценки, чтобы мелкие визуальные детали лучше сохранялись и интерпретировались.

Важность качества набора данных и аннотаций#

Когда речь заходит об обнаружении мелких объектов, качество набора данных часто играет решающую роль в производительности. Мелкие объекты занимают лишь крошечную часть изображения, а значит, у модели очень мало визуальной информации для обучения. Из-за этого тренировочные данные становятся особенно важными. Если набор данных не содержит достаточно четких и репрезентативных примеров, модель обнаружения объектов не сможет распознать устойчивые паттерны.

Датасеты, которые хорошо подходят для обнаружения мелких объектов, обычно содержат изображения высокого разрешения, частые появления мелких целей и стабильные визуальные условия. Хотя общие датасеты, такие как датасет COCO, служат полезной отправной точкой, они часто не соответствуют масштабу, плотности или контексту конкретных реальных сценариев использования. В таких случаях сбор обучающих данных под конкретную предметную область становится необходимым для улучшения работы модели.

Качество аннотаций также играет критически важную роль. Аннотации задают эталонные данные, определяя правильные метки объектов и расположение ограничивающих рамок, которые модель учится предсказывать.

Для мелких объектов ограничивающие рамки должны быть нарисованы тщательно и единообразно. Даже небольшие различия в расположении рамок могут заметно повлиять на точность локализации, поскольку мелкие объекты крайне чувствительны к сдвигам на уровне пикселей.

Плохие или непоследовательные аннотации могут значительно снизить mAP. Если объекты размечены неправильно, модель выучивает ошибочные паттерны, что может увеличить количество ложноположительных результатов.

Если объекты присутствуют на изображении, но отсутствуют в ground truth, правильные обнаружения могут быть засчитаны как ложноположительные во время оценки. Обе ситуации снижают общую производительность.

Интересно, что недавние исследования показывают, что средняя точность для мелких объектов на стандартных бенчмарках часто остается в пределах от 20% до 40%, что значительно ниже, чем для крупных объектов. Этот разрыв подчеркивает важность проектирования датасетов и согласованности аннотаций для общей точности обнаружения.

Аугментация данных может играть ключевую роль в повышении точности#

Понимая важность качества набора данных и согласованности аннотаций, давай разберем, как модель обнаружения объектов может более эффективно учиться на существующих данных. Даже когда сбор дополнительных изображений затруднителен или дорог, есть способы улучшить производительность, более эффективно используя уже имеющиеся данные.

Один из самых практичных подходов — аугментация данных. Она играет особенно важную роль в обнаружении мелких объектов, поскольку мелкие объекты предоставляют меньше визуальных ориентиров для обучения модели. Внося контролируемые вариации во время обучения, аугментация помогает модели лучше обобщать данные без необходимости сбора новых.

Эффективная аугментация данных фокусируется на том, чтобы мелкие объекты оставались четко видимыми. Такие методы, как контролируемое изменение размера, легкая обрезка и мозаичное изображение (tiling), могут сделать мелкие объекты более заметными, сохраняя при этом их форму и внешний вид. Цель состоит в том, чтобы помочь модели видеть мелкие объекты чаще и в немного разных условиях, не меняя того, как они выглядят в реальных ситуациях.

Однако аугментацию нужно применять осторожно. Некоторые преобразования могут снизить видимость мелких объектов или изменить их внешний вид так, как вряд ли произойдет в реальных данных. Когда это случается, модели может быть трудно выучить точные границы объектов.

Более умная аугментация данных с помощью генеративного ИИ#

Еще один интересный тип аугментации данных, который становится популярным, — это использование генеративного ИИ для создания синтетических тренировочных данных. Вместо того чтобы полагаться на изображения, собранные и размеченные вручную, команды теперь могут генерировать реалистичные сцены, которые имитируют конкретные окружения, размеры объектов, условия освещения и вариации фона.

Рис. 2. Обзор синтетических аэрофотоснимков, используемых для аугментации данных (Источник)

Этот подход особенно полезен для обнаружения мелких объектов, где примеры из реальной жизни бывает трудно получить в достаточном количестве. Контролируя, как мелкие объекты отображаются на синтетических изображениях, например, регулируя масштаб, плотность и расположение, можно подвергнуть модели воздействию более широкого спектра тренировочных сценариев.

При тщательном сочетании с реальными данными синтетическая аугментация может повысить устойчивость модели, снизить затраты на сбор данных и обеспечить более целенаправленное повышение производительности.

Выбор параметров обучения модели, которые могут повлиять на mAP мелких объектов#

Помимо качества набора данных и согласованности аннотаций, выбор параметров обучения модели также сильно влияет на производительность обнаружения мелких объектов.

Вот несколько ключевых стратегий обучения, которые стоит рассмотреть:

• Начни с предобученных моделей: Предобученная модель, такая как Ultralytics YOLO26, уже выучила общие визуальные паттерны из больших датасетов изображений. Это дает отличную отправную точку вместо обучения с нуля, что особенно полезно при обнаружении мелких объектов с ограниченными данными.
• Используй transfer learning стратегически: Transfer learning означает адаптацию предобученной модели под твой конкретный набор данных. Это помогает модели сосредоточиться на твоих мелких объектах, одновременно уменьшая переобучение (запоминание тренировочных данных вместо изучения общих паттернов).
• Решай проблему дисбаланса классов: Если мелкие объекты появляются реже, чем крупные, модель может отдавать приоритет изучению более крупных объектов. Такие методы, как взвешивание классов или стратегии сэмплирования, помогают гарантировать, что мелкие объекты не будут проигнорированы.
• Настраивай пороги confidence и IoU: Мелкие объекты чувствительны к небольшим ошибкам локализации. Тонкая настройка этих порогов помогает лучше оценивать и интерпретировать производительность на мелких объектах во время валидации и инференса.

Архитектурные соображения для обнаружения мелких объектов#

Хотя ты можешь использовать общую модель обнаружения объектов для задач с мелкими объектами, существуют и архитектуры моделей, разработанные специально для улучшения обнаружения мелких объектов. Например, есть варианты моделей P2 от Ultralytics YOLOv8, которые оптимизированы для сохранения мелких пространственных деталей.

Ultralytics YOLOv8 обрабатывает изображения в нескольких масштабах, постепенно уменьшая их по мере прохождения вглубь сети. Это помогает модели понимать сцену в целом, но также снижает детализацию мелких объектов.

Когда объект и так очень мал, важная визуальная информация может исчезнуть в ходе этого процесса. P2-вариант Ultralytics YOLOv8 решает эту проблему за счет использования шага (stride) 2 в своей пирамиде признаков (feature pyramid).

Пирамида признаков — это часть модели, которая анализирует изображение с несколькими внутренними разрешениями, чтобы обнаруживать объекты разных размеров. Благодаря шагу 2 изображение на этом этапе уменьшается более постепенно, что позволяет сохранить больше исходных деталей на уровне пикселей.

Поскольку сохраняется больше пространственных деталей, мелкие объекты удерживают больше видимой структуры внутри сети. Это облегчает модели локализацию и обнаружение объектов, которые занимают всего несколько пикселей, что может помочь улучшить mAP мелких объектов.

Оценка с учетом размера для обнаружения мелких объектов#

Хотя mean average precision суммирует общую производительность модели, она не всегда показывает, насколько хорошо модель справляется с объектами разных размеров. Для мелких объектов производительность часто ограничивается точностью локализации, а не только классификацией, что означает, что небольшие смещения ограничивающей рамки могут существенно повлиять на результаты.

Другими словами, модель может правильно определить класс объекта, но если предсказанная рамка слегка смещена, обнаружение все равно может считаться неверным. Поскольку мелкие объекты покрывают лишь небольшое количество пикселей, даже незначительное смещение рамки может существенно снизить перекрытие между предсказанной рамкой и ground truth. В результате показатели оценки могут падать, даже если объект был идентифицирован правильно.

Рис. 3. Оценка обнаружения мелких объектов может быть сложной задачей (Источник)

Более информативный подход — оценивать производительность в зависимости от размера объекта. Большинство широко используемых бенчмарков сообщают average precision отдельно для мелких, средних и крупных объектов.

Эта детализация по размерам дает более четкое представление о том, где модель справляется хорошо, а где испытывает трудности. На практике AP для мелких объектов часто отстает от общего mAP, подчеркивая проблемы локализации, которые могут быть не очевидны в агрегированных метриках.

Учитывай ограничения при развертывании и реальные компромиссы#

Производительность модели часто меняется при переходе от контролируемых сред тестирования к реальному развертыванию. Такие факторы, как разрешение изображения, скорость обработки и доступное оборудование, вводят компромиссы, которые напрямую влияют на обнаружение мелких объектов.

Например, увеличение входного разрешения может улучшить mAP мелких объектов, так как мелкие цели занимают больше пикселей и сохраняют больше деталей. Однако более высокое разрешение также увеличивает потребление памяти и время обработки. Это может замедлить инференс и повысить операционные расходы.

Рис 4. Проблемы развертывания обнаружения мелких объектов. Изображение от автора.

Выбор оборудования играет ключевую роль в управлении этими компромиссами. Более мощные GPU позволяют использовать более крупные модели и обеспечивают более быструю обработку, но среды развертывания, особенно периферийные устройства, часто имеют ограниченные вычислительные ресурсы и память.

Реальные приложения добавляют еще одно ограничение: поддержание низкой задержки может потребовать уменьшения размера модели или входного разрешения, что может негативно сказаться на recall мелких объектов. В конечном счете, решения о развертывании требуют баланса между производительностью обнаружения, аппаратными ограничениями, требованиями к скорости и общими затратами.

Подводя итог: улучшение mAP модели на мелких объектах#

Улучшение обнаружения мелких объектов требует практического и структурированного подхода, особенно при работе в реальных условиях. Вот обзор основных шагов, которые стоит держать в уме:

• Проведи аудит качества набора данных: Убедись, что твой набор данных включает достаточно примеров мелких объектов, использует изображения высокого разрешения, когда это возможно, и отражает условия, в которых будет развернута модель.
• Проверь согласованность аннотаций: Убедись, что ограничивающие рамки точны, полны и размечены последовательно. Непоследовательные аннотации могут напрямую ограничивать производительность локализации.
• Тщательно настраивай параметры обучения: Продуманно регулируй размер батча, количество эпох и параметры оптимизации, чтобы мелкие объекты были должным образом представлены во время обучения.
• Действуй итеративно: Делай контролируемые корректировки, измеряй их влияние и совершенствуй свой подход. Устойчивая, основанная на данных итерация приводит к постоянному улучшению со временем.

Основные выводы#

Улучшение mAP для мелких объектов требует структурированного, основанного на данных подхода вместо случайных настроек. Реальные улучшения приходят от сочетания хороших данных, последовательных аннотаций, тщательного обучения и правильных методов оценки. В реальных проектах постоянное тестирование и небольшие, измеримые изменения — это то, что ведет к более качественному и надежному обнаружению мелких объектов с течением времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub в поисках практических ресурсов по ИИ. Чтобы создавать решения на базе визуального ИИ уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в сельском хозяйстве трансформирует земледелие и как визуальный ИИ в робототехнике формирует будущее, посетив наши страницы решений.