Как улучшить mAP модели на мелких объектах: Быстрое руководство

По мере того как внедрение искусственного интеллекта (ИИ), машинного обучения и computer vision продолжает расти, системы обнаружения объектов используются повсеместно: от умных дорожных камер до дронов и инструментов розничной аналитики. Зачастую от этих систем ожидают обнаружения объектов любых размеров, будь то большой грузовик рядом с камерой или крошечный пешеход вдалеке.

Как правило, распознавать крупные и четко видимые объекты гораздо проще. И наоборот, обнаружение мелких объектов — задача более сложная.

Когда объект занимает лишь крошечную часть изображения, для работы остается совсем немного визуальной информации. Далекий пешеход на записи с дорожной камеры или небольшой автомобиль на снимке с воздуха могут содержать всего несколько пикселей, однако эти пиксели могут нести критически важную информацию.

Computer vision models, такие как модели Ultralytics YOLO, полагаются на визуальные паттерны для распознавания объектов, и когда эти паттерны ограничены или неясны, производительность страдает. Важные детали могут теряться во время обработки, что делает предсказания более чувствительными к ошибкам локализации. Даже небольшое смещение ограничивающей рамки (bounding box) может превратить правильное обнаружение в пропущенное.

Этот разрыв становится очевиден, если взглянуть на производительность модели. Большинство моделей обнаружения и сегментации хорошо справляются со средними и крупными объектами, но мелкие объекты часто снижают общую точность.

Производительность глубокого обучения обычно измеряется с помощью mean average precision, или mAP. Эта метрика отражает как точность обнаружений, так и то, насколько хорошо предсказанные рамки совпадают с реальными объектами.

Она объединяет точность (precision), которая показывает, сколько предсказанных объектов верны, и полноту (recall), которая показывает, сколько реальных объектов было успешно обнаружено, на разных уровнях уверенности и порогах Intersection over Union, или IoU (метрика, измеряющая, насколько предсказанная ограничивающая рамка перекрывается с рамкой ground truth).

Ранее мы исследовали small object detection и то, почему это такая сложная задача для моделей компьютерного зрения. В этой статье мы продолжим эту тему и сосредоточимся на том, как улучшить mAP, когда дело касается мелких объектов. Давай начнем!

Link to this sectionПочему мелкие объекты сложнее обнаружить?#

Когда речь идет о приложениях с детекторами объектов, мелкий объект определяется тем, сколько места он занимает на изображении, а не обязательно тем, насколько маленьким он кажется человеческому глазу. Если он занимает лишь крошечную часть изображения, в нем содержится очень мало визуальной информации, что затрудняет точное обнаружение алгоритмом компьютерного зрения.

Рис 1. Примеры изображений с мелкими объектами, занимающими ограниченные области пикселей (Источник)

При меньшем количестве пикселей для обработки важные детали, такие как края, формы и текстуры, могут быть неясными или легко теряться. По мере обработки изображения моделью оно изменяется в размере и упрощается, чтобы выделить полезные паттерны.

Хотя это помогает модели понять сцену в целом, это также может еще сильнее снизить мелкие детали. Для маленьких объектов эти детали часто критически важны для корректного обнаружения.

Эти трудности становятся еще более очевидными при взгляде на evaluation metrics. Мелкие объекты особенно чувствительны к ошибкам локализации. Даже слегка смещенная ограничивающая рамка может оказаться ниже необходимого порога Intersection over Union, или IoU.

Когда это происходит, предсказание, которое выглядит разумным, может быть засчитано как неверное. Это снижает и precision, и recall, что в конечном итоге уменьшает mean average precision, или mAP.

Поскольку эти факторы тесно связаны, повышение производительности часто требует обдумывания всей системы целиком. Это означает тщательный баланс между разрешением изображения, извлечением признаков, архитектурой модели и настройками оценки, чтобы мелкие визуальные детали лучше сохранялись и интерпретировались.

Link to this sectionВажность качества набора данных и аннотаций#

Когда речь заходит об обнаружении мелких объектов, качество набора данных часто играет решающую роль в производительности. Мелкие объекты занимают лишь крошечную часть изображения, а значит, у модели очень мало визуальной информации для обучения. Из-за этого тренировочные данные становятся особенно важными. Если набор данных не содержит достаточно четких и репрезентативных примеров, модель обнаружения объектов не сможет распознать устойчивые паттерны.

Наборы данных, которые хорошо подходят для обнаружения мелких объектов, обычно содержат изображения высокого разрешения, частое появление мелких целей и согласованные визуальные условия. Хотя универсальные наборы данных, такие как COCO dataset, полезны в качестве отправной точки, они часто не соответствуют масштабу, плотности или контексту конкретных реальных задач. В таких случаях становится необходимым сбор специализированных тренировочных данных для улучшения работы модели.

Annotation quality также играет критически важную роль. Аннотации устанавливают ground truth, определяя правильные метки объектов и расположения ограничивающих рамок, которые модель учится предсказывать.

Для мелких объектов ограничивающие рамки должны быть нарисованы тщательно и единообразно. Даже небольшие различия в расположении рамок могут заметно повлиять на точность локализации, поскольку мелкие объекты крайне чувствительны к сдвигам на уровне пикселей.

Плохие или непоследовательные аннотации могут значительно снизить mAP. Если объекты размечены неправильно, модель выучивает ошибочные паттерны, что может увеличить количество ложноположительных результатов.

Если объекты присутствуют на изображении, но отсутствуют в ground truth, правильные обнаружения могут быть засчитаны как ложноположительные во время оценки. Обе ситуации снижают общую производительность.

Интересно, что недавние исследования показывают, что средняя precision for small objects часто остается в пределах от 20% до 40% на стандартных бенчмарках, что значительно ниже, чем для крупных объектов. Этот разрыв подчеркивает важность дизайна набора данных и согласованности аннотаций для общей точности обнаружения.

Link to this sectionАугментация данных может играть ключевую роль в повышении точности#

Понимая важность качества набора данных и согласованности аннотаций, давай разберем, как модель обнаружения объектов может более эффективно учиться на существующих данных. Даже когда сбор дополнительных изображений затруднителен или дорог, есть способы улучшить производительность, более эффективно используя уже имеющиеся данные.

Один из самых практичных подходов — это data augmentation. Он играет особенно важную роль в обнаружении мелких объектов, поскольку они предоставляют меньше визуальных подсказок для обучения модели. Внедряя контролируемые вариации во время обучения, аугментация помогает модели лучше обобщать данные без необходимости сбора новых.

Эффективная аугментация данных фокусируется на том, чтобы мелкие объекты оставались четко видимыми. Такие методы, как контролируемое изменение размера, легкая обрезка и мозаичное изображение (tiling), могут сделать мелкие объекты более заметными, сохраняя при этом их форму и внешний вид. Цель состоит в том, чтобы помочь модели видеть мелкие объекты чаще и в немного разных условиях, не меняя того, как они выглядят в реальных ситуациях.

Однако аугментацию нужно применять осторожно. Некоторые преобразования могут снизить видимость мелких объектов или изменить их внешний вид так, как вряд ли произойдет в реальных данных. Когда это случается, модели может быть трудно выучить точные границы объектов.

Link to this sectionБолее умная аугментация данных с помощью генеративного ИИ#

Еще один интересный тип аугментации данных, который становится популярным, — это использование генеративного ИИ для создания синтетических тренировочных данных. Вместо того чтобы полагаться на изображения, собранные и размеченные вручную, команды теперь могут генерировать реалистичные сцены, которые имитируют конкретные окружения, размеры объектов, условия освещения и вариации фона.

Рис 2. Взгляд на синтетические аэрофотоснимки, используемые для аугментации данных (Источник)

Этот подход особенно полезен для обнаружения мелких объектов, где примеры из реальной жизни бывает трудно получить в достаточном количестве. Контролируя, как мелкие объекты отображаются на синтетических изображениях, например, регулируя масштаб, плотность и расположение, можно подвергнуть модели воздействию более широкого спектра тренировочных сценариев.

При тщательном сочетании с реальными данными синтетическая аугментация может повысить устойчивость модели, снизить затраты на сбор данных и обеспечить более целенаправленное повышение производительности.

Link to this sectionВыбор параметров обучения модели, которые могут повлиять на mAP мелких объектов#

Помимо качества набора данных и согласованности аннотаций, выбор параметров обучения модели также сильно влияет на производительность обнаружения мелких объектов.

Вот несколько ключевых стратегий обучения, которые стоит рассмотреть:

• Начинай с предобученных моделей: Предобученная модель, такая как Ultralytics YOLO26, уже выучила общие визуальные паттерны на больших наборах данных. Это обеспечивает сильную отправную точку вместо обучения с нуля, что особенно полезно при обнаружении мелких объектов с ограниченными данными.
• Используй transfer learning стратегически: Transfer learning означает адаптацию предобученной модели под твой конкретный набор данных. Это помогает модели сосредоточиться на твоих мелких объектах, одновременно уменьшая переобучение (запоминание тренировочных данных вместо изучения общих паттернов).
• Решай проблему дисбаланса классов: Если мелкие объекты появляются реже, чем крупные, модель может отдавать приоритет изучению более крупных объектов. Такие методы, как взвешивание классов или стратегии сэмплирования, помогают гарантировать, что мелкие объекты не будут проигнорированы.
• Настраивай пороги confidence и IoU: Мелкие объекты чувствительны к небольшим ошибкам локализации. Тонкая настройка этих порогов помогает лучше оценивать и интерпретировать производительность на мелких объектах во время валидации и инференса.

Link to this sectionАрхитектурные соображения для обнаружения мелких объектов#

Хотя ты можешь использовать универсальную модель обнаружения объектов для задач с мелкими объектами, существуют также архитектуры моделей, разработанные специально для улучшения обнаружения мелких объектов. Например, существуют P2-варианты модели Ultralytics YOLOv8, которые оптимизированы для сохранения мелких пространственных деталей.

YOLOv8 обрабатывает изображения на нескольких масштабах, постепенно уменьшая их по мере прохождения глубже в сеть. Это помогает модели понять сцену в целом, но также снижает мелкие детали.

Когда объект и так очень мал, важная визуальная информация может исчезнуть в ходе этого процесса. P2-вариант Ultralytics YOLOv8 решает эту проблему за счет использования шага (stride) 2 в своей пирамиде признаков (feature pyramid).

Пирамида признаков — это часть модели, которая анализирует изображение с несколькими внутренними разрешениями, чтобы обнаруживать объекты разных размеров. Благодаря шагу 2 изображение на этом этапе уменьшается более постепенно, что позволяет сохранить больше исходных деталей на уровне пикселей.

Поскольку сохраняется больше пространственных деталей, мелкие объекты удерживают больше видимой структуры внутри сети. Это облегчает модели локализацию и обнаружение объектов, которые занимают всего несколько пикселей, что может помочь улучшить mAP мелких объектов.

Link to this sectionОценка с учетом размера для обнаружения мелких объектов#

Хотя mean average precision суммирует общую производительность модели, она не всегда показывает, насколько хорошо модель справляется с объектами разных размеров. Для мелких объектов производительность часто ограничивается точностью локализации, а не только классификацией, что означает, что небольшие смещения ограничивающей рамки могут существенно повлиять на результаты.

Другими словами, модель может правильно определить класс объекта, но если предсказанная рамка слегка смещена, обнаружение все равно может считаться неверным. Поскольку мелкие объекты покрывают лишь небольшое количество пикселей, даже незначительное смещение рамки может существенно снизить перекрытие между предсказанной рамкой и ground truth. В результате показатели оценки могут падать, даже если объект был идентифицирован правильно.

Рис 3. Оценка обнаружения мелких объектов может быть сложной (Источник)

Более информативный подход — оценивать производительность в зависимости от размера объекта. Большинство широко используемых бенчмарков сообщают average precision отдельно для мелких, средних и крупных объектов.

Эта разбивка по размерам дает более четкое представление о том, где модель работает хорошо, а где испытывает трудности. На практике small-object AP часто отстает от общего mAP, подчеркивая проблемы локализации, которые могут быть не очевидны в агрегированных метриках.

Link to this sectionУчитывай ограничения при развертывании и реальные компромиссы#

Производительность модели часто меняется при переходе от контролируемых сред тестирования к реальному развертыванию. Такие факторы, как разрешение изображения, скорость обработки и доступное оборудование, вводят компромиссы, которые напрямую влияют на обнаружение мелких объектов.

Например, увеличение входного разрешения может улучшить mAP мелких объектов, так как мелкие цели занимают больше пикселей и сохраняют больше деталей. Однако более высокое разрешение также увеличивает потребление памяти и время обработки. Это может замедлить инференс и повысить операционные расходы.

Рис 4. Проблемы развертывания обнаружения мелких объектов. Изображение от автора.

Выбор оборудования играет ключевую роль в управлении этими компромиссами. Более мощные GPU позволяют использовать более крупные модели и обеспечивают более быструю обработку, но среды развертывания, особенно периферийные устройства, часто имеют ограниченные вычислительные ресурсы и память.

Реальные приложения добавляют еще одно ограничение: поддержание низкой задержки может потребовать уменьшения размера модели или входного разрешения, что может негативно сказаться на recall мелких объектов. В конечном счете, решения о развертывании требуют баланса между производительностью обнаружения, аппаратными ограничениями, требованиями к скорости и общими затратами.

Link to this sectionПодводя итог: улучшение mAP модели на мелких объектах#

Улучшение обнаружения мелких объектов требует практического и структурированного подхода, особенно при работе в реальных условиях. Вот обзор основных шагов, которые стоит держать в уме:

• Проведи аудит качества набора данных: Убедись, что твой набор данных включает достаточно примеров мелких объектов, использует изображения высокого разрешения, когда это возможно, и отражает условия, в которых будет развернута модель.
• Проверь согласованность аннотаций: Убедись, что ограничивающие рамки точны, полны и размечены последовательно. Непоследовательные аннотации могут напрямую ограничивать производительность локализации.
• Тщательно настраивай параметры обучения: Продуманно регулируй размер батча, количество эпох и параметры оптимизации, чтобы мелкие объекты были должным образом представлены во время обучения.
• Действуй итеративно: Делай контролируемые корректировки, измеряй их влияние и совершенствуй свой подход. Устойчивая, основанная на данных итерация приводит к постоянному улучшению со временем.

Link to this sectionОсновные выводы#

Улучшение mAP для мелких объектов требует структурированного, основанного на данных подхода вместо случайных настроек. Реальные улучшения приходят от сочетания хороших данных, последовательных аннотаций, тщательного обучения и правильных методов оценки. В реальных проектах постоянное тестирование и небольшие, измеримые изменения — это то, что ведет к более качественному и надежному обнаружению мелких объектов с течением времени.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub для получения практических ресурсов по ИИ. Чтобы создавать проекты с визуальным ИИ уже сегодня, ознакомься с нашими вариантами лицензирования. Узнай, как ИИ в сельском хозяйстве трансформирует фермерство и как визуальный ИИ в робототехнике формирует будущее, посетив наши страницы с решениями.