Среднее значение точности (mAP) в детекции объектов

Внедрение ИИ происходит стремительно, и технологии искусственного интеллекта находят применение в самых разных областях: от беспилотных автомобилей до розничных систем, способных распознавать товары на полках. Эти технологии опираются на компьютерное зрение — раздел искусственного интеллекта (ИИ), позволяющий машинам анализировать визуальные данные.

Ключевой метрикой, используемой для измерения точности систем и алгоритмов компьютерного зрения, является средняя точность (mAP). Показатель mAP демонстрирует, насколько точно предсказание модели ИИ в области зрения совпадает с результатами в реальном мире.

Распространенной задачей компьютерного зрения является обнаружение объектов, при которой модель находит несколько объектов на изображении и заключает их в ограничивающие рамки (bounding boxes). mAP — это стандартная метрика для оценки производительности моделей обнаружения объектов, широко применяемая для бенчмаркинга моделей глубокого обучения, таких как Ultralytics YOLO11.

В этой статье мы разберем, как вычисляется средняя точность и почему она необходима всем, кто занимается обучением или оценкой моделей обнаружения объектов. Приступим!

Link to this sectionЧто такое средняя точность (mAP)?#

Средняя точность — это показатель, отражающий точность модели глубокого обучения при решении задач извлечения визуальной информации, таких как обнаружение и идентификация различных объектов на изображении. Например, представь модель обнаружения объектов, анализирующую фотографию, на которой есть собака, кошка и автомобиль. Надежная модель выполняет обнаружение объектов, распознавая каждый из них и рисуя вокруг них ограничивающие рамки с метками, показывая, где находится объект и что это такое.

mAP показывает, насколько хорошо модель справляется с этой задачей на множестве изображений и с различными типами объектов. Метрика проверяет, правильно ли модель определяет каждый объект и его местоположение на изображении. Значение варьируется от 0 до 1, где единица означает, что модель нашла все идеально, а ноль — что она не обнаружила ни одного объекта.

Link to this sectionКлючевые понятия в средней точности (mAP)#

Прежде чем мы изучим принципы средней точности в машинном обучении, давай лучше разберемся с двумя базовыми терминами: ground truth (истинные данные) и предсказания.

Ground truth относится к точным эталонным данным, где объекты и их расположение на изображении тщательно размечены людьми в процессе, называемом аннотированием. Предсказания же — это результаты, которые выдают модели ИИ после анализа изображения. Сравнивая предсказания модели ИИ с данными ground truth, мы можем измерить, насколько модель близка к правильным результатам.

Рис. 1. Предсказание модели и ограничивающие рамки ground truth. Изображение автора.

Link to this sectionМатрица ошибок (Confusion matrix)#

Матрица ошибок часто используется для понимания того, насколько точна модель обнаружения объектов. Это таблица, показывающая, как предсказания модели соотносятся с фактическими правильными ответами (ground truth). Из этой таблицы мы можем получить разбивку по четырем ключевым компонентам или исходам: истинно положительные (true positives), ложноположительные (false positives), ложноотрицательные (false negatives) и истинно отрицательные (true negatives) результаты.

Вот что эти компоненты означают в матрице ошибок:

• Истинно положительный (TP): Объект и его местоположение правильно обнаружены моделью.
• Ложноположительный (FP): Модель произвела обнаружение, но оно оказалось неверным.
• Ложноотрицательный (FN): Объект фактически присутствовал на изображении, но модель его не обнаружила.
• Истинно отрицательный (TN): Истинно отрицательные результаты возникают, когда модель правильно идентифицирует отсутствие объекта.

Истинно отрицательные результаты редко используются при обнаружении объектов, поскольку мы обычно игнорируем множество пустых областей на изображении. Однако это важно в других задачах компьютерного зрения, таких как классификация изображений, где модель присваивает метку всему изображению. Например, если задача состоит в том, чтобы определить, есть ли на изображении кошка, и модель правильно определяет «кошки нет», когда ее действительно нет, это истинно отрицательный результат.

Рис. 2. Результаты классификации в матрице ошибок. Изображение автора.

Link to this sectionПересечение по объединению (IoU)#

Еще одной важнейшей метрикой при оценке моделей обнаружения объектов является пересечение по объединению (IoU). Для таких моделей ИИ просто обнаружить наличие объекта на изображении недостаточно; нужно также определить, где именно он находится, чтобы нарисовать ограничивающие рамки.

Метрика IoU измеряет, насколько предсказанная моделью рамка совпадает с фактической правильной рамкой (ground truth). Оценка варьируется от 0 до 1, где 1 означает идеальное совпадение, а 0 — отсутствие какого-либо пересечения.

Например, более высокий IoU (например, 0,80 или 0,85) означает, что предсказанная рамка близка к рамке ground truth, что указывает на точную локализацию. Низкий IoU (например, 0,30 или 0,25) означает, что модель неточно локализовала объект.

Чтобы определить, является ли обнаружение успешным, мы используем различные пороги. Обычный порог IoU составляет 0,5, что означает: предсказанная рамка должна перекрываться с рамкой ground truth как минимум на 50%, чтобы считаться истинно положительным результатом. Любое перекрытие ниже этого порога считается ложноположительным результатом.

Рис. 3. Понимание пересечения по объединению. Изображение автора.

Link to this sectionТочность (Precision) и полнота (Recall)#

Мы уже рассмотрели основные метрики оценки производительности моделей обнаружения объектов. Основываясь на этом, перейдем к двум важнейшим метрикам — точности и полноте. Они дают ясное представление о том, насколько точны предсказания модели. Давай разберемся, что они собой представляют.

Значения точности (precision) показывают, сколько предсказаний модели были действительно верными. Она отвечает на вопрос: из всех объектов, которые модель «увидела», сколько действительно присутствовало на самом деле?

Значения полноты (recall), с другой стороны, измеряют, насколько хорошо модель находит все реальные объекты, присутствующие на изображении. Она отвечает на вопрос: из всех реально существующих объектов, сколько из них модель смогла правильно обнаружить?

Вместе точность и полнота дают более четкую картину эффективности работы модели. Например, если модель предсказывает 10 автомобилей на изображении и 9 из них действительно являются автомобилями, ее точность составляет 90% (положительный прогноз).

Между этими двумя метриками часто существует компромисс: модель может достичь высокого значения точности, делая прогнозы только в тех случаях, в которых она полностью уверена, но это может привести к пропуску многих объектов, что снизит уровень полноты. В то же время модель может достичь очень высокой полноты, предсказывая ограничивающие рамки почти везде, но это снизит точность.

Рис. 4. Точность и полнота. Изображение автора.

Link to this sectionСредняя точность (Average precision, AP)#

В то время как точность и полнота помогают понять, как модель справляется с отдельными предсказаниями, средняя точность (AP) обеспечивает более широкий взгляд. Она иллюстрирует, как точность модели меняется при попытке обнаружить больше объектов, и обобщает производительность в одно число.

Для расчета среднего значения точности можно сначала создать комбинированную метрику, похожую на график, называемую кривой точности-полноты (или PR-кривой) для каждого типа объекта. Эта кривая показывает, что происходит по мере того, как модель делает все больше предсказаний.

Представь ситуацию, когда модель начинает с обнаружения только самых простых или очевидных объектов. На этом этапе точность высока, так как большинство прогнозов верны, но полнота низка, поскольку многие объекты остаются ненайденными. По мере того как модель пытается обнаружить больше объектов, включая более сложные или редкие, она обычно допускает больше ошибок. Это приводит к падению точности при одновременном росте полноты.

Средняя точность — это площадь под кривой (AUC PR-кривой). Большая площадь означает, что модель лучше справляется с сохранением точности предсказаний, даже при обнаружении большего числа объектов. AP вычисляется отдельно для каждой метки класса.

Например, в модели, способной обнаруживать автомобили, велосипеды и пешеходов, мы можем вычислить значения AP отдельно для каждой из этих трех категорий. Это помогает увидеть, какие объекты модель находит хорошо, а где ей еще требуется улучшение.

Рис. 5. PR-кривая для пяти разных классов. (Источник)

Link to this sectionСредняя точность (mAP)#

После вычисления средней точности (AP) для каждого класса объектов нам все еще нужен единый показатель, отражающий общую производительность модели по всем классам. Это достигается с помощью формулы средней точности. Она усредняет показатели AP для каждой категории.

Например, допустим, модель компьютерного зрения, такая как YOLO11, достигает AP 0,827 для автомобилей, 0,679 для мотоциклов, 0,355 для грузовиков, 0,863 для автобусов и 0,982 для велосипедов. Используя формулу mAP, мы можем сложить эти числа и разделить на общее количество классов:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Показатель mAP, равный 0,743, дает прямое решение для оценки того, насколько хорошо модель работает по всем классам объектов. Значение, близкое к 1, означает, что модель точна для большинства категорий, в то время как более низкое значение говорит о том, что с некоторыми из них она справляется хуже.

Link to this sectionЗначимость AP и mAP в компьютерном зрении#

Теперь, когда у нас есть лучшее понимание того, как вычисляются AP и mAP и из чего они состоят, давай рассмотрим их значимость в компьютерном зрении:

• Низкий AP для конкретного класса: Низкий показатель AP для отдельного класса часто означает, что модель испытывает трудности именно с этим типом объектов. Это может быть связано с недостаточным количеством обучающих данных или визуальными сложностями на изображениях, такими как перекрытия.

• Ошибки локализации: Более высокое значение mAP при низком пороге IoU (например, mAP@0.50) в сочетании со значительным падением при более высоком пороге IoU (например, mAP@0.75) указывает на то, что модель может обнаруживать объекты, но ей трудно точно их локализовать.

• Переобучение: Более высокое значение mAP на тренировочном наборе данных, но более низкое на проверочном (validation) — это признак переобучения, из-за чего модель становится ненадежной при работе с новыми изображениями.

Link to this sectionРеальные применения средней точности#

Далее давай рассмотрим, как ключевые метрики, такие как mAP, помогают при создании реальных сценариев использования компьютерного зрения.

Link to this sectionАвтономные транспортные средства: почему более высокое значение mAP означает безопасность на дорогах#

Когда дело касается беспилотных автомобилей, обнаружение объектов критически важно для распознавания пешеходов, дорожных знаков, велосипедистов и дорожной разметки. Например, если ребенок внезапно выбегает на дорогу, у машины есть секунды, чтобы обнаружить объект (ребенка), определить его местоположение, отследить его движение и предпринять необходимые действия (нажать на тормоза).

Модели, такие как YOLO11, разработаны для обнаружения объектов в режиме реального времени в подобных сценариях с высокой ценой ошибки. В этих случаях mAP становится критическим показателем безопасности.

Высокая оценка mAP гарантирует, что система быстро обнаружит ребенка, точно определит его местоположение и активирует торможение с минимальной задержкой. Низкий mAP может означать пропущенные обнаружения или опасные ошибки классификации, такие как принятие ребенка за другой небольшой объект.

Рис. 6. Пример использования YOLO11 для обнаружения пешеходов на дороге. (Источник)

Link to this sectionИспользование mAP для точного обнаружения продуктов#

Аналогичным образом, в розничной торговле модели обнаружения объектов могут использоваться для автоматизации задач, таких как мониторинг товарных запасов и процессы оформления покупок. Когда покупатель сканирует товар на кассе самообслуживания, ошибка в обнаружении может вызвать раздражение.

Высокий показатель mAP гарантирует, что модель точно различает похожие продукты и рисует точные ограничивающие рамки, даже если предметы стоят очень плотно. Низкий mAP может привести к путанице. Например, если модель спутает бутылку апельсинового сока с визуально похожей бутылкой яблочного, это может привести к неправильному расчету стоимости и ошибкам в инвентарных отчетах.

Розничные системы, интегрированные с моделями вроде YOLO11, могут обнаруживать товары в реальном времени, сверять их с запасами на складе и мгновенно обновлять учетные системы. В условиях динамичной розничной торговли mAP играет решающую роль в поддержании точности и надежности операций.

Link to this sectionПовышение диагностической точности с помощью высокого mAP в здравоохранении#

Повышение точности диагностики в здравоохранении начинается с точного обнаружения в медицинской визуализации. Модели, такие как YOLO11, могут помочь радиологам выявлять опухоли, переломы или другие аномалии на снимках. Здесь средняя точность является важной метрикой для оценки клинической надежности модели.

Высокий mAP указывает на то, что модель обеспечивает как высокую полноту (выявление большинства реальных патологий), так и высокую точность (избегание ложных тревог), что критично для принятия клинических решений. Кроме того, порог IoU в медицине часто устанавливается очень высоким (0,85 или 0,90) для обеспечения максимально точного обнаружения.

Однако низкий показатель mAP может вызвать беспокойство. Допустим, модель пропустила опухоль — это может привести к задержке в постановке диагноза или неправильному лечению.

Link to this sectionПлюсы и минусы использования mAP#

Вот основные преимущества использования средней точности для оценки моделей обнаружения объектов:

• Стандартизированная метрика: mAP является отраслевым стандартом оценки моделей обнаружения объектов. Значение mAP обеспечивает справедливое и последовательное сравнение между различными моделями.

• Отражает реальную производительность: Высокий mAP указывает на то, что модель отлично справляется с обнаружением различных классов объектов и поддерживает высокую производительность в сложных реальных сценариях.

• Поклассовая диагностика: Показатель mAP оценивает производительность обнаружения для каждого класса в отдельности. Это упрощает выявление отстающих категорий (например, велосипедов или дорожных знаков) и позволяет соответствующим образом донастроить модель.

Несмотря на множество преимуществ использования метрики mAP, существуют ограничения, которые необходимо учитывать. Вот несколько факторов, которые стоит принять во внимание:

• Сложность для нетехнических специалистов: Бизнес-команды или медицинские специалисты могут находить значения mAP абстрактными, в отличие от более интуитивно понятных метрик.

• Не отражает ограничения реального времени: mAP не учитывает скорость вывода (inference speed) или задержку, что крайне важно для внедрения в чувствительных ко времени приложениях.

Link to this sectionОсновные выводы#

Мы убедились, что средняя точность — это не просто технический показатель, а отражение потенциальной эффективности модели в реальных условиях. Будь то система беспилотного автомобиля или касса самообслуживания в магазине, высокий балл mAP служит надежным индикатором производительности и практической готовности модели.

Хотя mAP является важной и значимой метрикой, ее следует рассматривать как часть комплексной стратегии оценки. Для критически важных применений, таких как здравоохранение и автономное вождение, полагаться только на mAP недостаточно.

Дополнительные факторы, такие как скорость вывода (как быстро модель делает предсказания), размер модели (влияющий на развертывание на граничных устройствах) и качественный анализ ошибок (понимание того, какие именно ошибки совершает модель), также должны учитываться для обеспечения безопасности, эффективности и соответствия системы ее целевому назначению.

Присоединяйся к нашему растущему сообществу и репозиторию на GitHub, чтобы узнать больше о компьютерном зрении. Изучи страницы с нашими решениями, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и ИИ в логистике. Ознакомься с нашими вариантами лицензирования, чтобы начать работу с собственной моделью компьютерного зрения уже сегодня!