Среднее значение точности (mAP) в детекции объектов

Внедрение ИИ растет стремительными темпами, и искусственный интеллект интегрируется в самые разные инновационные сферы: от самоуправляемых автомобилей до систем розничной торговли, способных распознавать товары на полке. Эти технологии опираются на computer vision, ветвь искусственного интеллекта (ИИ), которая позволяет машинам анализировать визуальные данные.

Ключевой метрикой, используемой для измерения точности систем и алгоритмов компьютерного зрения, является средняя точность (mAP). Показатель mAP демонстрирует, насколько точно предсказание модели ИИ в области зрения совпадает с результатами в реальном мире.

Распространенной задачей компьютерного зрения является обнаружение объектов (object detection), при которой модель находит множество объектов на изображении и рисует вокруг них ограничивающие рамки (bounding boxes). mAP — это стандартная метрика, используемая для оценки производительности моделей обнаружения объектов и широко применяемая для бенчмаркинга моделей глубокого обучения, таких как Ultralytics YOLO11.

В этой статье мы разберем, как вычисляется средняя точность и почему она необходима всем, кто занимается обучением или оценкой моделей обнаружения объектов. Приступим!

Что такое средняя точность (mAP)?#

Средняя точность (mean average precision) — это оценка, показывающая, насколько точна модель глубокого обучения в задачах, связанных с поиском визуальной информации, таких как обнаружение и распознавание различных объектов на изображении. Например, представь себе модель object detection, анализирующую фотографию, на которой запечатлены собака, кошка и автомобиль. Надежная модель способна выполнять обнаружение объектов, распознавая каждый из них и выстраивая вокруг него ограничивающие рамки и метки, которые подчеркивают, где находится объект и чем он является.

mAP показывает, насколько хорошо модель справляется с этой задачей на множестве изображений и с различными типами объектов. Метрика проверяет, правильно ли модель определяет каждый объект и его местоположение на изображении. Значение варьируется от 0 до 1, где единица означает, что модель нашла все идеально, а ноль — что она не обнаружила ни одного объекта.

Ключевые понятия в средней точности (mAP)#

Прежде чем мы изучим принципы средней точности в машинном обучении, давай лучше разберемся с двумя базовыми терминами: ground truth (истинные данные) и предсказания.

Ground truth относится к точным эталонным данным, где объекты и их расположение на изображении тщательно размечены людьми в процессе, называемом аннотированием. Предсказания же — это результаты, которые выдают модели ИИ после анализа изображения. Сравнивая предсказания модели ИИ с данными ground truth, мы можем измерить, насколько модель близка к правильным результатам.

Рис. 1. Предсказание модели и ограничивающие рамки ground truth. Изображение автора.

Матрица ошибок (Confusion matrix)#

Для понимания точности модели обнаружения объектов часто используется confusion matrix. Это таблица, которая показывает, насколько предсказания модели соответствуют реальным правильным ответам (ground truth). Из этой таблицы можно получить детальную разбивку по четырем ключевым компонентам или исходам: истинно положительным (true positives), ложноположительным (false positives), ложноотрицательным (false negatives) и истинно отрицательным (true negatives) результатам.

Вот что эти компоненты означают в матрице ошибок:

• Истинно положительный (TP): Объект и его местоположение правильно обнаружены моделью.
• Ложноположительный (FP): Модель произвела обнаружение, но оно оказалось неверным.
• Ложноотрицательный (FN): Объект фактически присутствовал на изображении, но модель его не обнаружила.
• Истинно отрицательный (TN): Истинно отрицательные результаты возникают, когда модель правильно идентифицирует отсутствие объекта.

Истинно отрицательные результаты (true negatives) обычно не применяются в задаче обнаружения объектов, так как мы, как правило, игнорируем множество пустых областей на изображении. Тем не менее, они имеют решающее значение в других задачах компьютерного зрения, таких как image classification, где модель присваивает метку всему изображению. Например, если стоит задача определить, содержит ли изображение кошку или нет, и модель правильно определяет «нет кошки», когда на изображении ее действительно нет, это истинно отрицательный результат.

Рис. 2. Результаты классификации в матрице ошибок. Изображение автора.

Пересечение по объединению (IoU)#

Еще одной жизненно важной метрикой при оценке моделей обнаружения объектов является Intersection over Union (IoU). Для таких моделей визуального ИИ недостаточно просто обнаружить присутствие объекта на изображении — ему также необходимо определить его точное местоположение, чтобы построить ограничивающие рамки.

Метрика IoU измеряет, насколько предсказанная моделью рамка совпадает с фактической правильной рамкой (ground truth). Оценка варьируется от 0 до 1, где 1 означает идеальное совпадение, а 0 — отсутствие какого-либо пересечения.

Например, более высокий IoU (например, 0,80 или 0,85) означает, что предсказанная рамка близка к рамке ground truth, что указывает на точную локализацию. Низкий IoU (например, 0,30 или 0,25) означает, что модель неточно локализовала объект.

Чтобы определить, является ли обнаружение успешным, мы используем различные пороги. Обычный порог IoU составляет 0,5, что означает: предсказанная рамка должна перекрываться с рамкой ground truth как минимум на 50%, чтобы считаться истинно положительным результатом. Любое перекрытие ниже этого порога считается ложноположительным результатом.

Рис. 3. Понимание пересечения по объединению. Изображение автора.

Точность (Precision) и полнота (Recall)#

До сих пор мы рассматривали некоторые базовые метрики оценки для понимания производительности моделей обнаружения объектов. Опираясь на них, выделим две важнейшие метрики: precision and recall. Они дают нам четкое представление о том, насколько точны обнаружения модели. Давай взглянем на то, что они из себя представляют.

Значения точности (precision) показывают, сколько предсказаний модели были действительно верными. Она отвечает на вопрос: из всех объектов, которые модель «увидела», сколько действительно присутствовало на самом деле?

Значения полноты (recall), с другой стороны, измеряют, насколько хорошо модель находит все реальные объекты, присутствующие на изображении. Она отвечает на вопрос: из всех реально существующих объектов, сколько из них модель смогла правильно обнаружить?

Вместе точность и полнота дают более четкую картину эффективности работы модели. Например, если модель предсказывает 10 автомобилей на изображении и 9 из них действительно являются автомобилями, ее точность составляет 90% (положительный прогноз).

Между этими двумя метриками часто существует компромисс: модель может достичь высокого значения точности, делая прогнозы только в тех случаях, в которых она полностью уверена, но это может привести к пропуску многих объектов, что снизит уровень полноты. В то же время модель может достичь очень высокой полноты, предсказывая ограничивающие рамки почти везде, но это снизит точность.

Рис. 4. Точность и полнота. Изображение автора.

Средняя точность (Average precision, AP)#

В то время как точность и полнота помогают понять, как модель справляется с отдельными предсказаниями, средняя точность (AP) обеспечивает более широкий взгляд. Она иллюстрирует, как точность модели меняется при попытке обнаружить больше объектов, и обобщает производительность в одно число.

Для расчета среднего значения точности можно сначала создать комбинированную метрику, похожую на график, называемую кривой точности-полноты (или PR-кривой) для каждого типа объекта. Эта кривая показывает, что происходит по мере того, как модель делает все больше предсказаний.

Представь ситуацию, когда модель начинает с обнаружения только самых простых или очевидных объектов. На этом этапе точность высока, так как большинство прогнозов верны, но полнота низка, поскольку многие объекты остаются ненайденными. По мере того как модель пытается обнаружить больше объектов, включая более сложные или редкие, она обычно допускает больше ошибок. Это приводит к падению точности при одновременном росте полноты.

Средняя точность — это площадь под кривой (AUC PR-кривой). Большая площадь означает, что модель лучше справляется с сохранением точности предсказаний, даже при обнаружении большего числа объектов. AP вычисляется отдельно для каждой метки класса.

Например, в модели, способной обнаруживать автомобили, велосипеды и пешеходов, мы можем вычислить значения AP отдельно для каждой из этих трех категорий. Это помогает увидеть, какие объекты модель находит хорошо, а где ей еще требуется улучшение.

Рис. 5. PR-кривая для пяти различных классов. (Источник)

Средняя точность (mAP)#

После расчета средней точности (average precision) для каждого класса объектов нам все еще необходима единая оценка, которая отражает общую производительность модели по всем классам. Этого можно достичь с помощью формулы mean average precision. Она усредняет значения AP для каждой категории.

Например, давай предположим, что модель компьютерного зрения, такая как Ultralytics YOLO11, достигает AP 0.827 для автомобилей, 0.679 для мотоциклов, 0.355 для грузовиков, 0.863 для автобусов и 0.982 для велосипедов. Используя формулу mAP, мы можем сложить эти числа и разделить на общее количество классов следующим образом:

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

Показатель mAP, равный 0,743, дает прямое решение для оценки того, насколько хорошо модель работает по всем классам объектов. Значение, близкое к 1, означает, что модель точна для большинства категорий, в то время как более низкое значение говорит о том, что с некоторыми из них она справляется хуже.

Значимость AP и mAP в компьютерном зрении#

Теперь, когда у нас есть лучшее понимание того, как вычисляются AP и mAP и из чего они состоят, давай рассмотрим их значимость в компьютерном зрении:

• Низкий AP для конкретного класса: Низкий показатель AP для отдельного класса часто означает, что модель испытывает трудности именно с этим типом объектов. Это может быть связано с недостаточным количеством обучающих данных или визуальными сложностями на изображениях, такими как перекрытия.

• Ошибки локализации: Более высокое значение mAP при низком пороге IoU (например, mAP@0.50) в сочетании со значительным падением при более высоком пороге IoU (например, mAP@0.75) указывает на то, что модель может обнаруживать объекты, но ей трудно точно их локализовать.

• Переобучение (Overfitting): более высокое значение mAP на обучающем dataset и более низкое значение mAP на валидационном наборе данных являются признаком переобучения, из-за чего модель становится ненадежной для новых изображений.

Реальные применения средней точности#

Далее давай рассмотрим, как ключевые метрики, такие как mAP, помогают при создании реальных сценариев использования компьютерного зрения.

Автономные транспортные средства: почему более высокое значение mAP означает безопасность на дорогах#

Когда речь заходит о self-driving cars, обнаружение объектов имеет решающее значение для распознавания пешеходов, дорожных знаков, велосипедистов и разметки полосы движения. Например, если ребенок внезапно выбегает на дорогу, у автомобиля есть считанные секунды, чтобы обнаружить объект (ребенка), определить его местоположение, отследить его движение и предпринять необходимые действия (нажать на тормоза).

Модели вроде Ultralytics YOLO11 созданы для обнаружения объектов в реальном времени в таких критических сценариях. В подобных случаях mAP становится важнейшим показателем безопасности.

Высокая оценка mAP гарантирует, что система быстро обнаружит ребенка, точно определит его местоположение и активирует торможение с минимальной задержкой. Низкий mAP может означать пропущенные обнаружения или опасные ошибки классификации, такие как принятие ребенка за другой небольшой объект.

Рис. 6. Пример использования YOLO11 для обнаружения пешеходов на дороге. (Источник)

Использование mAP для точного обнаружения продуктов#

Аналогичным образом, в сфере retail модели обнаружения объектов могут применяться для автоматизации таких задач, как мониторинг запасов и процессы оформления покупки. Когда покупатель сканирует товар на кассе самообслуживания, ошибка обнаружения может вызвать раздражение.

Высокий показатель mAP гарантирует, что модель точно различает похожие продукты и рисует точные ограничивающие рамки, даже если предметы стоят очень плотно. Низкий mAP может привести к путанице. Например, если модель спутает бутылку апельсинового сока с визуально похожей бутылкой яблочного, это может привести к неправильному расчету стоимости и ошибкам в инвентарных отчетах.

Розничные системы, интегрированные с такими моделями, как Ultralytics YOLO11, могут обнаруживать товары в реальном времени, сверять их с инвентарем и мгновенно обновлять бэкенд-системы. В динамичной розничной среде mAP играет важнейшую роль в поддержании точности и надежности операций.

Повышение диагностической точности с помощью высокого mAP в здравоохранении#

Повышение точности диагностики в здравоохранении начинается с точного обнаружения в medical imaging. Такие модели, как YOLO11, могут помочь рентгенологам выявлять опухоли, переломы или другие аномалии по медицинским сканам. Здесь mean average precision выступает в роли важнейшей метрики для оценки клинической надежности модели.

Высокий mAP указывает на то, что модель обеспечивает как высокую полноту (выявление большинства реальных патологий), так и высокую точность (избегание ложных тревог), что критично для принятия клинических решений. Кроме того, порог IoU в медицине часто устанавливается очень высоким (0,85 или 0,90) для обеспечения максимально точного обнаружения.

Однако низкий показатель mAP может вызвать беспокойство. Допустим, модель пропустила опухоль — это может привести к задержке в постановке диагноза или неправильному лечению.

Плюсы и минусы использования mAP#

Вот основные преимущества использования средней точности для оценки моделей обнаружения объектов:

• Стандартизированная метрика: mAP является отраслевым стандартом оценки моделей обнаружения объектов. Значение mAP обеспечивает справедливое и последовательное сравнение между различными моделями.

• Отражает реальную производительность: Высокий mAP указывает на то, что модель отлично справляется с обнаружением различных классов объектов и поддерживает высокую производительность в сложных реальных сценариях.

• Поклассовая диагностика: Показатель mAP оценивает производительность обнаружения для каждого класса в отдельности. Это упрощает выявление отстающих категорий (например, велосипедов или дорожных знаков) и позволяет соответствующим образом донастроить модель.

Несмотря на множество преимуществ использования метрики mAP, существуют ограничения, которые необходимо учитывать. Вот несколько факторов, которые стоит принять во внимание:

• Сложность для нетехнических специалистов: Бизнес-команды или медицинские специалисты могут находить значения mAP абстрактными, в отличие от более интуитивно понятных метрик.

• Не отражает ограничения реального времени: mAP не учитывает скорость вывода (inference speed) или задержку, что крайне важно для внедрения в чувствительных ко времени приложениях.

Основные выводы#

Мы убедились, что средняя точность — это не просто технический показатель, а отражение потенциальной эффективности модели в реальных условиях. Будь то система беспилотного автомобиля или касса самообслуживания в магазине, высокий балл mAP служит надежным индикатором производительности и практической готовности модели.

Хотя mAP является важной и значимой метрикой, ее следует рассматривать как часть комплексной стратегии оценки. Для критически важных применений, таких как здравоохранение и автономное вождение, полагаться только на mAP недостаточно.

Дополнительные факторы, такие как скорость вывода (как быстро модель делает предсказания), размер модели (влияющий на развертывание на граничных устройствах) и качественный анализ ошибок (понимание того, какие именно ошибки совершает модель), также должны учитываться для обеспечения безопасности, эффективности и соответствия системы ее целевому назначению.

Присоединяйся к нашему растущему сообществу и нашему репозиторию на GitHub, чтобы узнать больше о компьютерном зрении. Изучай страницы наших решений, чтобы узнать о приложениях computer vision в сельском хозяйстве и ИИ в логистике. Ознакомься с нашими вариантами лицензирования, чтобы начать работу со своей собственной моделью компьютерного зрения уже сегодня!