Средняя точностьmAP) при обнаружении объектов

Внедрение ИИ быстро растет, и ИИ интегрируется в различные инновации, от самоуправляемых автомобилей до розничных систем, которые могут идентифицировать продукты на полке. Эти технологии основаны на компьютерном зрении, разделе искусственного интеллекта (ИИ), который позволяет машинам анализировать визуальные данные. 

Ключевой метрикой, используемой для оценки точности систем и алгоритмов компьютерного зрения, является средняя точностьmAP). Метрика mAP показывает, насколько точно предсказания модели искусственного зрения соответствуют реальным результатам.

Распространенной задачей компьютерного зрения является обнаружение объектов, когда модель идентифицирует несколько объектов на изображении и рисует вокруг них ограничительные рамки. mAP - стандартная метрика, используемая для оценки производительности моделей обнаружения объектов, и широко применяется для бенчмаркинга моделей глубокого обучения, таких как Ultralytics YOLO11.

В этой статье мы увидим, как рассчитывается средняя точность (mean average precision) и почему она важна для всех, кто обучает или оценивает модели обнаружения объектов. Давайте начнем!

Что такое средняя точностьmAP)?

Средняя точность (Mean average precision) — это показатель, демонстрирующий, насколько точна модель глубокого обучения, когда речь идет о задачах, связанных с поиском визуальной информации, таких как обнаружение и идентификация различных объектов на изображении. Например, рассмотрим модель обнаружения объектов, анализирующую фотографию, на которой изображены собака, кошка и автомобиль. Надежная модель может выполнять обнаружение объектов, распознавая каждый объект и рисуя ограничивающие рамки и метки вокруг него, выделяя, где он находится и что это такое.

mAP показывает, насколько хорошо модель справляется с этой задачей на многих изображениях и с разными типами объектов. Проверяется, точно ли модель идентифицирует каждый объект и его местоположение на изображении. Оценка варьируется от 0 до 1, где единица означает, что модель нашла все идеально, а ноль - что она не смогла detect ни одного объекта.

Ключевые понятия средней точностиmAP)

Прежде чем мы рассмотрим концепции, лежащие в основе средней точности в машинном обучении, давайте лучше поймем два основных термина: ground truth и прогнозы. 

Ground truth (истинные значения) — это точные эталонные данные, где объекты и их местоположение на изображении тщательно размечены людьми в процессе, известном как аннотация. В то же время, прогнозы — это результаты, которые модели ИИ выдают после анализа изображения. Сравнивая прогнозы модели ИИ с ground truth, мы можем измерить, насколько близко модель подошла к получению правильных результатов. 

‍

Матрица ошибок

Матрица ошибок часто используется для оценки точности модели обнаружения объектов. Это таблица, показывающая, насколько предсказания модели соответствуют фактическим правильным ответам (ground truth). Из этой таблицы мы можем получить разбивку по четырем ключевым компонентам или результатам: истинно положительные, ложноположительные, ложноотрицательные и истинно отрицательные.

Вот что представляют собой эти компоненты в матрице ошибок:

• Истинно положительный результат (TP): Объект и его местоположение правильно обнаружены моделью.
  ‍
• Ложноположительный результат (FP): Модель сделала обнаружение, но оно было неверным.
  ‍
• Ложноотрицательный результат (ЛО): Объект, который на самом деле присутствовал на изображении, но модель не смогла его detect .
  ‍
• Истинно отрицательный результат (TN): Истинно отрицательные результаты возникают, когда модель правильно определяет отсутствие объекта.

Истинные отрицания не часто используются для обнаружения объектов, поскольку мы обычно игнорируем множество пустых областей на изображении. Однако они незаменимы в других задачах компьютерного зрения, таких как классификация изображений, где модель присваивает изображению метку. Например, если задача состоит в том, чтобы detect , содержит ли изображение кошку или нет, и модель правильно определяет "нет кошки", когда изображение ее не содержит, это истинный негатив.

‍

Пересечение через СоюзIoU)

Еще одной важной метрикой при оценке моделей обнаружения объектов является показатель Intersection over UnionIoU). Для таких моделей Vision AI недостаточно просто обнаружить присутствие объекта на изображении; необходимо также определить, где он находится на изображении, чтобы нарисовать ограничительные рамки. 

Метрика IoU измеряет, насколько близко предсказанный моделью бокс совпадает с реальным, правильным боксом (ground truth). Оценка находится в диапазоне от 0 до 1, где 1 означает идеальное совпадение, а 0 - полное отсутствие совпадения.

Например, более высокий IoU (например, 0,80 или 0,85) означает, что предсказанный квадрат близко совпадает с истинным квадратом, что свидетельствует о точной локализации. Более низкий IoU (например, 0,30 или 0,25) означает, что модель не смогла точно определить местоположение объекта.

Для определения успешности обнаружения мы используем различные пороги. Общий порог IoU составляет 0,5, что означает, что предсказанный ящик должен перекрываться с истинным ящиком не менее чем на 50 %, чтобы считаться истинно положительным. Любое перекрытие ниже этого порога считается ложным срабатыванием.

‍

Точность и полнота

До сих пор мы рассмотрели некоторые основные метрики оценки для понимания производительности моделей обнаружения объектов. В продолжение этого, двумя наиболее важными метриками являются точность и полнота. Они дают нам четкое представление о том, насколько точны обнаружения модели. Давайте посмотрим, что это такое.

Значения точности говорят нам о том, сколько предсказаний модели было действительно верным. Они отвечают на вопрос: сколько объектов из тех, которые модель заявила detect, действительно были?

Показатели Recall, с другой стороны, измеряют, насколько хорошо модель находит все реальные объекты, присутствующие на изображении. Они отвечают на вопрос: сколько реальных объектов было detect моделью правильно?

Вместе, точность и полнота дают нам более четкое представление о том, насколько хорошо работает модель. Например, если модель предсказывает 10 автомобилей на изображении и 9 из них действительно являются автомобилями, то ее точность составляет 90% (положительное предсказание). 

Эти две метрики оценки часто связаны с компромиссом: модель может достичь высокого значения точности, только делая прогнозы, в которых она полностью уверена, но это может привести к тому, что она пропустит много объектов, что снижает уровень полноты. Между тем, она также может достичь очень высокой полноты, предсказывая ограничивающую рамку почти везде, но это снизит точность.

‍

Средняя точность

В то время как точность и отзыв помогают понять, как модель справляется с отдельными предсказаниями, средняя точностьAP) может дать более широкое представление. Он показывает, как меняется точность модели по мере того, как она пытается detect больше объектов, и обобщает ее показатели в одно число.

Чтобы рассчитать среднюю оценку точности, мы можем сначала создать объединенную графоподобную метрику, называемую кривой точности-полноты (или PR-кривой) для каждого типа объекта. Эта кривая показывает, что происходит, когда модель делает больше прогнозов. 

Рассмотрим сценарий, в котором модель начинает с обнаружения только самых простых или очевидных объектов. На этом этапе точность высока, поскольку большинство предсказаний верны, но запоминаемость низка, поскольку многие объекты все еще остаются пропущенными. По мере того как модель пытается detect больше объектов, включая более сложные или редкие, она обычно допускает больше ошибок. В результате точность падает, а запоминание увеличивается.

Средняя точность - это площадь под кривой (AUC кривой PR). Большая площадь означает, что модель лучше сохраняет точность предсказаний, даже когда обнаруживает больше объектов. AP рассчитывается отдельно для каждой метки класса. 

Например, в модели, которая может detect автомобили, велосипеды и пешеходов, мы можем рассчитать значения AP отдельно для каждой из этих трех категорий. Это поможет нам понять, какие объекты модель обнаруживает хорошо, а какие, возможно, нуждается в улучшении.

‍

Средняя точность (Mean average precision).

После вычисления средней точности для каждого класса объектов нам все равно нужен единый балл, отражающий общую производительность модели по всем классам. Этого можно достичь с помощью формулы средней точности . Она усредняет оценки AP для каждой категории.

Например, предположим, что модель компьютерного зрения YOLO11 достигает AP 0,827 для легковых автомобилей, 0,679 для мотоциклов, 0,355 для грузовиков, 0,863 для автобусов и 0,982 для велосипедов. Используя формулу mAP , мы можем сложить эти числа и разделить на общее количество классов следующим образом: 

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

‍

Показатель mAP , равный 0,743, дает возможность оценить, насколько хорошо модель справляется со всеми классами объектов. Значение, близкое к 1, означает, что модель точна для большинства категорий, в то время как более низкое значение говорит о том, что она испытывает трудности с некоторыми из них.

Значение AP и mAP в компьютерном зрении

Теперь, когда мы лучше понимаем, как рассчитываются AP и mAP и каковы их составляющие, приведем обзор их значения в компьютерном зрении:

• Низкий AP для определенного класса: Низкий AP для одного класса часто означает, что модель не справляется с этим конкретным классом объектов. Это может быть связано с недостаточным количеством обучающих данных или визуальными проблемами на изображениях, например окклюзией.

• Ошибки локализации: Более высокое значение mAP при низком пороге IoU (например, mAP в сочетании со значительным падением при более высоком пороге IoU (например, mAP указывает на то, что модель может detect объекты, но не может точно их локализовать.

• Переподгонка: Более высокое значение mAP на обучающем наборе данных, но более низкое значение mAP на валидационном наборе данных - это признак чрезмерной подгонки, делающей модель ненадежной для новых изображений.

Реальные приложения средней точности

Далее мы рассмотрим, как такие ключевые показатели, как mAP , могут помочь при создании реальных сценариев использования компьютерного зрения.

Автономные автомобили: Почему более высокое значение mAP означает более безопасные дороги

Когда речь идет о самоуправляемых автомобилях, обнаружение объектов имеет решающее значение для идентификации пешеходов, дорожных знаков, велосипедистов и разметки полосы движения. Например, если ребенок внезапно перебегает дорогу, у автомобиля есть несколько секунд, чтобы detect объект (ребенка), определить, где он находится, track его перемещение и предпринять необходимые действия (нажать на тормоза). 

Такие модели, как YOLO11 , предназначены для обнаружения объектов в реальном времени в подобных сценариях с высокой степенью риска. В таких случаях mAP становится критической мерой безопасности.

Высокий показатель mAP гарантирует, что система быстро обнаружит ребенка, точно локализует его и включит торможение с минимальной задержкой. Низкий mAP может означать пропуск обнаружения или опасную ошибку в классификации, например, если спутать ребенка с другим мелким объектом.

‍

Использование mAP для точного обнаружения продуктов

Аналогично, в розничной торговле модели обнаружения объектов могут использоваться для автоматизации таких задач, как мониторинг запасов и процессы оформления покупок. Когда покупатель сканирует продукт на кассе самообслуживания, ошибка в обнаружении может вызвать разочарование.

Высокий показатель mAP гарантирует, что модель точно различает похожие товары и рисует точные ограничительные рамки, даже если товары плотно упакованы. Низкий показатель mAP может привести к путанице. Например, если модель перепутает бутылку апельсинового сока с визуально похожей бутылкой яблочного сока, это может привести к неправильному выставлению счетов и неточным отчетам о запасах.

Системы розничной торговли, интегрированные с такими моделями, как YOLO11 , могут detect товары в режиме реального времени, сверять их с данными инвентаризации и мгновенно обновлять данные в бэкэнд-системах. В быстро меняющихся условиях розничной торговли mAP играет решающую роль в обеспечении точности и надежности операций.

Повышение точности диагностики с помощью высокого mAP в здравоохранении

Повышение точности диагностики в здравоохранении начинается с точного обнаружения при медицинской визуализации. Такие модели, как YOLO11 , могут помочь радиологам обнаружить опухоли, переломы или другие аномалии на медицинских снимках. Здесь средняя точность является важнейшей метрикой для оценки клинической надежности модели.

Высокий mAP указывает на то, что модель достигает как высокого показателя запоминания (выявление наиболее актуальных проблем), так и высокой точности (исключение ложных срабатываний), что имеет решающее значение для принятия клинических решений. Кроме того, порог IoU в здравоохранении часто устанавливается очень высоким (0,85 или 0,90), чтобы обеспечить чрезвычайно точное обнаружение.

Однако низкий показатель mAP может вызывать опасения. Допустим, модель пропустит опухоль; это может отсрочить диагностику или привести к неправильному лечению. 

Плюсы и минусы использования mAP

Вот основные преимущества использования средней точности (mean average precision) для оценки моделей обнаружения объектов:

• Стандартизированная метрика: mAP является отраслевым стандартом для оценки моделей обнаружения объектов. Значение mAP позволяет справедливо и последовательно сравнивать различные модели.

• Отражает производительность в реальном мире: Высокий показатель mAP указывает на то, что модель отлично справляется с обнаружением различных классов объектов и сохраняет высокую производительность в сложных сценариях реального мира.

• Диагностика по классам: Показатель mAP оценивает эффективность обнаружения для каждого класса в отдельности. Это облегчает выявление недостаточно эффективных категорий (например, велосипедов или уличных знаков) и соответствующую настройку модели.

Несмотря на различные преимущества использования метрики mAP , следует учитывать и некоторые ограничения. Вот несколько факторов, которые следует принять во внимание:

• Сложность для заинтересованных сторон, не связанных с технологиями: Бизнес- или клинические команды могут посчитать значения mAP абстрактными, в отличие от более интуитивных и простых для понимания метрик.

• Не отражает ограничений реального времени: mAP не учитывает скорость вывода и задержку, что очень важно для развертывания в чувствительных к времени приложениях.

Основные выводы

Мы убедились, что средняя точность - это не просто технический показатель, а отражение потенциальной эффективности модели в реальном мире. Будь то система автономного транспортного средства или касса розничной торговли, высокий показатель mAP служит надежным индикатором производительности и практической готовности модели.

Несмотря на то что mAP является важным и влиятельным показателем, его следует рассматривать как часть комплексной стратегии оценки. Для таких критически важных приложений, как здравоохранение и автономное вождение, недостаточно полагаться только на mAP. 

Дополнительные факторы, такие как скорость инференса (как быстро модель делает прогнозы), размер модели (влияющий на развертывание на периферийных устройствах) и качественный анализ ошибок (понимание типов ошибок, которые делает модель), также должны быть учтены, чтобы гарантировать, что система является безопасной, эффективной и действительно пригодной для использования по назначению.

Присоединяйтесь к нашему растущему сообществу и репозиторию GitHub, чтобы узнать больше о компьютерном зрении. Изучите страницы с нашими решениями, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и ИИ в логистике. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу над собственной моделью компьютерного зрения уже сегодня!