Средняя точность (mAP) при обнаружении объектов

Применение искусственного интеллекта стремительно растет, и он интегрируется в различные инновации, начиная от самоуправляемых автомобилей и заканчивая системами розничной торговли, способными идентифицировать товары на полке. Эти технологии опираются на компьютерное зрение- направление искусственного интеллекта (ИИ), позволяющее машинам анализировать визуальные данные. 

Ключевой метрикой, используемой для оценки точности систем и алгоритмов компьютерного зрения, является средняя точность (mAP). Метрика mAP показывает, насколько точно предсказания модели искусственного зрения соответствуют реальным результатам.

Распространенной задачей компьютерного зрения является обнаружение объектов, когда модель идентифицирует несколько объектов на изображении и рисует вокруг них ограничительные рамки. mAP - стандартная метрика, используемая для оценки производительности моделей обнаружения объектов и широко применяемая для бенчмаркинга моделей глубокого обучения, таких как Ultralytics YOLO11.

В этой статье мы рассмотрим, как рассчитывается средняя точность и почему она важна для всех, кто обучает или оценивает модели обнаружения объектов. Давайте начнем!

Что такое средняя точность (mAP)?

Средняя точность - это показатель, который показывает, насколько точно модель глубокого обучения справляется с задачами, связанными с поиском визуальной информации, например с обнаружением и идентификацией различных объектов на изображении. Например, рассмотрим модель обнаружения объектов, анализирующую фотографию, на которой изображены собака, кошка и автомобиль. Надежная модель может выполнять обнаружение объектов, распознавая каждый объект и рисуя вокруг него ограничительные рамки и метки, выделяя, где он находится и что собой представляет.

mAP показывает, насколько хорошо модель справляется с этой задачей на многих изображениях и с разными типами объектов. Проверяется, точно ли модель идентифицирует каждый объект и его местоположение на изображении. Оценка варьируется от 0 до 1, где единица означает, что модель нашла все идеально, а ноль - что она не смогла обнаружить ни одного объекта.

Ключевые понятия средней точности (mAP)

Прежде чем мы рассмотрим концепцию средней точности в машинном обучении, давайте лучше разберемся в двух основных терминах: ground truth и predictions. 

Под истиной понимаются точные справочные данные, в которых объекты и их местоположение на изображении тщательно маркируются людьми в процессе, известном как аннотирование. Между тем, прогнозы - это результаты, которые модели ИИ выдают после анализа изображения. Сравнивая прогнозы модели искусственного интеллекта с исходными данными, мы можем определить, насколько близко модель подошла к получению правильных результатов. 

‍

Матрица запутанности

Матрица смешения часто используется для того, чтобы понять, насколько точна модель обнаружения объектов. Это таблица, которая показывает, насколько предсказания модели соответствуют реальным правильным ответам (ground truth). Из этой таблицы можно получить разбивку на четыре ключевых компонента или результата: истинно положительные, ложноположительные, ложноотрицательные и истинно отрицательные результаты.

Вот что представляют собой эти компоненты в матрице путаницы:

• Истинно положительный результат (ИП): Объект и его местоположение правильно обнаружены моделью.
  ‍
• Ложное срабатывание (FP): модель сделала обнаружение, но оно оказалось неверным.
  ‍
• Ложноотрицательный результат (ЛО): Объект, который на самом деле присутствовал на изображении, но модель не смогла его обнаружить.
  ‍
• Истинное отрицание (TN): Истинное отрицание происходит, когда модель правильно определяет отсутствие объекта.

Истинные отрицания не часто используются для обнаружения объектов, поскольку мы обычно игнорируем множество пустых областей на изображении. Однако они незаменимы в других задачах компьютерного зрения, таких как классификация изображений, где модель присваивает изображению метку. Например, если задача состоит в том, чтобы определить, содержит ли изображение кошку или нет, и модель правильно определяет "нет кошки", когда изображение ее не содержит, это истинный негатив.

‍

Пересечение через Союз (IoU)

Еще одной важной метрикой при оценке моделей обнаружения объектов является показатель Intersection over Union (IoU). Для таких моделей Vision AI недостаточно просто обнаружить присутствие объекта на изображении; необходимо также определить, где он находится на изображении, чтобы нарисовать ограничительные рамки. 

Метрика IoU измеряет, насколько близко предсказанный моделью бокс совпадает с реальным, правильным боксом (ground truth). Оценка находится в диапазоне от 0 до 1, где 1 означает идеальное совпадение, а 0 - полное отсутствие совпадения.

Например, более высокий IoU (например, 0,80 или 0,85) означает, что предсказанный квадрат близко совпадает с истинным квадратом, что свидетельствует о точной локализации. Более низкий IoU (например, 0,30 или 0,25) означает, что модель не смогла точно определить местоположение объекта.

Для определения успешности обнаружения мы используем различные пороги. Общий порог IoU составляет 0,5, что означает, что предсказанный ящик должен перекрываться с истинным ящиком не менее чем на 50 %, чтобы считаться истинно положительным. Любое перекрытие ниже этого порога считается ложным срабатыванием.

‍

Точность и отзыв

До сих пор мы изучали некоторые основные метрики оценки для понимания эффективности моделей обнаружения объектов. Две наиболее важные метрики - точность и отзыв. Они дают нам четкое представление о том, насколько точны обнаружения модели. Давайте рассмотрим, что они собой представляют.

Значения точности говорят нам о том, сколько предсказаний модели было действительно верным. Они отвечают на вопрос: сколько объектов из тех, которые модель заявила как обнаруженные, действительно были?

Показатели Recall, с другой стороны, измеряют, насколько хорошо модель находит все реальные объекты, присутствующие на изображении. Она отвечает на вопрос: сколько из всех реальных объектов, присутствующих на изображении, модель обнаружила правильно?

Вместе точность и отзыв дают нам более четкое представление о том, насколько хорошо работает модель. Например, если модель предсказывает 10 автомобилей на изображении и 9 из них действительно являются автомобилями, ее точность составляет 90 % (положительное предсказание). 

Эти два показателя оценки часто связаны с компромиссом: модель может достичь высокого значения точности, делая только те прогнозы, в которых она полностью уверена, но при этом она может пропустить много объектов, что снижает уровень recall. В то же время модель может достичь очень высокого показателя recall, предсказывая ограничивающую рамку почти везде, но это приведет к снижению точности.

‍

Средняя точность

В то время как точность и отзыв помогают понять, как модель справляется с отдельными предсказаниями, средняя точность (AP) может дать более широкое представление. Он показывает, как меняется точность модели по мере того, как она пытается обнаружить больше объектов, и обобщает ее показатели в одно число.

Чтобы рассчитать средний показатель точности, мы можем сначала создать комбинированную метрику, похожую на график, которая называется кривой "точность-вызов" (или PR-кривой) для каждого типа объектов. Эта кривая показывает, что происходит по мере того, как модель делает все больше предсказаний. 

Рассмотрим сценарий, в котором модель начинает с обнаружения только самых простых или очевидных объектов. На этом этапе точность высока, поскольку большинство предсказаний верны, но запоминаемость низка, поскольку многие объекты все еще остаются пропущенными. По мере того как модель пытается обнаружить больше объектов, включая более сложные или редкие, она обычно допускает больше ошибок. В результате точность падает, а запоминание увеличивается.

Средняя точность - это площадь под кривой (AUC кривой PR). Большая площадь означает, что модель лучше сохраняет точность предсказаний, даже когда обнаруживает больше объектов. AP рассчитывается отдельно для каждой метки класса. 

Например, в модели, которая может обнаруживать автомобили, велосипеды и пешеходов, мы можем рассчитать значения AP отдельно для каждой из этих трех категорий. Это поможет нам понять, какие объекты модель обнаруживает хорошо, а какие, возможно, нуждается в улучшении.

‍

Среднее значение средней точности

После вычисления средней точности для каждого класса объектов нам все равно нужен единый балл, отражающий общую производительность модели по всем классам. Этого можно достичь с помощью формулы средней точности . Она усредняет оценки AP для каждой категории.

Например, предположим, что модель компьютерного зрения YOLO11 достигает AP 0,827 для автомобилей, 0,679 для мотоциклов, 0,355 для грузовиков, 0,863 для автобусов и 0,982 для велосипедов. Используя формулу mAP, мы можем сложить эти числа и разделить на общее количество классов следующим образом: 

mAP = (0,827 + 0,679 + 0,355 + 0,863 + 0,982) ÷ 5 = 0,7432 ≈ 0,743

‍

Показатель mAP, равный 0,743, дает возможность оценить, насколько хорошо модель справляется со всеми классами объектов. Значение, близкое к 1, означает, что модель точна для большинства категорий, в то время как более низкое значение говорит о том, что она испытывает трудности с некоторыми из них.

Значение AP и mAP в компьютерном зрении

Теперь, когда мы лучше понимаем, как рассчитываются AP и mAP и каковы их составляющие, приведем обзор их значения в компьютерном зрении:

• Низкий показатель AP для определенного класса: Низкий показатель AP для одного класса часто означает, что модель не справляется с этим конкретным классом объектов. Это может быть связано с недостаточным количеством обучающих данных или визуальными проблемами на изображениях, например окклюзией.

• Ошибки локализации: Более высокое значение mAP при низком пороге IoU (например, mAP@0.50) в сочетании со значительным падением при более высоком пороге IoU (например, mAP@0.75) указывает на то, что модель может обнаруживать объекты, но не может точно их локализовать.

• Переподгонка: Более высокое значение mAP на обучающем наборе данных, но более низкое значение mAP на валидационном наборе данных - это признак чрезмерной подгонки, делающей модель ненадежной для новых изображений.

Применение среднего значения точности в реальном мире

Далее мы рассмотрим, как такие ключевые показатели, как mAP, могут помочь при создании реальных сценариев использования компьютерного зрения.

Автономные автомобили: Почему более высокое значение mAP означает более безопасные дороги

Когда речь идет о самоуправляемых автомобилях, обнаружение объектов имеет решающее значение для идентификации пешеходов, дорожных знаков, велосипедистов и разметки полосы движения. Например, если ребенок внезапно перебегает дорогу, у автомобиля есть несколько секунд, чтобы обнаружить объект (ребенка), определить, где он находится, отследить его перемещение и предпринять необходимые действия (нажать на тормоза). 

Такие модели, как YOLO11, предназначены для обнаружения объектов в реальном времени в подобных сценариях с высокой степенью риска. В таких случаях mAP становится критической мерой безопасности.

Высокий показатель mAP гарантирует, что система быстро обнаружит ребенка, точно локализует его и включит торможение с минимальной задержкой. Низкий показатель mAP может означать пропуск обнаружения или опасную ошибку в классификации, например, если спутать ребенка с другим мелким объектом.

‍

Использование mAP для точного обнаружения продуктов

Аналогичным образом в розничной торговле модели обнаружения объектов могут использоваться для автоматизации таких задач, как мониторинг запасов и процесс оформления заказа. Когда покупатель сканирует товар на кассе самообслуживания, ошибка в обнаружении может привести к разочарованию.

Высокий показатель mAP гарантирует, что модель точно различает похожие товары и рисует точные ограничительные рамки, даже если товары плотно упакованы. Низкий показатель mAP может привести к путанице. Например, если модель перепутает бутылку апельсинового сока с визуально похожей бутылкой яблочного сока, это может привести к неправильному выставлению счетов и неточным отчетам о запасах.

Системы розничной торговли, интегрированные с такими моделями, как YOLO11, могут обнаруживать товары в режиме реального времени, сверять их с данными инвентаризации и мгновенно обновлять данные в бэкэнд-системах. В быстро меняющихся условиях розничной торговли mAP играет решающую роль в обеспечении точности и надежности операций.

Повышение точности диагностики с помощью высокого mAP в здравоохранении

Повышение точности диагностики в здравоохранении начинается с точного обнаружения в медицинской визуализации. Такие модели, как YOLO11, могут помочь радиологам обнаружить опухоли, переломы или другие аномалии на медицинских снимках. Здесь средняя точность является важнейшей метрикой для оценки клинической надежности модели.

Высокий показатель mAP указывает на то, что модель достигает как высокого показателя запоминания (выявление наиболее актуальных проблем), так и высокой точности (исключение ложных срабатываний), что имеет решающее значение для принятия клинических решений. Кроме того, порог IoU в здравоохранении часто устанавливается очень высоким (0,85 или 0,90), чтобы обеспечить чрезвычайно точное обнаружение.

Однако низкий показатель mAP может вызывать опасения. Допустим, модель пропустит опухоль; это может отсрочить диагностику или привести к неправильному лечению. 

Плюсы и минусы использования mAP

Вот основные преимущества использования среднего значения точности для оценки моделей обнаружения объектов:

• Стандартизированная метрика: mAP является отраслевым стандартом для оценки моделей обнаружения объектов. Значение mAP позволяет справедливо и последовательно сравнивать различные модели.

• Отражает производительность в реальном мире: Высокий показатель mAP указывает на то, что модель отлично справляется с обнаружением различных классов объектов и сохраняет высокую производительность в сложных сценариях реального мира.

• Диагностика по классам: Показатель mAP оценивает эффективность обнаружения для каждого класса в отдельности. Это облегчает выявление недостаточно эффективных категорий (например, велосипедов или уличных знаков) и соответствующую настройку модели.

Несмотря на различные преимущества использования метрики mAP, следует учитывать и некоторые ограничения. Вот несколько факторов, которые следует принять во внимание:

• Сложность для заинтересованных сторон, не связанных с технологиями: Бизнес- или клинические команды могут посчитать значения mAP абстрактными, в отличие от более интуитивных и простых для понимания метрик.

• Не отражает ограничений реального времени: mAP не учитывает скорость вывода и задержку, что очень важно для развертывания в чувствительных к времени приложениях.

Основные выводы

Мы убедились, что средняя точность - это не просто технический показатель, а отражение потенциальной эффективности модели в реальном мире. Будь то система автономного транспортного средства или касса розничной торговли, высокий показатель mAP служит надежным индикатором производительности и практической готовности модели.

Несмотря на то что mAP является важным и влиятельным показателем, его следует рассматривать как часть комплексной стратегии оценки. Для таких критически важных приложений, как здравоохранение и автономное вождение, недостаточно полагаться только на mAP. 

Чтобы убедиться, что система безопасна, эффективна и действительно соответствует своему назначению, необходимо учитывать такие дополнительные факторы, как скорость вывода (как быстро модель делает предсказания), размер модели (влияние на развертывание на граничных устройствах) и качественный анализ ошибок (понимание типов ошибок, которые допускает модель).

Присоединяйтесь к нашему растущему сообществу и репозиторию GitHub, чтобы узнать больше о компьютерном зрении. Изучите страницы наших решений, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и ИИ в логистике. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу над собственной моделью компьютерного зрения уже сегодня!