Разберитесь в Mean Average Precision (mAP) в Object Detection. Узнайте его значение, расчет и почему mAP является ключевым для оценки производительности модели.
Внедрение ИИ быстро растет, и ИИ интегрируется в различные инновации, от самоуправляемых автомобилей до розничных систем, которые могут идентифицировать продукты на полке. Эти технологии основаны на компьютерном зрении, разделе искусственного интеллекта (ИИ), который позволяет машинам анализировать визуальные данные.
Ключевым показателем оценки, используемым для измерения точности систем и алгоритмов компьютерного зрения, является средняя точность (mAP). Метрика mAP показывает, насколько точно прогноз модели Vision AI соответствует результатам реального мира.
Распространенной задачей компьютерного зрения является обнаружение объектов, когда модель идентифицирует несколько объектов на изображении и рисует вокруг них ограничивающие рамки. mAP — это стандартная метрика, используемая для оценки производительности моделей обнаружения объектов, и широко используется для сравнения моделей глубокого обучения, таких как Ultralytics YOLO11.
В этой статье мы увидим, как рассчитывается средняя точность (mean average precision) и почему она важна для всех, кто обучает или оценивает модели обнаружения объектов. Давайте начнем!
Средняя точность (Mean average precision) — это показатель, демонстрирующий, насколько точна модель глубокого обучения, когда речь идет о задачах, связанных с поиском визуальной информации, таких как обнаружение и идентификация различных объектов на изображении. Например, рассмотрим модель обнаружения объектов, анализирующую фотографию, на которой изображены собака, кошка и автомобиль. Надежная модель может выполнять обнаружение объектов, распознавая каждый объект и рисуя ограничивающие рамки и метки вокруг него, выделяя, где он находится и что это такое.
mAP показывает, насколько хорошо модель справляется с этой задачей на множестве изображений и для различных типов объектов. Он проверяет, точно ли модель идентифицирует каждый объект и его местоположение на изображении. Оценка варьируется от 0 до 1, где 1 означает, что модель нашла все идеально, а 0 означает, что ей не удалось обнаружить ни одного объекта.
Прежде чем мы рассмотрим концепции, лежащие в основе средней точности в машинном обучении, давайте лучше поймем два основных термина: ground truth и прогнозы.
Ground truth (истинные значения) — это точные эталонные данные, где объекты и их местоположение на изображении тщательно размечены людьми в процессе, известном как аннотация. В то же время, прогнозы — это результаты, которые модели ИИ выдают после анализа изображения. Сравнивая прогнозы модели ИИ с ground truth, мы можем измерить, насколько близко модель подошла к получению правильных результатов.
Матрица ошибок часто используется для оценки точности модели обнаружения объектов. Это таблица, показывающая, насколько предсказания модели соответствуют фактическим правильным ответам (ground truth). Из этой таблицы мы можем получить разбивку по четырем ключевым компонентам или результатам: истинно положительные, ложноположительные, ложноотрицательные и истинно отрицательные.
Вот что представляют собой эти компоненты в матрице ошибок:
Истинно отрицательные результаты обычно не используются при обнаружении объектов, поскольку мы обычно игнорируем множество пустых областей на изображении. Однако это важно в других задачах компьютерного зрения, таких как классификация изображений, где модель присваивает метку изображению. Например, если задача состоит в том, чтобы определить, содержит ли изображение кошку или нет, и модель правильно идентифицирует «нет кошки», когда изображение ее не содержит, это истинно отрицательный результат.
Еще одна важная метрика при оценке моделей обнаружения объектов — Intersection over Union (IoU). Для таких моделей Vision AI недостаточно просто обнаружить наличие объекта на изображении; необходимо также определить, где он находится на изображении, чтобы нарисовать ограничивающие рамки.
Метрика IoU измеряет, насколько точно предсказанный моделью ограничивающий прямоугольник соответствует фактическому, правильному прямоугольнику (ground truth). Оценка находится в диапазоне от 0 до 1, где 1 означает идеальное соответствие, а 0 — полное отсутствие перекрытия.
Например, более высокое значение IoU (например, 0,80 или 0,85) означает, что прогнозируемый прямоугольник близко соответствует прямоугольнику ground-truth, что указывает на точную локализацию. Более низкое значение IoU (например, 0,30 или 0,25) означает, что модель неточно локализовала объект.
Чтобы определить, является ли обнаружение успешным, мы используем разные пороговые значения. Общим пороговым значением IoU является 0,5, что означает, что прогнозируемый прямоугольник должен перекрываться с прямоугольником истинного значения как минимум на 50 %, чтобы считаться истинно положительным. Любое перекрытие ниже этого порогового значения считается ложноположительным.
До сих пор мы рассмотрели некоторые основные метрики оценки для понимания производительности моделей обнаружения объектов. В продолжение этого, двумя наиболее важными метриками являются точность и полнота. Они дают нам четкое представление о том, насколько точны обнаружения модели. Давайте посмотрим, что это такое.
Значения точности показывают, сколько прогнозов модели были фактически правильными. Это отвечает на вопрос: сколько из всех объектов, которые, по утверждению модели, были обнаружены, действительно присутствовали?
С другой стороны, значения полноты (Recall) показывают, насколько хорошо модель находит все фактические объекты, присутствующие на изображении. Он отвечает на вопрос: сколько из всех реальных объектов модель правильно обнаружила?
Вместе, точность и полнота дают нам более четкое представление о том, насколько хорошо работает модель. Например, если модель предсказывает 10 автомобилей на изображении и 9 из них действительно являются автомобилями, то ее точность составляет 90% (положительное предсказание).
Эти две метрики оценки часто связаны с компромиссом: модель может достичь высокого значения точности, только делая прогнозы, в которых она полностью уверена, но это может привести к тому, что она пропустит много объектов, что снижает уровень полноты. Между тем, она также может достичь очень высокой полноты, предсказывая ограничивающую рамку почти везде, но это снизит точность.
В то время как точность и полнота помогают нам понять, как модель работает с отдельными прогнозами, средняя точность (AP) может предоставить более широкое представление. Она показывает, как точность модели меняется по мере того, как она пытается обнаружить больше объектов, и суммирует ее производительность в одном числе.
Чтобы рассчитать среднюю оценку точности, мы можем сначала создать объединенную графоподобную метрику, называемую кривой точности-полноты (или PR-кривой) для каждого типа объекта. Эта кривая показывает, что происходит, когда модель делает больше прогнозов.
Представьте себе сценарий, в котором модель начинает с обнаружения только самых простых или очевидных объектов. На этом этапе точность высока, потому что большинство прогнозов верны, но полнота низкая, поскольку многие объекты все еще упущены. Когда модель пытается обнаружить больше объектов, включая более сложные или редкие, она обычно вносит больше ошибок. Это приводит к падению точности при увеличении полноты.
Средняя точность — это площадь под кривой (AUC кривой PR). Большая площадь означает, что модель лучше сохраняет точность своих прогнозов, даже когда она обнаруживает больше объектов. AP рассчитывается отдельно для каждой метки класса.
Например, в модели, которая может обнаруживать автомобили, велосипеды и пешеходов, мы можем рассчитать значения AP индивидуально для каждой из этих трех категорий. Это помогает нам увидеть, какие объекты модель хорошо обнаруживает и где ей еще могут потребоваться улучшения.
После вычисления средней точности для каждого класса объектов нам все еще нужен единый показатель, отражающий общую производительность модели по всем классам. Это можно сделать с помощью формулы средней точности (mean average precision). Она усредняет значения AP для каждой категории.
Например, давайте предположим, что модель компьютерного зрения, такая как YOLO11, достигает AP 0,827 для автомобилей, 0,679 для мотоциклов, 0,355 для грузовиков, 0,863 для автобусов и 0,982 для велосипедов. Используя формулу mAP, мы можем сложить эти числа и разделить на общее количество классов следующим образом:
mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7432 ≈ 0.743
Оценка mAP, равная 0,743, предоставляет простое решение для оценки того, насколько хорошо модель работает со всеми классами объектов. Значение, близкое к 1, означает, что модель является точной для большинства категорий, в то время как более низкое значение предполагает, что у нее возникают трудности с некоторыми из них.
Теперь, когда у нас есть лучшее понимание того, как рассчитываются AP и mAP и каковы их компоненты, вот обзор их значимости в компьютерном зрении:
Далее, давайте рассмотрим, как ключевые метрики, такие как mAP, могут помочь при создании реальных вариантов использования компьютерного зрения.
Когда речь идет об автомобилях с автоматическим управлением, обнаружение объектов имеет решающее значение для идентификации пешеходов, дорожных знаков, велосипедистов и дорожной разметки. Например, если ребенок внезапно выбегает на улицу, у автомобиля есть секунды, чтобы обнаружить объект (ребенка), определить его местоположение, отследить его движение и предпринять необходимые действия (применить тормоза).
Такие модели, как YOLO11, предназначены для обнаружения объектов в реальном времени в таких сценариях с высокими ставками. В этих случаях mAP становится критически важной мерой безопасности.
Высокий показатель mAP гарантирует, что система быстро обнаружит ребенка, точно его локализует и инициирует торможение с минимальной задержкой. Низкий показатель mAP может означать пропущенные обнаружения или опасные ошибочные классификации, такие как путаница ребенка с другим маленьким объектом.
Аналогично, в розничной торговле модели обнаружения объектов могут использоваться для автоматизации таких задач, как мониторинг запасов и процессы оформления покупок. Когда покупатель сканирует продукт на кассе самообслуживания, ошибка в обнаружении может вызвать разочарование.
Высокий показатель mAP гарантирует, что модель точно различает похожие продукты и рисует точные ограничивающие рамки, даже когда элементы плотно упакованы. Низкий показатель mAP может привести к путанице. Например, если модель ошибочно принимает бутылку апельсинового сока за визуально похожую бутылку яблочного сока, это может привести к неправильному выставлению счетов и неточным отчетам об инвентаризации.
Розничные системы, интегрированные с моделями, такими как YOLO11, могут обнаруживать продукты в режиме реального времени, проверять их по инвентарю и мгновенно обновлять серверные системы. В быстро меняющихся розничных условиях mAP играет решающую роль в обеспечении точности и надежности операций.
Повышение точности диагностики в здравоохранении начинается с точного обнаружения на медицинских изображениях. Модели, такие как YOLO11, могут помочь рентгенологам выявлять опухоли, переломы или другие аномалии на медицинских снимках. Здесь средняя точность (mean average precision) является важной метрикой для оценки клинической надежности модели.
Высокий показатель mAP указывает на то, что модель достигает как высокой полноты (выявление большинства фактических проблем), так и высокой точности (избежание ложных срабатываний), что имеет решающее значение при принятии клинических решений. Кроме того, порог IoU в здравоохранении часто устанавливается очень высоким (0,85 или 0,90) для обеспечения чрезвычайно точного обнаружения.
Однако низкий показатель mAP может вызывать опасения. Например, если модель пропустит опухоль, это может задержать диагностику или привести к неправильному лечению.
Вот основные преимущества использования средней точности (mean average precision) для оценки моделей обнаружения объектов:
Хотя использование метрики mAP имеет различные преимущества, существуют некоторые ограничения, которые следует учитывать. Вот несколько факторов, которые следует принять во внимание:
Мы убедились, что средняя точность (mean average precision) — это не просто технический показатель, а отражение потенциальной производительности модели в реальных условиях. Будь то система автономного вождения или касса в розничном магазине, высокий показатель mAP служит надежным индикатором производительности и практической готовности модели.
Хотя mAP является важной и эффективной метрикой, ее следует рассматривать как часть хорошо сбалансированной стратегии оценки. Для критически важных приложений, таких как здравоохранение и автономное вождение, недостаточно полагаться исключительно на mAP.
Дополнительные факторы, такие как скорость инференса (как быстро модель делает прогнозы), размер модели (влияющий на развертывание на периферийных устройствах) и качественный анализ ошибок (понимание типов ошибок, которые делает модель), также должны быть учтены, чтобы гарантировать, что система является безопасной, эффективной и действительно пригодной для использования по назначению.
Присоединяйтесь к нашему растущему сообществу и репозиторию GitHub, чтобы узнать больше о компьютерном зрении. Изучите страницы с нашими решениями, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и ИИ в логистике. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу над собственной моделью компьютерного зрения уже сегодня!
