Средняя точность (mAP) в обнаружении объектов

Внедрение AI стремительно растёт, и AI интегрируется в различные инновации — от беспилотных автомобилей до розничных систем, способных распознавать товары на полке. Эти технологии используют компьютерное зрение — отрасль искусственного интеллекта (AI), которая позволяет машинам анализировать визуальные данные.

Одной из ключевых метрик оценки точности систем и алгоритмов компьютерного зрения является средняя точность (mAP). Метрика mAP показывает, насколько предсказание модели компьютерного зрения соответствует результатам реального мира.

Распространённая задача компьютерного зрения — обнаружение объектов, при котором модель распознаёт несколько объектов на изображении и выделяет их ограничивающими рамками. mAP — стандартная метрика для оценки производительности моделей обнаружения объектов, широко используемая для сравнения моделей глубокого обучения, таких как Ultralytics YOLO11.

В этой статье мы разберём, как рассчитывается средняя точность и почему она важна для всех, кто обучает или оценивает модели обнаружения объектов. Начнём!

Что такое средняя точность (mAP)?#

Средняя точность — это показатель, демонстрирующий, насколько точна модель глубокого обучения при выполнении задач, связанных с поиском визуальной информации, например обнаружением и распознаванием разных объектов на изображении. Представь модель обнаружения объектов, анализирующую фотографию с собакой, кошкой и автомобилем. Надёжная модель распознаёт каждый объект, выделяет его ограничивающей рамкой и добавляет метку, указывая, где он находится и что это за объект.

mAP показывает, насколько хорошо модель выполняет эту задачу на множестве изображений и для разных типов объектов. Метрика проверяет, правильно ли модель распознаёт каждый объект и его расположение на изображении. Показатель находится в диапазоне от 0 до 1: единица означает, что модель идеально нашла всё, а ноль — что она не обнаружила ни одного объекта.

Основные понятия средней точности (mAP)#

Прежде чем изучать концепции, лежащие в основе средней точности в машинном обучении, разберёмся с двумя базовыми терминами: эталонной разметкой и предсказаниями.

Эталонная разметка — это точные исходные данные, в которых объекты и их расположение на изображении тщательно размечены людьми в процессе, известном как аннотирование. Предсказания — это результаты, которые модели AI выдают после анализа изображения. Сравнивая предсказания модели AI с эталонной разметкой, мы можем измерить, насколько результат модели близок к правильному.

Рис. 1. Ограничивающие рамки предсказания модели и эталонной разметки. Изображение автора.

Матрица ошибок#

Матрица ошибок часто используется для понимания точности модели обнаружения объектов. Это таблица, показывающая, насколько предсказания модели соответствуют фактически правильным ответам (эталонной разметке). Из этой таблицы можно получить разбивку по четырём ключевым компонентам или исходам: истинно положительным, ложно положительным, ложно отрицательным и истинно отрицательным результатам.

Вот что представляют собой эти компоненты в матрице ошибок:

• Истинно положительный результат (TP): Модель правильно обнаружила объект и его расположение.
• Ложно положительный результат (FP): Модель выполнила обнаружение, но оно оказалось ошибочным.
• Ложно отрицательный результат (FN): Объект действительно присутствовал на изображении, но модель не смогла его обнаружить.
• Истинно отрицательный результат (TN): Истинно отрицательные результаты возникают, когда модель правильно определяет отсутствие объекта.

Истинно отрицательные результаты обычно не используются в обнаружении объектов, поскольку мы, как правило, игнорируем многочисленные пустые области изображения. Однако они важны для других задач компьютерного зрения, например классификации изображений, где модель присваивает изображению метку. Например, если задача заключается в определении наличия кошки на изображении, и модель правильно определяет «кошки нет», когда на изображении её действительно нет, это истинно отрицательный результат.

Рис. 2. Результаты классификации в матрице ошибок. Изображение автора.

Пересечение по объединению (IoU)#

Ещё одна важная метрика оценки моделей обнаружения объектов — пересечение по объединению (IoU). Для таких моделей компьютерного зрения недостаточно просто обнаружить присутствие объекта на изображении: модель также должна определить его расположение, чтобы построить ограничивающие рамки.

Метрика IoU измеряет, насколько предсказанная моделью рамка соответствует фактической правильной рамке (эталонной разметке). Показатель находится между 0 и 1: 1 означает идеальное совпадение, а 0 — полное отсутствие перекрытия.

Например, высокое значение IoU (например, 0.80 или 0.85) означает, что предсказанная рамка близка к рамке из эталонной разметки, то есть объект локализован точно. Низкое значение IoU (например, 0.30 или 0.25) означает, что модель неточно определила расположение объекта.

Чтобы определить, успешно ли выполнено обнаружение, мы используем разные пороги. Распространённый порог IoU равен 0.5: это означает, что предсказанная рамка должна перекрываться с рамкой из эталонной разметки минимум на 50%, чтобы результат считался истинно положительным. Любое перекрытие ниже этого порога считается ложно положительным результатом.

Рис. 3. Понимание пересечения по объединению. Изображение автора.

Точность и полнота#

До этого мы рассмотрели несколько базовых метрик оценки производительности моделей обнаружения объектов. Далее идут две наиболее важные метрики — точность и полнота. Они дают ясное представление о точности обнаружений модели. Давай разберёмся, что они означают.

Значения точности показывают, сколько предсказаний модели действительно оказались правильными. Они отвечают на вопрос: из всех объектов, которые модель заявила как обнаруженные, сколько действительно присутствовали?

Значения полноты, с другой стороны, измеряют, насколько хорошо модель находит все фактически присутствующие на изображении объекты. Они отвечают на вопрос: из всех реально присутствующих объектов сколько модель обнаружила правильно?

Вместе точность и полнота дают более ясное представление о качестве работы модели. Например, если модель предсказывает на изображении 10 автомобилей, и 9 из них действительно являются автомобилями, её точность составляет 90% (положительное предсказание).

Эти две метрики оценки часто связаны компромиссом: модель может достичь высокой точности, делая только предсказания, в которых она полностью уверена, но при этом пропустить множество объектов, что снизит полноту. В то же время модель может достичь очень высокой полноты, предсказывая ограничивающую рамку почти повсюду, но это уменьшит точность.

Рис. 4. Точность и полнота. Изображение автора.

Средняя точность#

Точность и полнота помогают понять, как модель работает с отдельными предсказаниями, а средняя точность (AP) даёт более общее представление. Она показывает, как меняется точность модели по мере попыток обнаружить больше объектов, и сводит её производительность к одному числу.

Чтобы рассчитать показатель средней точности, сначала можно построить комбинированную графикоподобную метрику — кривую точности и полноты (или PR-кривую) — для каждого типа объектов. Эта кривая показывает, что происходит по мере того, как модель делает больше предсказаний.

Представь ситуацию, в которой модель сначала обнаруживает только самые простые или очевидные объекты. На этом этапе точность высока, поскольку большинство предсказаний правильны, но полнота низка, так как многие объекты остаются необнаруженными. Когда модель пытается обнаружить больше объектов, включая сложные или редкие, она обычно допускает больше ошибок. Из-за этого точность снижается, а полнота растёт.

Средняя точность — это площадь под кривой (AUC PR-кривой). Большая площадь означает, что модель лучше сохраняет точность предсказаний даже при обнаружении большего числа объектов. AP рассчитывается отдельно для каждой метки класса.

Например, для модели, способной обнаруживать автомобили, мотоциклы и пешеходов, можно отдельно рассчитать значения AP для каждой из этих трёх категорий. Это помогает понять, какие объекты модель обнаруживает хорошо, а какие требуют дальнейшего улучшения.

Рис. 5. PR-кривая для пяти разных классов. (Источник)

Средняя средняя точность#

После расчёта средней точности для каждого класса объектов нам всё ещё нужен единый показатель, отражающий общую производительность модели по всем классам. Этого можно достичь с помощью формулы средней точности. Она усредняет значения AP для каждой категории.

Например, предположим, что модель компьютерного зрения, такая как Ultralytics YOLO11, достигает AP 0.827 для автомобилей, 0.679 для мотоциклов, 0.355 для грузовиков, 0.863 для автобусов и 0.982 для велосипедов. Используя формулу mAP, можно сложить эти числа и разделить результат на общее количество классов:

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7432 ≈ 0.743

Показатель mAP 0.743 даёт простой способ оценить, насколько хорошо модель работает со всеми классами объектов. Значение, близкое к 1, означает, что модель точна для большинства категорий, а более низкое значение указывает на трудности с некоторыми из них.

Значение AP и mAP в компьютерном зрении#

Теперь, когда мы лучше понимаем, как рассчитываются AP и mAP и из каких компонентов они состоят, рассмотрим их значение для компьютерного зрения:

• Низкий AP для конкретного класса: Низкий AP для одного класса часто означает, что модель испытывает трудности с этим классом объектов. Причиной могут быть недостаток обучающих данных или визуальные сложности на изображениях, например перекрытие объектов.

• Ошибки локализации: Более высокое значение mAP при низком пороге IoU (например, mAP@0.50) в сочетании со значительным падением при высоком пороге IoU (например, mAP@0.75) указывает, что модель умеет обнаруживать объекты, но испытывает трудности с их точной локализацией.

• Переобучение: Более высокое значение mAP на обучающем датасете, но более низкое значение mAP на валидационном датасете — признак переобучения, из-за которого модель становится ненадёжной для новых изображений.

Применение средней точности в реальном мире#

Далее рассмотрим, как такие ключевые метрики, как mAP, помогают при создании прикладных решений компьютерного зрения.

Автономные транспортные средства: почему более высокое значение mAP означает более безопасные дороги#

В случае беспилотных автомобилей обнаружение объектов крайне важно для распознавания пешеходов, дорожных знаков, велосипедистов и дорожной разметки. Например, если ребёнок внезапно выбегает на улицу, автомобилю за считанные секунды нужно обнаружить объект (ребёнка), определить его расположение, отслеживать движение и принять необходимые меры (затормозить).

Модели вроде Ultralytics YOLO11 предназначены для обнаружения объектов в реальном времени в таких критически важных сценариях. В этих случаях mAP становится важнейшим показателем безопасности.

Высокий показатель mAP гарантирует, что система быстро обнаружит ребёнка, точно определит его местоположение и с минимальной задержкой задействует торможение. Низкий mAP может означать пропущенные обнаружения или опасные ошибки классификации, например принятие ребёнка за другой небольшой объект.

Рис. 6. Пример использования YOLO11 для обнаружения пешеходов на дороге. (Источник)

Использование mAP для точного обнаружения товаров#

Аналогично, в сфере розничной торговли модели обнаружения объектов можно использовать для автоматизации таких задач, как контроль запасов и процессы оплаты. Когда покупатель сканирует товар на кассе самообслуживания, ошибка обнаружения может вызвать раздражение.

Высокий показатель mAP гарантирует, что модель точно различает похожие товары и строит точные ограничивающие рамки даже при плотной выкладке. Низкий показатель mAP может привести к путанице. Например, если модель примет бутылку апельсинового сока за визуально похожую бутылку яблочного сока, это может привести к неправильному выставлению счёта и неточным отчётам об остатках.

Розничные системы, интегрированные с моделями вроде Ultralytics YOLO11, могут обнаруживать товары в реальном времени, сверять их с данными об остатках и мгновенно обновлять внутренние системы. В динамичной розничной торговле mAP играет важную роль в поддержании точности и надёжности операций.

Повышение точности диагностики в здравоохранении с помощью высокого mAP#

Повышение точности диагностики в здравоохранении начинается с точного обнаружения на медицинских изображениях. Модели вроде YOLO11 помогают радиологам выявлять опухоли, переломы и другие аномалии на медицинских снимках. Здесь средняя точность является важной метрикой оценки клинической надёжности модели.

Высокий mAP означает, что модель обеспечивает и высокую полноту (выявляя большинство реальных патологий), и высокую точность (избегая ложных тревог), что крайне важно для принятия клинических решений. Кроме того, порог IoU в здравоохранении часто устанавливают очень высоким (0.85 или 0.90), чтобы обеспечить исключительно точное обнаружение.

Однако низкий показатель mAP может вызывать опасения. Допустим, модель пропустила опухоль — это может отсрочить постановку диагноза или привести к неправильному лечению.

Преимущества и недостатки использования mAP#

Вот основные преимущества использования средней точности для оценки моделей обнаружения объектов:

• Стандартизированная метрика: mAP — отраслевой стандарт оценки моделей обнаружения объектов. Значение mAP позволяет справедливо и последовательно сравнивать разные модели.

• Отражает производительность в реальном мире: Высокий mAP означает, что модель успешно обнаруживает различные классы объектов и сохраняет высокую производительность в сложных сценариях реального мира.

• Диагностика по классам: Показатель mAP оценивает производительность обнаружения отдельно для каждого класса. Это упрощает выявление категорий с низкими результатами (например, велосипедов или дорожных знаков) и последующую настройку модели.

Несмотря на многочисленные преимущества метрики mAP, необходимо учитывать и некоторые ограничения. Вот несколько важных факторов:

• Сложна для нетехнических специалистов: Бизнес-команды или клинические специалисты могут считать значения mAP абстрактными, в отличие от более интуитивных и понятных метрик.

• Не отражает ограничения реального времени: mAP не учитывает скорость инференса или задержку, которые критически важны для развёртывания в приложениях, чувствительных ко времени.

Основные выводы#

Мы увидели, что средняя точность — это не просто технический показатель, а отражение потенциальной производительности модели в реальном мире. Будь то система автономного автомобиля или касса в розничном магазине, высокий показатель mAP служит надёжным индикатором производительности модели и её практической готовности.

Хотя mAP — важная и значимая метрика, её следует рассматривать как часть комплексной стратегии оценки. Для критически важных приложений, таких как здравоохранение и автономное вождение, недостаточно полагаться только на mAP.

Также необходимо учитывать такие факторы, как скорость инференса (насколько быстро модель создаёт предсказания), размер модели (влияющий на развёртывание на периферийных устройствах) и качественный анализ ошибок (понимание типов ошибок, которые допускает модель), чтобы система была безопасной, эффективной и действительно подходила для своей задачи.

Присоединяйся к нашему растущему сообществу и репозиторию GitHub, чтобы узнать больше о компьютерном зрении. Изучи страницы наших решений, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и AI в логистике. Ознакомься с нашими вариантами лицензирования, чтобы уже сегодня начать работу над собственной моделью компьютерного зрения!