Средняя точность (mAP)

Средняя точность (mAP) - это критическая метрика оценки, широко используемая в компьютерном зрении, особенно в задачах обнаружения объектов. Он представляет собой единый комплексный показатель, который суммирует результаты работы модели, измеряя точность ее предсказаний по всем категориям объектов. Оценка mAP учитывает как правильность классификации (является ли объект тем, о чем говорит модель?), так и качество локализации (насколько хорошо предсказанная ограничительная область соответствует реальному местоположению объекта?). Благодаря сбалансированной оценке mAP стал стандартной метрикой для сравнения производительности различных моделей обнаружения объектов, таких как Ultralytics YOLO.

Принцип работы mAP

Для понимания mAP полезно сначала разобраться в его основных компонентах: Precision, Recall и Intersection over Union (IoU).

• Точность: Измеряет, насколько точны предсказания модели. Она отвечает на вопрос: "Из всех объектов, обнаруженных моделью, какая часть оказалась верной?"
• Отзыв: Измеряет, насколько хорошо модель находит все реальные объекты. Она отвечает на вопрос: "Какую часть всех реальных объектов, присутствующих на изображении, модель успешно обнаружила?"
• Пересечение над союзом (IoU): Метрика, определяющая, насколько сильно предсказанная ограничительная область перекрывается с истинной (помеченной вручную) ограничительной областью. Обнаружение обычно считается истинно положительным, если IoU выше определенного порога (например, 0,5).

Расчет mAP синтезирует эти концепции. Для каждого класса объектов строится кривая Precision-Recall путем построения графика зависимости точности от запоминания при различных пороговых значениях доверительной вероят ности. Средняя точность (AP) для данного класса - это площадь под этой кривой, представляющая собой единое число, отражающее эффективность модели для данного конкретного класса. Наконец, mAP рассчитывается как среднее арифметическое оценок AP для всех классов объектов. Некоторые схемы оценки, например, для популярного набора данных COCO, делают еще один шаг вперед, усредняя mAP по нескольким пороговым значениям IoU, чтобы обеспечить еще более надежную оценку.

Отличие mAP от других показателей

Несмотря на связь с другими оценочными метриками, mAP имеет свою собственную цель.

• Точность: Точность измеряет отношение правильных предсказаний к общему числу предсказаний. Она обычно используется для задач классификации и плохо подходит для обнаружения объектов, где предсказание должно быть правильно классифицировано и локализовано.
• F1-Score: F1-score - это среднее гармоническое значение Precision и Recall. Несмотря на свою полезность, он обычно рассчитывается для одного порога доверия. В отличие от этого, mAP дает более полную оценку, усредняя показатели по всем порогам.
• Уверенность: Это не метрика оценки модели в целом, а балл, присваиваемый каждому отдельному предсказанию, показывающий, насколько модель уверена в данном обнаружении. При расчете mAP эти баллы доверия используются для построения кривой Precision-Recall.

Инструменты и контрольные показатели

Стандартизированные эталонные наборы данных имеют решающее значение для развития области обнаружения объектов. Такие наборы данных, как PASCAL VOC и COCO, используют mAP в качестве основной метрики для ранжирования работ на публичных досках лидеров. Это позволяет исследователям и практикам объективно сравнивать различные модели, такие как YOLOv8 и YOLO11.

В таких платформах, как Ultralytics HUB, широко используется mAP, помогающая пользователям отслеживать производительность во время обучения и проверки моделей. Базовые фреймворки глубокого обучения, на которых основаны эти модели, такие как PyTorch и TensorFlow, предоставляют необходимые инструменты для построения и обучения моделей, которые в конечном итоге оцениваются с помощью mAP.

Применение в реальном мире

Метрика mAP является основополагающей при разработке надежных систем искусственного интеллекта.

1. Автономные транспортные средства: В ИИ для самоуправляемых автомобилей модель восприятия должна точно определять различные объекты, такие как автомобили, пешеходы, велосипедисты и дорожные знаки. Высокий показатель mAP на таком сложном наборе данных, как Argoverse, свидетельствует о надежности и достоверности модели во всех критических классах, что очень важно для обеспечения безопасности. Ведущие компании в этой области, такие как Waymo, в значительной степени зависят от строгих оценок с использованием таких показателей, как mAP.
2. Анализ медицинских изображений: При обучении модели для обнаружения аномалий, таких как опухоли или повреждения, на сканах с использованием такого набора данных, как Brain Tumor dataset, mAP используется для оценки общей диагностической точности. Высокий показатель mAP гарантирует, что модель не только хорошо обнаруживает наиболее распространенные типы аномалий, но и эффективно выявляет более редкие, но не менее важные заболевания. Такая комплексная оценка является ключевым шагом, прежде чем модель может быть рассмотрена для внедрения в здравоохранение.