Средняя точность (mAP)

Средняя точность (Mean Average Precision, mAP) — это важнейшая метрика оценки, широко используемая в компьютерном зрении, особенно для задач обнаружения объектов. Она предоставляет единую комплексную оценку, которая суммирует производительность модели, измеряя точность ее прогнозов по всем категориям объектов. Оценка mAP учитывает как правильность классификации (является ли объект тем, чем его называет модель?), так и качество локализации (насколько хорошо предсказанный ограничивающий прямоугольник соответствует фактическому местоположению объекта?). Благодаря сбалансированной оценке mAP стала стандартной метрикой для сравнения производительности различных моделей обнаружения объектов, таких как Ultralytics YOLO.

Как работает mAP

Чтобы понять mAP, полезно сначала понять ее основные компоненты: точность (Precision), полноту (Recall) и Intersection over Union (IoU).

• Точность: Измеряет, насколько точны прогнозы модели. Отвечает на вопрос: "Из всех объектов, обнаруженных моделью, какая часть была правильной?"
• Полнота: Измеряет, насколько хорошо модель находит все фактические объекты. Отвечает на вопрос: "Из всех истинных объектов, присутствующих на изображении, какую часть модель успешно обнаружила?"
• Intersection over Union (IoU): Метрика, которая количественно определяет, насколько прогнозируемый ограничивающий прямоугольник перекрывается с эталонным (размеченным вручную) ограничивающим прямоугольником. Обнаружение обычно считается истинно положительным, если IoU превышает определенный порог (например, 0,5).

Расчет mAP синтезирует эти концепции. Для каждого класса объектов кривая точности-полноты генерируется путем построения графика точности в зависимости от полноты при различных порогах оценки достоверности. Средняя точность (AP) для этого класса — это площадь под этой кривой, представляющая собой одно число, которое отражает производительность модели для этого конкретного класса. Наконец, mAP вычисляется путем взятия среднего значения оценок AP по всем классам объектов. Некоторые схемы оценки, такие как схема для популярного набора данных COCO, идут еще дальше, усредняя mAP по нескольким порогам IoU, чтобы обеспечить еще более надежную оценку.

Отличие mAP от других метрик

Несмотря на связь с другими метриками оценки, mAP имеет определенную цель.

• Accuracy: Accuracy (Точность) измеряет отношение правильных прогнозов к общему количеству прогнозов. Обычно используется для задач классификации и плохо подходит для обнаружения объектов, где прогноз должен быть как правильно классифицирован, так и локализован.
• F1-мера: F1-мера - это среднее гармоническое точности и полноты. Хотя она и полезна, обычно она вычисляется при одном пороге уверенности. В отличие от этого, mAP обеспечивает более полную оценку, усредняя производительность по всем порогам.
• Достоверность (Confidence): Это не метрика оценки модели в целом, а оценка, присваиваемая каждому отдельному прогнозу, указывающая, насколько модель уверена в этом обнаружении. Расчет mAP использует эти оценки достоверности для создания кривой Precision-Recall.

Инструменты и бенчмарки

Стандартизированные эталонные наборы данных имеют решающее значение для продвижения области обнаружения объектов. В наборах данных, таких как PASCAL VOC и COCO, в качестве основной метрики для ранжирования результатов в публичных таблицах лидеров используется mAP. Это позволяет исследователям и специалистам объективно сравнивать различные модели, такие как YOLOv8 и YOLO11.

Платформы, такие как Ultralytics HUB, широко используют mAP, чтобы помочь пользователям отслеживать производительность во время обучения и валидации моделей. Базовые фреймворки глубокого обучения, которые поддерживают эти модели, такие как PyTorch и TensorFlow, предоставляют необходимые инструменты для создания и обучения моделей, которые в конечном итоге оцениваются с использованием mAP.

Применение в реальном мире

Метрика mAP имеет основополагающее значение при разработке надежных систем ИИ.

1. Autonomous Vehicles (Автономные транспортные средства): В ИИ для самоуправляемых автомобилей модель восприятия должна точно обнаруживать различные объекты, такие как автомобили, пешеходы, велосипедисты и дорожные знаки. Высокий показатель mAP на сложном наборе данных, таком как Argoverse, указывает на то, что модель является надежной и устойчивой во всех критических классах, что необходимо для обеспечения безопасности. Ведущие компании в этой области, такие как Waymo, в значительной степени зависят от строгих оценок с использованием таких метрик, как mAP.
2. Анализ медицинских изображений: При обучении модели для обнаружения отклонений, таких как опухоли или поражения на сканах, с использованием набора данных, такого как набор данных опухолей головного мозга, mAP используется для оценки общей диагностической точности. Высокий mAP гарантирует, что модель не только хорошо обнаруживает наиболее распространенные типы аномалий, но и эффективно выявляет более редкие, но не менее важные состояния. Эта комплексная оценка является ключевым шагом, прежде чем модель может быть рассмотрена для развертывания в медицинских учреждениях.