Средняя точностьmAP)

Средняя точностьmAP) - это окончательная метрика производительности, используемая для оценки моделей компьютерного зрения, особенно тех, которые разработанных для обнаружения объектов и сегментации объектов. В отличие от простой точности классификации, которая определяет только правильность метки изображения, mAP оценивает способность модели одновременно правильно classify объект и точно определить его местоположение на изображении с помощью ограничивающего поля. Такая двойная оценка делает ее отраслевым стандартом для бенчмаркинга современных архитектур, таких как YOLO11 в сравнении с другими современными детекторами.

Компоненты mAP

Чтобы понять mAP, необходимо сначала разобраться в отношениях между тремя основополагающими концепциями: Intersection over Union (IoU), Precision и Recall.

• Пересечение над объединением (IoU): Измеряет пространственное перекрытие между предсказанной коробкой и (реальным местоположением объекта). Это соотношение варьируется от 0 до 1. Более высокий показатель IoU указывает на то, что что локализация модели очень близка к реальности.
• Точность: Здесь измеряется надежность предсказаний. Высокая точность означает, что когда модель предсказывает объект, она, скорее всего, окажется верной, что сводит к минимуму количество ложных срабатываний.
• Вспоминание: Этот показатель измеряет способность модели находить все существующие объекты. Высокий показатель означает, что модель захватывает большинство объектов в минимизируя количество ложноотрицательных результатов.

Расчет mAP включает в себя построение кривая "точность-отдача для каждого класса объектов. Средняя точность"AP) - это, по сути, площадь под этой кривой. Наконец, "Среднее значение" в mAP получается в результате усреднения этих оценок AP по всем классам в наборе данных, обеспечивая единый, всеобъемлющий результат.

mAP против mAP

При чтении исследовательских работ или страниц сравнения моделей вы часто можно увидеть, что mAP указывается с разными суффиксами. Они означают порог IoU , используемый для того, чтобы считать обнаружение "правильным".

• mAP: эта метрика считает предсказание верным, если оно совпадает с истинным по крайней мере на 50%. Это было стандартом для старых наборов данных, таких как Pascal VOC. Это мягкая метрика которая ставит во главу угла нахождение объекта, а не идеальное выравнивание.
• mAP: Популярный благодаря набору данныхCOCO , это современный золотой стандарт. Он усредняет mAP , рассчитанный с шагом 0,05, от IoU 0,50 до 0,95. Это вознаграждает модели которые не только находят объект, но и определяют его местоположение с предельной точностью на уровне пикселей, что является ключевой особенностью Ultralytics YOLO11.

Применение в реальном мире

Поскольку mAP учитывает как ложные тревоги, так и пропущенные обнаружения, он имеет решающее значение в условиях повышенного риска.

1. Автономное вождение: В области ИИ в автомобилестроении, самоуправляемый автомобиль должен detect пешеходов, другие транспортные средства и дорожные знаки. Высокий показатель mAP гарантирует, что система восприятия не пропустит препятствий (высокий уровень запоминания) и избегает фантомного торможения, вызванного ложными обнаружениями (высокая точность).
2. Медицинская диагностика: На сайте Анализ медицинских изображений, выявление опухолей или переломов требует высокой точности, чтобы избежать ненужных биопсий, и высокой точности, чтобы ни одно заболевание не осталось без лечения. ИИ в здравоохранении опирается на mAP , чтобы Чтобы подтвердить, что модели могут надежно помогать радиологам в работе с различными данными о пациентах.

Отличие mAP от родственных показателей

Важно отличать mAP от аналогичных оценочных терминов, чтобы выбрать правильную метрику для вашего проекта.

• В сравнении с точностью: Точность - это отношение правильных предсказаний к общему числу предсказаний. Она хорошо подходит для классификации изображений, но не работает при обнаружении объектов поскольку не учитывает класс "фон" или пространственное перекрытие ящиков.
• Против F1 Score: F1 Score - это среднее гармоническое значение показателей precision и recall при определенном пороге доверия. Хотя этот показатель полезен для выбора операционной точки, mAP является более надежным, поскольку оценивает производительность по всем порогов доверия, а не только одного.

Вычисление mAP с помощью Python

ПакетUltralytics Python автоматизирует сложный процесс расчета mAP. Запустив режим проверки на обученной модели, вы можете мгновенно получить оценки mAP как для порога порога 50 % и более строгого диапазона 50-95 %.

from ultralytics import YOLO

# Load the YOLO11 nano model
model = YOLO("yolo11n.pt")

# Validate on the COCO8 dataset (downloads automatically)
metrics = model.val(data="coco8.yaml")

# Access the mAP50-95 attribute from the box metrics
# This returns the mean average precision averaged over IoU 0.5-0.95
print(f"mAP50-95: {metrics.box.map}")

Этот рабочий процесс позволяет разработчикам тестировать свои модели на стандартных на стандартных наборах данных для обнаружения объектов, гарантируя, что их приложения чтобы их приложения соответствовали необходимым стандартам производительности до развертывания.