Полнота (Recall)

Полнота (Recall), также известная как чувствительность или доля истинно положительных результатов, является фундаментальной метрикой оценки в машинном обучении (ML) и статистике. Она измеряет способность модели правильно идентифицировать все релевантные экземпляры в наборе данных. Проще говоря, полнота (Recall) отвечает на вопрос: "Сколько из всех фактических положительных экземпляров модель правильно предсказала как положительные?" Высокий показатель полноты (Recall) указывает на то, что модель эффективно находит то, что должна найти, сводя к минимуму количество пропущенных положительных случаев (ложноотрицательных). Эта метрика особенно важна в приложениях, где необнаружение положительного случая имеет серьезные последствия.

Важность высокого значения Recall

Во многих реальных сценариях стоимость ложноотрицательного результата (пропуска обнаружения) намного выше, чем стоимость ложноположительного результата (ложной тревоги). Именно здесь приоритет высокого Recall становится важным. Например, в таких задачах, как анализ медицинских изображений или обнаружение мошенничества, модель с высоким Recall гарантирует, что как можно больше истинных случаев будет зафиксировано для дальнейшего рассмотрения, даже если это означает, что некоторые не-случаи будут ошибочно отмечены.

• Медицинская диагностика: В системе на основе ИИ для обнаружения рака на медицинских снимках модель с высокой полнотой имеет решающее значение. Гораздо лучше, если система отметит здорового пациента для проверки рентгенологом (ложноположительный результат), чем пропустит раковую опухоль (ложноотрицательный результат), что может задержать жизненно важное лечение. Многие решения в области ИИ в здравоохранении оптимизированы для высокой чувствительности.
• Безопасность и наблюдение: Для системы охранной сигнализации, предназначенной для обнаружения злоумышленников, первостепенное значение имеет высокий показатель Recall (полнота). Система должна выявлять каждую потенциальную угрозу, даже если она иногда ошибочно принимает бездомное животное за злоумышленника. Пропуск реального нарушения безопасности сделает систему неэффективной.

Полнота (Recall) в моделях Ultralytics YOLO

В контексте компьютерного зрения (CV) и моделей, таких как Ultralytics YOLO, Recall (полнота) является ключевой метрикой, используемой наряду с Precision (точностью) и mean Average Precision (mAP) (средней точностью) для оценки производительности в задачах, таких как обнаружение объектов и сегментация экземпляров. Достижение хорошего баланса между Recall и Precision часто необходимо для надежной работы в реальных условиях. Например, при сравнении моделей, таких как YOLOv8 и YOLO11, Recall помогает понять, насколько хорошо каждая модель идентифицирует все целевые объекты. Пользователи могут обучать пользовательские модели с использованием таких фреймворков, как PyTorch или TensorFlow, и отслеживать Recall с помощью таких инструментов, как Weights & Biases или встроенных функций в Ultralytics HUB. Понимание Recall помогает оптимизировать модели для конкретных случаев использования, потенциально включая настройку гиперпараметров или изучение различных архитектур моделей, таких как YOLOv10 или последняя YOLO11. Такие ресурсы, как документация Ultralytics, предлагают исчерпывающие руководства по обучению и оценке.

Полнота (Recall) в сравнении с другими метриками

Важно отличать Recall от других распространенных метрик оценки.

• Точность: В то время как полнота фокусируется на поиске всех положительных образцов, точность измеряет правильность сделанных положительных прогнозов. Она отвечает на вопрос: "Из всех экземпляров, которые модель предсказала как положительные, сколько было на самом деле положительными?" Часто существует компромисс между точностью и полнотой; увеличение одного может уменьшить другое. Эта концепция известна как компромисс между точностью и полнотой.
• Accuracy: Измеряет общий процент правильных прогнозов (как положительных, так и отрицательных). Точность может быть вводящей в заблуждение метрикой для несбалансированных наборов данных, где один класс значительно превосходит другой. Например, в наборе данных с 99% отрицательных примеров модель, которая предсказывает все как отрицательное, достигает 99% точности, но имеет нулевую полноту (Recall) для положительного класса.
• F1-мера: Это среднее гармоническое точности и полноты. F1-мера предоставляет единое число, которое балансирует обе метрики, что делает ее полезной мерой, когда вам необходимо учитывать как ложные срабатывания, так и ложные пропуски. Часто используется при неравномерном распределении классов.
• Area Under the Curve (AUC) (Площадь под кривой): Специально для бинарной классификации Receiver Operating Characteristic (ROC) curve (Кривая рабочих характеристик) отображает истинную положительную скорость (полноту) в зависимости от ложной положительной скорости. AUC предоставляет единую оценку, суммирующую производительность модели по всем порогам классификации. Площадь под кривой Precision-Recall (AUC-PR) часто более информативна для задач несбалансированной классификации.