Отзыв

Recall, также известный как чувствительность или частота истинных положительных результатов, является фундаментальной метрикой оценки в машинном обучении (ML) и статистике. Она измеряет способность модели правильно идентифицировать все релевантные экземпляры в наборе данных. Проще говоря, Recall отвечает на вопрос: "Сколько из всех реальных положительных случаев модель правильно предсказала как положительные?". Высокий показатель Recall указывает на то, что модель эффективно находит то, что должна находить, минимизируя количество пропущенных положительных случаев (ложноотрицательных). Эта метрика особенно важна в приложениях, где неспособность обнаружить положительный случай имеет значительные последствия.

Важность высокого уровня запоминания

Во многих реальных сценариях стоимость ложноотрицательного результата (пропуск обнаружения) намного выше стоимости ложноположительного результата (ложная тревога). Именно в этом случае приоритет высокого Recall становится очень важным. Например, в таких задачах, как анализ медицинских изображений или выявление мошенничества, модель с высоким показателем Recall гарантирует, что как можно больше истинных случаев будет отловлено для дальнейшей проверки, даже если это означает, что некоторые неистинные случаи будут неверно отмечены.

• Медицинская диагностика: для системы с искусственным интеллектом, позволяющей выявлять рак по медицинским снимкам, очень важна модель с высоким коэффициентом возврата. Гораздо лучше, если система отметит здорового пациента для проверки рентгенологом (ложноположительный результат), чем пропустит раковую опухоль (ложноотрицательный результат), что может привести к задержке жизненно важного лечения. Многие решения ИИ в здравоохранении оптимизированы для высокой чувствительности.
• Охрана и наблюдение: Для системы охранной сигнализации, предназначенной для обнаружения злоумышленников, высокий показатель Recall имеет первостепенное значение. Система должна выявлять каждую потенциальную угрозу, даже если иногда она принимает за нарушителя бродячее животное. Пропуск реального нарушения безопасности сделает систему неэффективной.

Отзыв в моделях Ultralytics YOLO

В контексте компьютерного зрения (КВ) и таких моделей, как Ultralytics YOLO, Recall является ключевой метрикой, используемой наряду с Precision и mean Average Precision (mAP) для оценки производительности в таких задачах, как обнаружение объектов и сегментация экземпляров. Достижение хорошего баланса между Recall и Precision часто необходимо для надежной работы в реальном мире. Например, при сравнении таких моделей, как YOLOv8 и YOLO11, Recall помогает понять, насколько хорошо каждая модель идентифицирует все целевые объекты. Пользователи могут обучать пользовательские модели с помощью таких фреймворков, как PyTorch или TensorFlow, и отслеживать Recall с помощью таких инструментов, как Weights & Biases, или интегрированных функций в Ultralytics HUB. Понимание Recall помогает оптимизировать модели для конкретных случаев использования, что может включать настройку гиперпараметров или изучение различных архитектур моделей, таких как YOLOv10 или новейшая YOLO11. Такие ресурсы, как документация Ultralytics, предлагают исчерпывающие руководства по обучению и оценке.

Отзыв по сравнению с другими показателями

Важно отличать Recall от других распространенных метрик оценки.

• Точность: В то время как Recall фокусируется на поиске всех положительных образцов, Precision измеряет точность сделанных положительных предсказаний. Она отвечает на вопросы: "Из всех примеров, которые модель предсказала как положительные, сколько на самом деле оказались положительными?". Между показателями Precision и Recall часто существует компромисс: увеличение одного из них может привести к уменьшению другого. Эта концепция известна как компромисс Precision-Recall.
• Точность: Измеряет общий процент правильных предсказаний (как положительных, так и отрицательных). Точность может быть вводящей в заблуждение метрикой для несбалансированных наборов данных, где один класс значительно превосходит другой. Например, в наборе данных с 99 % отрицательных образцов модель, которая предсказывает все как отрицательные, достигает 99 % точности, но имеет нулевой Recall для положительного класса.
• F1-Score: Это среднее гармоническое значение показателей Precision и Recall. F1-Score представляет собой единое число, которое уравновешивает обе метрики, что делает его полезным показателем, когда необходимо учитывать как ложноположительные, так и ложноотрицательные результаты. Его часто используют при неравномерном распределении классов.
• Площадь под кривой (AUC): Для бинарной классификации кривая операционной характеристики приемника (ROC) отображает соотношение истинно положительных результатов (Recall) и ложно положительных результатов. AUC представляет собой единую оценку, суммирующую производительность модели по всем порогам классификации. Площадь под кривой Precision-Recall (AUC-PR) часто более информативна для несбалансированных задач классификации.