Recall

Recall, также известный как полнота или истинно положительный показатель, — это фундаментальная метрика производительности в машинном обучении, которая измеряет способность модели определять все релевантные экземпляры в наборе данных. В контексте object detection или классификации он конкретно отвечает на вопрос: «Из всех реальных положительных случаев сколько модель нашла правильно?» Достижение высокого recall критически важно в сценариях, где пропуск положительного экземпляра, часто называемый ложноотрицательным результатом, влечет за собой серьезные последствия. В отличие от accuracy, которая может вводить в заблуждение при работе с несбалансированными данными, recall дает сфокусированное представление об эффективности модели в «захвате» целевого класса.

Важность высокого уровня recall#

Во многих приложениях artificial intelligence стоимость необнаружения объекта намного выше стоимости ложного срабатывания. Модель, оптимизированная для recall, минимизирует количество ложноотрицательных результатов, гарантируя, что система забросит достаточно широкую сеть для пойма потенциальных угроз, аномалий или критических условий. Это часто связано с компромиссом, поскольку увеличение recall иногда может привести к более низкому баллу precision, что означает, что модель может пометить больше нерелевантных элементов как положительные. Понимание этого баланса является ключом к разработке надежных решений для machine learning.

Реальные приложения#

Recall является ключевой метрикой во многих критически важных для безопасности AI solutions. Вот два ярких примера, где чувствительность имеет приоритет:

• Медицинская диагностика: В medical image analysis, таких как скрининг рентгенограмм на предмет ранних признаков заболеваний, высокий recall не подлежит обсуждению. Если система AI in healthcare используется для обнаружения опухолей, для нее гораздо лучше пометить подозрительную тень, которая оказывается доброкачественной (ложноположительный результат), чем полностью пропустить злокачественную опухоль. Врачи полагаются на эти инструменты как на защитную сетку, гарантирующую, что никакие потенциальные риски для здоровья не будут упущены из виду.
• Безопасность и видеонаблюдение: Для security alarm system главная цель — обнаружить каждую попытку проникновения. Система, оптимизированная для высокого recall, гарантирует, что если человек войдет в зону с ограниченным доступом, сработает тревога. Хотя это может привести к периодическим ложным тревогам, вызванным дикими животными, это предпочтительнее неспособности системы обнаружить реального злоумышленника. Модели object detection в таких сценариях настраиваются так, чтобы обеспечить максимальную чувствительность к потенциальным угрозам.

Recall vs. Precision#

Важно отличать recall от его аналога, precision. В то время как recall измеряет количество найденных релевантных случаев (полноту), precision измеряет качество положительных прогнозов (точность).

• Recall: Фокусируется на предотвращении пропущенных обнаружений. «Нашли ли мы все яблоки?»
• Precision: Фокусируется на минимизации ложных срабатываний. «Являются ли все предметы, которые мы назвали яблоками, действительно яблоками?»

Эти две метрики часто имеют обратную зависимость, визуализируемую с помощью Precision-Recall curve. Чтобы оценить общий баланс между ними, разработчики часто смотрят на F1-score, который является средним гармоническим обеих величин. В imbalanced datasets рассмотрение recall наряду с confusion matrix дает гораздо более четкую картину производительности, чем одна только accuracy.

Измерение recall с помощью Ultralytics YOLO#

При обучении таких моделей, как передовая YOLO26, recall автоматически вычисляется на этапе validation. Фреймворк вычисляет recall для каждого класса и mean Average Precision (mAP), помогая разработчикам оценить, насколько хорошо модель находит объекты.

Ты можешь легко проверить обученную модель и посмотреть ее метрики recall с помощью Python. Этот фрагмент кода демонстрирует, как загрузить модель и проверить ее производительность на стандартном наборе данных:

from ultralytics import YOLO

# Load a pretrained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# The results object contains metrics like Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Access and print the mean recall score for box detection
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']:.4f}")

Этот код использует Ultralytics API для запуска валидации. Если recall ниже требуемого для твоего проекта, ты можешь рассмотреть такие методы, как data augmentation для создания более разнообразных обучающих примеров или hyperparameter tuning для настройки чувствительности модели. Использование Ultralytics Platform также может упростить процесс управления наборами данных и отслеживания этих метрик в течение нескольких запусков обучения.

Улучшение Recall модели#

Чтобы повысить recall модели, специалисты по работе с данными часто корректируют confidence threshold, используемый во время inference. Снижение порога делает модель более «оптимистичной», принимая больше прогнозов как положительные, что увеличивает recall, но может снизить precision. Кроме того, сбор более разнообразных training data помогает модели научиться распознавать hard negatives и неясные экземпляры. Для сложных задач использование продвинутых архитектур, таких как блоки Transformer, или изучение ensemble methods также может улучшить способность системы обнаруживать тонкие особенности, которые более простые модели могут упустить.