Recall

Recall, также известный как полнота или доля истинно положительных результатов, является фундаментальной метрикой производительности в машинном обучении, которая измеряет способность модели идентифицировать все релевантные экземпляры в наборе данных. В контексте обнаружения объектов или классификации он отвечает на конкретный вопрос: «Сколько из всех фактически положительных случаев модель нашла правильно?». Достижение высокого уровня recall критически важно в сценариях, где пропуск положительного экземпляра — который часто называют ложноотрицательным результатом — влечет за собой серьезные последствия. В отличие от точности, которая может вводить в заблуждение при работе с несбалансированными данными, recall дает сфокусированное представление об эффективности модели в «захвате» целевого класса.

Link to this sectionВажность высокого уровня recall#

Во многих приложениях искусственного интеллекта цена пропуска объекта намного выше, чем цена ложного срабатывания. Модель, оптимизированная для recall, минимизирует количество ложноотрицательных результатов, гарантируя, что система охватывает достаточно широкую область для обнаружения потенциальных угроз, аномалий или критических условий. Это часто подразумевает компромисс, так как увеличение recall иногда может привести к снижению показателя precision, что означает, что модель может помечать больше нерелевантных элементов как положительные. Понимание этого баланса — ключ к разработке надежных решений в области машинного обучения.

Link to this sectionРеальные приложения#

Recall — это ключевая метрика для многих критически важных AI-решений. Вот два ярких примера, где чувствительность имеет приоритет:

• Медицинская диагностика: В анализе медицинских изображений, например, при скрининге рентгеновских снимков на ранние признаки заболевания, высокий уровень recall обязателен. Если система ИИ в здравоохранении используется для обнаружения опухолей, гораздо лучше, чтобы система пометила подозрительную тень, которая окажется доброкачественной (ложноположительный результат), чем полностью пропустила злокачественную опухоль. Врачи полагаются на эти инструменты как на страховку, гарантирующую, что никакие потенциальные риски для здоровья не будут упущены.
• Безопасность и наблюдение: Для системы охранной сигнализации главная цель — обнаружить любую попытку проникновения. Система, оптимизированная для высокого recall, гарантирует, что если человек входит в запретную зону, сработает тревога. Хотя это может приводить к периодическим ложным срабатываниям, вызванным дикими животными, это лучше, чем если бы система не обнаружила настоящего злоумышленника. Модели обнаружения объектов в таких сценариях настраиваются так, чтобы обеспечить максимальную чувствительность к потенциальным угрозам.

Link to this sectionRecall vs. Precision#

Важно различать recall и его аналог — precision. В то время как recall измеряет количество найденных релевантных случаев (полнота), precision измеряет качество положительных предсказаний (точность).

• Recall: Фокусируется на предотвращении пропущенных обнаружений. «Нашли ли мы все яблоки?»
• Precision: Фокусируется на минимизации ложных срабатываний. «Являются ли все предметы, которые мы назвали яблоками, действительно яблоками?»

Эти две метрики часто имеют обратную зависимость, что визуализируется с помощью кривой Precision-Recall. Чтобы оценить общий баланс между ними, разработчики часто смотрят на F1-score, который является средним гармоническим обеих величин. В несбалансированных наборах данных рассмотрение recall вместе с матрицей ошибок дает гораздо более четкое представление о производительности, чем просто показатель точности.

Link to this sectionИзмерение recall с помощью Ultralytics YOLO#

При обучении моделей, таких как передовая YOLO26, recall автоматически вычисляется на этапе валидации. Фреймворк рассчитывает recall для каждого класса и среднюю точность (mAP), помогая разработчикам оценить, насколько хорошо модель находит объекты.

Ты можешь легко проверить обученную модель и посмотреть ее метрики recall с помощью Python. Этот фрагмент кода демонстрирует, как загрузить модель и проверить ее производительность на стандартном наборе данных:

from ultralytics import YOLO

# Load a pretrained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# The results object contains metrics like Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Access and print the mean recall score for box detection
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']:.4f}")

Этот код использует Ultralytics API для запуска валидации. Если уровень recall ниже необходимого для твоего проекта, ты можешь рассмотреть такие методы, как аугментация данных для создания более разнообразных примеров для обучения или настройка гиперпараметров для регулировки чувствительности модели. Использование платформы Ultralytics также поможет оптимизировать процесс управления наборами данных и отслеживания этих метрик в течение нескольких циклов обучения.

Link to this sectionУлучшение Recall модели#

Чтобы повысить recall модели, специалисты по данным часто регулируют порог уверенности, используемый во время инференса. Понижение порога делает модель более «оптимистичной», заставляя ее принимать больше предсказаний как положительные, что увеличивает recall, но может снизить precision. Кроме того, сбор более разнообразных обучающих данных помогает модели научиться распознавать сложные отрицательные примеры и неочевидные экземпляры. Для сложных задач использование передовых архитектур, таких как блоки Transformer, или изучение ансамблевых методов также может улучшить способность системы обнаруживать тонкие признаки, которые простые модели могут упустить.