Area Under the Curve (AUC)
Узнай, как площадь под кривой (AUC) измеряет производительность модели. Изучи её роль в классификации, здравоохранении и финансах с использованием Ultralytics YOLO26.
Площадь под кривой (AUC) — комплексная метрика производительности, используемая в машинном обучении (ML) для оценки дискриминирующей способности модели классификации. В частности, она измеряет двумерную площадь под кривой рабочих характеристик приемника (ROC), предоставляя единое скалярное значение в диапазоне от 0 до 1. Значение AUC, равное 1,0, указывает на идеальный классификатор, тогда как AUC, равное 0,5, означает, что модель работает не лучше случайного угадывания. Поскольку эта метрика обобщает производительность по всем возможным порогам классификации, AUC особенно эффективна для оценки возможностей предиктивного моделирования в сценариях, где оптимальная граница принятия решений неизвестна или изменяется.
Взаимосвязь между ROC и AUC#
Чтобы полностью понять AUC, необходимо разобраться в лежащей в её основе кривой ROC. На этом графике доля истинно положительных результатов (полнота) отображается в зависимости от доли ложноположительных результатов при различных значениях порога. По сути, AUC количественно оценивает вероятность того, что модель присвоит случайно выбранному положительному примеру более высокий ранг, чем случайно выбранному отрицательному.
- Разделимость: AUC измеряет, насколько хорошо модель различает классы (например, «собака» и «кошка»). Более высокая разделимость означает более точные прогнозы.
- Инвариантность к порогу: В отличие от F1-меры, которая зависит от конкретной точки отсечения, AUC предоставляет общее представление о качестве модели.
- Инвариантность к масштабу: Эта метрика оценивает, насколько хорошо ранжируются прогнозы, а не их абсолютные значения вероятности.
Практические применения#
AUC — предпочтительная метрика в отраслях, связанных с принятием критически важных решений и несбалансированными наборами данных, где один класс встречается значительно реже другого.
-
Медицинская диагностика: В области ИИ в здравоохранении модели обучают выявлять патологии с помощью анализа медицинских изображений. Например, модель для обнаружения редких опухолей должна отдавать приоритет чувствительности. Высокое значение AUC гарантирует, что система будет надёжно присваивать более высокие оценки риска действительно больным пациентам по сравнению со здоровыми людьми, снижая количество опасных ложноотрицательных результатов.
-
Обнаружение финансового мошенничества: Финансовые учреждения используют ИИ в финансах для выявления мошеннических транзакций. Поскольку легитимные транзакции значительно превосходят по численности мошеннические, модель могла бы достичь точности 99 %, просто относя всё к категории «легитимных» операций. AUC предотвращает это, оценивая, насколько хорошо модель отделяет реальные попытки мошенничества от нормального поведения независимо от распределения классов.
Отличия AUC от связанных метрик#
Крайне важно отличать AUC от других аспектов оценки модели, чтобы выбрать подходящий инструмент для своего проекта.
- AUC и точность: Точность — это просто отношение правильных прогнозов к общему числу прогнозов. На сильно несбалансированных наборах данных точность может быть обманчиво высокой. AUC устойчива к дисбалансу классов и обеспечивает более объективную оценку производительности классификатора.
- AUC и precision-recall: Если ROC-AUC является стандартом для сбалансированных результатов, то площадь под кривой precision-recall (AUPRC) часто предпочитают, когда «положительный» класс встречается крайне редко, а ложноположительные результаты вызывают серьёзные опасения.
- AUC и mAP: В задачах обнаружения объектов с использованием таких моделей, как YOLO26, стандартной метрикой является средняя точность (mAP). Хотя mAP концептуально похожа — она вычисляет площадь под кривой precision-recall при различных порогах пересечения областей (IoU), — AUC строго относится к ROC-кривой в задачах бинарной классификации или классификации по нескольким классам.
Пример кода#
В следующем примере показано, как загрузить предварительно обученную классификационную модель YOLO26 и выполнить валидацию. Хотя модели YOLO в основном сообщают о точности top-1 и top-5, процесс валидации генерирует данные прогнозов, необходимые для анализа метрик на основе кривых.
from ultralytics import YOLO
# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")
# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")
# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")Для комплексного управления жизненным циклом, включая аннотирование наборов данных и облачное обучение, в ходе которого эти метрики визуализируются автоматически, разработчики могут использовать платформу Ultralytics. Это упрощает интерпретацию сложных метрик, таких как AUC, без ручных вычислений.
