Площадь под кривой (AUC)

Площадь под кривой (AUC) - это фундаментальная метрика, используемая для количественной оценки эффективности моделей классификации, особенно в сфере машинного обучения (ML). Она измеряет способность модели проводить различия между классами, например, отделять положительные экземпляры от отрицательных. В отличие от метрик которые опираются на один порог принятия решения, AUC дает полное представление о производительности по всем возможным порогов. Это делает его важным инструментом для оценки алгоритмов контролируемого обучения, гарантируя, что что прогностические возможности модели надежны и не зависят от конкретной точки отсечения. Более высокое значение AUC обычно указывает на лучшую работу модели, а показатель 1,0 означает идеальную классификацию.

Взаимосвязь между AUC и ROC

Термин AUC означает площадь под кривой операционной характеристики приемника (ROC). ROC-кривая - это графический график, иллюстрирующий диагностическую способность бинарной системы классификаторов. Она отображает коэффициент истинных положительных результатов (TPR), также известный как Recall, против коэффициента ложноположительных результатов (FPR) при различных пороговых значениях.

• Коэффициент истинных положительных результатов: Доля реальных положительных случаев, эффективно выявленных моделью.
• Коэффициент ложноположительных результатов: Доля реальных отрицательных случаев, которые были ошибочно определены как положительными.

Рассчитывая AUC, специалисты по анализу данных сводят информацию, содержащуюся в ROC-кривой, к одному числу. Это упрощает оценку модели, позволяя более легкое сравнение между различными архитектурами, например, сравнение ResNet-50 с более легкой альтернативой.

Интерпретация оценок

Показатель AUC варьируется от 0 до 1, обеспечивая вероятностную интерпретацию качества ранжирования модели.

• AUC = 1,0: Идеальный классификатор. Он может правильно различать положительные и отрицательные классы в 100 % времени.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0,5: модель не обладает дискриминационной способностью, что эквивалентно случайному угадыванию (как подбрасывание монеты). монету).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Для более глубокого погружения в механику классификации можно воспользоваться такими ресурсами, как Google Machine Learning Crash Course предлагают отличные наглядные объяснения.

Применение в реальном мире

AUC особенно ценен в сценариях, где последствия ложноположительных и ложноотрицательных результатов существенно различаются значительно.

1. Медицинская диагностика: В ИИ в здравоохранении часто обучают модели для detect аномалий, например опухолей, на рентгеновских снимках или снимках МРТ. Высокий показатель AUC гарантирует, что модель достоверно оценивает злокачественные опухоли выше, чем доброкачественные. Такая надежность очень важна для систем поддержки принятия клинических решений, используемых радиологами. Например, можно увидеть, как YOLO11 помогает в обнаружении опухолей подчеркивает важность надежных оценочных метрик в жизненно важных приложениях.
2. Обнаружение финансового мошенничества: Финансовые учреждения используют компьютерное зрение (КВ) и распознавание образов для выявления мошеннических операций. Поскольку число законных транзакций значительно превышает число мошеннических, данные оказываются крайне дисбаланс. В данном случае предпочтительнее использовать AUC, поскольку он оценивает ранжирование вероятностей мошенничества без перекосов, вызванных большого количества легитимных отрицательных результатов, в отличие от необработанной точности. Это помогает создавать системы, которые минимизируют трения с клиентами, сохраняя при этом безопасность, что является основным компонентом ИИ в финансах.

AUC по сравнению с другими показателями

Понимание того, когда следует использовать AUC в сравнении с другими метриками, имеет ключевое значение для успешного развертывания модели.

• AUC по сравнению с точностью: Точность измеряет процент правильных предсказаний. Однако на несбалансированных наборах данных (например, 99 % отрицательных классов) модель может достичь 99 % точности, предсказывая "негатив" для всего, несмотря на нулевую предсказательную способность. AUC инвариантна к дисбалансу классов, что делает ее более честной метрикой для таких задач.
• AUC по сравнению с Precision-Recall: В то время как ROC AUC учитывает как TPR, так и FPR, Precision и Recall фокусируются именно на положительном классе. В случаях когда ложноположительные результаты допустимы, а ложноотрицательные - нет (например, при первичном скрининге заболеваний), анализ компромисса компромисс между точностью и запоминанием может быть более информативным, чем ROC AUC.
• AUC по сравнению с mAP: Для задачи обнаружения объектов, выполняемые такими моделями, как YOLO11стандартной метрикой является Средняя точность (mAP). mAP по сути, рассчитывает площадь под кривой Precision-Recall для ограничивающих боксов при определенных порогах Intersection over В то время как AUC обычно используется для определения достоверности классификации объектов.

Вычисление вероятностей классов

Чтобы рассчитать AUC, вам нужны оценки вероятности положительного класса, а не просто итоговые метки классов. На сайте Следующий пример демонстрирует, как получить эти вероятности, используя классификация изображений модель из ultralytics библиотека.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Получив вероятности для набора данных, вы можете использовать стандартные библиотеки, такие как Scikit-learn для вычислить итоговый показатель AUC.