F1-мера

F1-Score - это критическая метрика производительности в машинном обучении (ML), используемая для оценки точности моделей классификации. В отличие от простой точности, которая рассчитывает процент правильных предсказаний, F1-Score сочетает в себе две другие важные метрики - точность и точность. F1-Score объединяет две другие важные метрики - точность и Recall - водно значение. Он определяется как среднее гармоническое значение точности и отзыва. Это делает F1-Score особенно полезным для оценки моделей, обученных на несбалансированных наборах данных, где количество образцов в одном классе значительно превышает количество образцов в других. В таких случаях модель может достичь высокой точности, просто предсказывая класс большинства, но не определяя класс меньшинства, который часто представляет больший интерес. который часто представляет больший интерес.

Баланс между точностью и памятью

Чтобы понять F1-Score, необходимо разобраться в соотношении между его компонентами. Точность измеряет качество положительных предсказаний (минимизация ложноположительных результатов), в то время как Recall измеряет количество истинно положительных результатов (минимизация ложноотрицательных результатов). Часто увеличение одной из этих метрик приводит к уменьшению другой, и это явление известно как явление, известное как компромисс между точностью и показателем Recall. Показатель F1-Score обеспечивает сбалансированное представление, наказывая экстремальные значения. Наилучшего значения он достигает при 1 (идеальная Наилучшего значения он достигает при 1 (идеальная точность и запоминание), а наихудшего - при 0. Этот баланс очень важен для разработки надежных прогностических систем моделирования, где как пропущенные пропущенные обнаружения и ложные тревоги влекут за собой значительные издержки.

Применение в реальном мире

F1-Score незаменим в сценариях, где цена ошибки высока или распределение данных перекошено.

• Анализ медицинских изображений: В здравоохранении диагностика таких заболеваний, как опухоли, требует высокой чувствительности. Ложноотрицательный результат (отсутствие опухоли) опасно, а ложноположительный результат (идентификация здоровой ткани как опухоли) вызывает ненужный стресс. Решения использующие ИИ в здравоохранении, полагаются на F1-Score, чтобы модель поддерживала безопасный баланс, выявляя как можно больше истинных случаев и не перегружая врачей ложными тревогами. не перегружая врачей ложными тревогами.
• Обнаружение аномалий в финансах: Финансовые учреждения используют ИИ для detect мошеннических операций. Поскольку реальные случаи мошенничества редки по сравнению с законными Поскольку реальные мошеннические операции редки по сравнению с законными, модель может претендовать на точность 99,9 %, просто помечая все как законные. Однако это будет бесполезно для выявления мошенничества. Оптимизация по F1-Score, ИИ в финансовых системы могут эффективно отмечать подозрительные действия, сводя к минимуму сбои в работе, вызванные блокировкой действительных карт.

F1-Score в Ultralytics YOLO11

Для задач компьютерного зрения (КВ), таких как обнаружение объектов, F1-Score помогает определить, насколько хорошо насколько хорошо модель определяет границы и классифицирует объекты при определенных порогах уверенности. При обучении таких моделей, как Ultralytics YOLO11в процессе валидации рассчитываются точность, отзыв и F1-Scores, чтобы помочь инженерам выбрать лучшие веса модели.

Следующий код Python демонстрирует, как проверить предварительно обученную модель YOLO11 и получить доступ к показателям производительности.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

Отличие F1-Score от смежных метрик

Выбор правильной метрики зависит от конкретных целей проекта ИИ.

• Точность: Этот показатель измеряет общую правильность предсказаний. Его лучше всего использовать, когда распределения классов примерно равны. Напротив, F1-Score является предпочтительной метрикой для неравномерных распределений классов.
• Средняя точностьmAP): В то время как F1-Score часто рассчитывается при определенном порог доверия, mAP оценивает среднюю mAP является стандартом для сравнения моделей обнаружения объектов, в то время как F1 полезен для оптимизации конкретной рабочей точки.
• Площадь под кривой (AUC): AUC представляет собой площадь под кривой операционной характеристики приемника (ROC). AUC измеряет способность классификатора различать классы по всем пороговым значениям, в то время как F1-Score фокусируется на положительной эффективности класса при одном пороге.

Улучшение модели F1-Score

Повышение F1-Score часто связано с итеративными улучшениями модели и данных.

• Настройка гиперпараметров: Настройка таких параметров, как скорость обучения, размер партии или функции потерь, может помочь модели сходиться к решению, которое более эффективно уравновешивает точность и запоминание.
• Дополнение данных: Такие техники, как переворачивание, масштабирование или добавление шума в обучающие данные, подвергают модель воздействию более разнообразных примеры, улучшая ее способность к обобщению и правильной идентификации сложных положительных случаев.
• Трансферное обучение: Начиная с модели, предварительно обученной на большом и разнообразном наборе данных, сеть может эффективно использовать изученные функции экстракторов, что часто приводит к более высоким показателям F1 на специализированных задачах с ограниченным количеством данных.