F1-Score

F1-Score — это критически важная метрика эффективности в машинном обучении, которая объединяет точность (precision) и полноту (recall) в единое среднее гармоническое. Она особенно полезна при оценке моделей классификации, когда набор данных несбалансирован или когда ложноположительные и ложноотрицательные результаты имеют разную «цену». В отличие от простой точности (accuracy), которая может вводить в заблуждение, если один класс преобладает в наборе данных, F1-Score обеспечивает более сбалансированный взгляд на способность модели правильно идентифицировать релевантные экземпляры, минимизируя ошибки. Штрафуя экстремальные значения, эта метрика гарантирует, что высокий балл достигается только тогда, когда и точность, и полнота достаточно высоки, что делает её стандартным инструментом в областях от медицинской диагностики до информационного поиска.

Почему F1-Score важен в машинном обучении#

В реальных сценариях простого знания процента правильных предсказаний (accuracy) часто недостаточно. Например, в anomaly detection нормальные случаи значительно преобладают над аномалиями. Модель, которая предсказывает "нормально" для каждого отдельного ввода, может достичь 99% точности, но будет бесполезна для обнаружения реальных проблем. F1-Score решает эту проблему, балансируя две конкурирующие метрики:

• Precision: Эта метрика измеряет качество положительных предсказаний. Она отвечает на вопрос: "Из всех случаев, которые модель пометила как положительные, сколько на самом деле оказались положительными?"
• Recall: Эта метрика измеряет количество положительных предсказаний. Она отвечает на вопрос: "Из всех фактически положительных случаев сколько модель определила правильно?"

Поскольку здесь часто существует компромисс — улучшение precision обычно снижает recall и наоборот, — F1-Score действует как единая метрика для поиска оптимальной точки баланса. Это крайне важно при настройке моделей с помощью hyperparameter optimization для обеспечения надежной производительности в различных условиях.

Реальные приложения#

Полезность F1-Score распространяется на самые разные отрасли, где цена ошибки значительна.

• Medical Diagnostics: В AI in healthcare, в частности для таких задач, как обнаружение опухолей, ложноотрицательный результат (пропуск опухоли) представляет угрозу для жизни, в то время как ложноположительный результат (выделение доброкачественной ткани) вызывает ненужную тревогу. F1-Score помогает исследователям оптимизировать такие модели, как YOLO26, чтобы система была достаточно чувствительной для выявления заболеваний, не засыпая врачей ложными тревогами.
• Информационный поиск и системы поиска: Поисковые системы и системы классификации документов используют F1-Score для оценки релевантности. Пользователи хотят видеть все релевантные документы (высокая полнота), но не хотят просматривать нерелевантные результаты (высокая точность). Высокий F1-Score указывает на то, что система эффективно извлекает нужную информацию, не создавая лишнего «шума».
• Spam Filtering: Почтовые службы используют text classification для фильтрации спама. Система должна обнаруживать спам-письма (recall), но что критически важно, она не должна помечать важные рабочие письма как нежелательные (precision). F1-Score служит основным бенчмарком для таких фильтров.

Расчет F1-Score с помощью Ultralytics#

Современные фреймворки компьютерного зрения упрощают расчет этих метрик. При обучении моделей обнаружения объектов F1-Score автоматически вычисляется на этапе валидации. Ultralytics Platform визуализирует эти метрики в виде графиков в реальном времени, позволяя увидеть кривую зависимости F1-Score от различных порогов уверенности.

Вот как ты можешь получить доступ к метрикам валидации, включая компоненты F1-Score, с помощью Python API:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

F1-Score против связанных метрик#

Понимание того, чем F1-Score отличается от других критериев оценки, необходимо для выбора правильного инструмента для твоего проекта.

• Difference from Accuracy: Accuracy одинаково относится ко всем ошибкам. F1-Score лучше подходит для несбалансированных наборов данных (imbalanced datasets), поскольку он фокусируется на производительности положительного класса (интересующего меньшинства).
• Relation to mAP: Mean Average Precision (mAP) является стандартом для сравнения моделей обнаружения объектов по всем порогам уверенности. Тем не менее, F1-Score часто используется для определения оптимального порога уверенности для развертывания. Ты можешь выбрать порог, на котором кривая F1 достигает максимума, чтобы развернуть свое приложение.
• Confusion Matrix: Confusion matrix предоставляет исходные значения (True Positives, False Positives и т. д.), на основе которых вычисляется F1-Score. В то время как матрица дает детальную информацию, F1-Score предоставляет одну обобщенную статистику для быстрого сравнения.
• ROC-AUC: Area Under the Curve (AUC) измеряет разделимость по всем порогам. F1-Score обычно предпочтительнее ROC-AUC, когда у тебя сильно смещенное распределение классов (например, при обнаружении мошенничества, где мошенничество встречается редко).

Улучшение твоего F1-Score#

Если твоя модель страдает от низкого значения F1-Score, помочь могут несколько стратегий. Data augmentation может увеличить разнообразие положительных примеров, помогая модели лучше обобщать. Использование transfer learning на базе надежных базовых моделей позволяет сети задействовать предварительно изученные признаки. Кроме того, настройка confidence threshold во время инференса может вручную сместить баланс между precision и recall, чтобы максимизировать F1-Score для твоего конкретного сценария использования.