F1-Score

F1-Score — это критически важная метрика эффективности в машинном обучении, которая объединяет точность (precision) и полноту (recall) в единое среднее гармоническое. Она особенно полезна при оценке моделей классификации, когда набор данных несбалансирован или когда ложноположительные и ложноотрицательные результаты имеют разную «цену». В отличие от простой точности (accuracy), которая может вводить в заблуждение, если один класс преобладает в наборе данных, F1-Score обеспечивает более сбалансированный взгляд на способность модели правильно идентифицировать релевантные экземпляры, минимизируя ошибки. Штрафуя экстремальные значения, эта метрика гарантирует, что высокий балл достигается только тогда, когда и точность, и полнота достаточно высоки, что делает её стандартным инструментом в областях от медицинской диагностики до информационного поиска.

Link to this sectionПочему F1-Score важен в машинном обучении#

Во многих реальных сценариях одного лишь знания процента правильных предсказаний (accuracy) недостаточно. Например, при обнаружении аномалий нормальных случаев гораздо больше, чем аномалий. Модель, которая предсказывает «норма» для каждого входного сигнала, может достичь точности 99%, но будет бесполезна для выявления реальных проблем. F1-Score решает эту задачу, балансируя две конкурирующие метрики:

• Точность: измеряет качество положительных предсказаний. Она отвечает на вопрос: «Из всех экземпляров, которые модель пометила как положительные, сколько на самом деле оказались положительными?»
• Полнота: измеряет количество положительных предсказаний. Она отвечает на вопрос: «Из всех реально положительных экземпляров, сколько модель смогла правильно идентифицировать?»

Поскольку часто существует компромисс — улучшение точности обычно снижает полноту и наоборот, — F1-Score выступает в качестве унифицированной метрики для поиска оптимальной точки баланса. Это критически важно при настройке моделей с использованием оптимизации гиперпараметров для обеспечения устойчивой производительности в различных условиях.

Link to this sectionРеальные приложения#

Полезность F1-Score распространяется на самые разные отрасли, где цена ошибки значительна.

• Medical Diagnostics: In AI in healthcare, specifically for tasks like tumor detection, a false negative (missing a tumor) is life-threatening, while a false positive (flagging benign tissue) causes unnecessary anxiety. The F1-Score helps researchers optimize models like YOLO26 to ensure that the system is sensitive enough to catch diseases without overwhelming doctors with false alarms.
• Информационный поиск и системы поиска: Поисковые системы и системы классификации документов используют F1-Score для оценки релевантности. Пользователи хотят видеть все релевантные документы (высокая полнота), но не хотят просматривать нерелевантные результаты (высокая точность). Высокий F1-Score указывает на то, что система эффективно извлекает нужную информацию, не создавая лишнего «шума».
• Spam Filtering: Email services use text classification to segregate spam. The system must catch spam emails (recall) but crucially must not label important work emails as junk (precision). The F1-Score serves as the primary benchmark for these filters.

Link to this sectionРасчет F1-Score с помощью Ultralytics#

Современные платформы компьютерного зрения упрощают расчет этих метрик. При обучении моделей обнаружения объектов F1-Score вычисляется автоматически во время этапа валидации. Платформа Ultralytics визуализирует эти метрики на графиках в режиме реального времени, позволяя тебе видеть кривую F1-Score при различных порогах уверенности.

Вот как ты можешь получить доступ к метрикам валидации, включая компоненты F1-Score, с помощью Python API:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

Link to this sectionF1-Score против связанных метрик#

Понимание того, чем F1-Score отличается от других критериев оценки, необходимо для выбора правильного инструмента для твоего проекта.

• Отличие от точности (Accuracy): Точность рассматривает все ошибки как равнозначные. F1-Score превосходит её при работе с несбалансированными наборами данных, так как фокусируется на производительности положительного класса (миноритарного класса, представляющего интерес).
• Связь с mAP: Средняя точность (mAP) является стандартом для сравнения моделей обнаружения объектов по всем порогам уверенности. Однако F1-Score часто используется для определения оптимального порога уверенности для развертывания. Ты можешь выбрать порог, на котором кривая F1 достигает пика, чтобы развернуть свое приложение.
• Матрица ошибок (Confusion Matrix): Матрица ошибок предоставляет «сырые» данные (истинно-положительные, ложноположительные результаты и т.д.), на основе которых вычисляется F1-Score. Хотя матрица дает детализированную картину, F1-Score предоставляет единую итоговую статистику для быстрого сравнения.
• ROC-AUC: Площадь под кривой (AUC) измеряет разделимость данных по всем порогам. F1-Score обычно предпочтительнее ROC-AUC, когда у тебя сильно искаженное распределение классов (например, при обнаружении мошенничества, где оно встречается редко).

Link to this sectionУлучшение твоего F1-Score#

Если твоя модель показывает низкий F1-Score, есть несколько стратегий, которые помогут это исправить. Аугментация данных может увеличить разнообразие положительных примеров, помогая модели лучше обобщать. Использование обучения с переносом знаний на основе мощных базовых моделей позволяет сети задействовать уже изученные признаки. Кроме того, регулировка порога уверенности во время инференса может вручную сместить баланс между точностью и полнотой, чтобы максимизировать F1-Score для твоего конкретного случая использования.