Функция потерь

Функция потерь, также известная как функция стоимости или целевая функция, является фундаментальным компонентом в машинном обучении (ML) и глубоком обучении (DL). Она количественно определяет разницу—или «потерю»—между прогнозируемым выходом модели и фактической меткой для данного фрагмента данных. Значение, вычисленное функцией потерь, служит мерой того, насколько плохо работает модель. Основная цель в процессе обучения модели состоит в том, чтобы минимизировать это значение, тем самым повышая точность и производительность модели.

Как работают функции потерь

Во время каждой итерации обучения модель обрабатывает пакет обучающих данных и делает прогнозы. Затем функция потерь сравнивает эти прогнозы с истинными метками. Более высокое значение потерь указывает на большее расхождение и большую потребность в коррекции, в то время как более низкое значение потерь означает, что прогнозы модели ближе к фактическим значениям.

Это значение потерь имеет решающее значение, поскольку оно обеспечивает сигнал, необходимый для обучения модели. Этот сигнал используется алгоритмом оптимизации, таким как стохастический градиентный спуск (Stochastic Gradient Descent, SGD), для настройки внутренних параметров модели или весов модели (model weights). Процесс обратного распространения (backpropagation) вычисляет градиент функции потерь по отношению к этим весам, указывая направление, в котором веса должны быть скорректированы, чтобы уменьшить потери. Этот итеративный процесс вычисления потерь и обновления весов позволяет модели постепенно сходиться к состоянию, в котором она может делать очень точные прогнозы.

Основные типы функций потерь

Выбор функции потерь во многом зависит от конкретной задачи, которую должна решать модель. Для разных задач требуются разные способы измерения ошибки. Некоторые распространенные типы включают в себя:

• Среднеквадратичная ошибка (MSE): Популярная функция потерь для задач регрессии, где цель состоит в том, чтобы предсказать непрерывное числовое значение. Она вычисляет среднее значение квадратов разностей между прогнозируемыми и фактическими значениями.
• Перекрестная энтропия (Cross-Entropy Loss): Широко используется для задач классификации изображений. Она измеряет производительность модели классификации, выходным значением которой является вероятность в диапазоне от 0 до 1. Она эффективна при обучении моделей для различения нескольких классов, например, при классификации изображений в наборе данных ImageNet.
• Intersection over Union (IoU) Loss: Варианты IoU имеют важное значение для задач обнаружения объектов. Эти функции потерь, такие как GIoU, DIoU и CIoU, измеряют расхождение между предсказанным ограничивающим прямоугольником и истинным прямоугольником. Они являются неотъемлемой частью обучения точных детекторов объектов, таких как Ultralytics YOLO11.
• Dice Loss: Обычно используется в сегментации изображений, особенно в анализе медицинских изображений, для измерения перекрытия между прогнозируемыми и фактическими масками сегментации. Особенно полезен для обработки дисбаланса классов.

Применение в реальном мире

Функции потерь лежат в основе обучения практически каждой модели глубокого обучения.

1. Автономные транспортные средства: При разработке автономных транспортных средств модели обнаружения объектов обучаются идентифицировать пешеходов, другие автомобили и дорожные знаки. Во время обучения функция потерь объединяет несколько компонентов: одна часть вычисляет ошибку в классификации каждого объекта (например, автомобиль или пешеход), а другая часть, часто основанная на IoU потерях, вычисляет ошибку в локализации ограничивающей рамки объекта. Минимизация этой комбинированной потери помогает создавать надежные модели для безопасной навигации, что является ключевым компонентом решений на основе ИИ в автомобильной промышленности.
2. Медицинская диагностика: В ИИ в здравоохранении такие модели, как U-Net, обучаются для семантической сегментации для выявления опухолей на медицинских снимках. Функция потерь, такая как Dice Loss, или комбинация Cross-Entropy и Dice Loss, используется для сравнения прогнозируемой моделью маски опухоли с маской, аннотированной рентгенологом. Минимизируя эту потерю на наборе данных медицинских изображений, модель учится точно очерчивать патологические области, помогая в более быстрой и точной диагностике.

Связь с другими ключевыми понятиями

Важно отличать функции потерь от других связанных концепций в машинном обучении.

• Функция потерь и метрики оценки: Это важное различие. Функции потерь используются во время обучения для управления процессом оптимизации. Они должны быть дифференцируемыми, чтобы обеспечить обучение на основе градиента. В отличие от этого, метрики оценки, такие как Accuracy (точность), Precision (точность), Recall (полнота) и mean Average Precision (mAP) (средняя точность), используются после обучения (на данных валидации или тестовых данных) для оценки реальной производительности модели. Хотя более низкие потери обычно коррелируют с лучшими показателями метрик, они служат разным целям. Вы можете узнать больше о метриках производительности в нашем руководстве.
• Функция потерь и алгоритм оптимизации: Функция потерь определяет цель — что нужно минимизировать. Алгоритм оптимизации, такой как оптимизатор Adam, определяет механизм — как минимизировать потери путем обновления весов модели на основе рассчитанных градиентов и скорости обучения.
• Переобучение и недообучение: Мониторинг потерь как на обучающем, так и на проверочном наборах данных является ключом к диагностике этих распространенных проблем. Переобучение, вероятно, происходит, если потери на обучающем наборе продолжают уменьшаться, в то время как потери на проверочном наборе начинают расти. О недообучении свидетельствуют высокие значения потерь на обоих наборах. Эти моменты обсуждаются в таких руководствах, как наши Советы по обучению моделей.

Понимание функций потерь необходимо всем, кто занимается созданием и обучением моделей AI. Платформы, такие как Ultralytics HUB, абстрагируют большую часть этой сложности, автоматически обрабатывая реализацию и оптимизацию функций потерь, что делает создание передовых моделей компьютерного зрения (CV) более доступным.