Loss Function

Функция потерь служит математическим компасом, направляющим обучение искусственных нейронных сетей и других алгоритмов машинного обучения. По сути, она количественно определяет ошибку между предсказаниями модели и реальными метками «ground truth», содержащимися в обучающих данных. Ты можешь представить её как систему оценки, где более низкий балл указывает на превосходную производительность. В процессе обучения основная задача заключается в итеративной минимизации этого значения функции потерь. Такая минимизация позволяет модели корректировать свои внутренние параметры, чтобы предсказания стали ближе к реальности — процесс, управляемый алгоритмом оптимизации, таким как Adam или Стохастический градиентный спуск (SGD).

Link to this sectionРоль функции потерь в обучении модели#

Механизм обучения в ИИ в значительной степени опирается на контур обратной связи, создаваемый функцией потерь. После того как модель обрабатывает пакет данных, функция потерь вычисляет числовое значение ошибки, представляющее дистанцию между предсказанием и целевым значением. С помощью техники, называемой обратным распространением ошибки, система вычисляет градиент функции потерь по отношению к каждому из весов модели. Эти градиенты действуют как карта, указывая направление и величину корректировок, необходимых для снижения ошибки. Скорость обучения затем контролирует размер шагов, предпринимаемых во время этих обновлений, гарантируя, что модель сходится к оптимальному решению, не проскакивая его.

Различные задачи машинного обучения требуют использования конкретных типов функций потерь. Для регрессионного анализа, где цель состоит в предсказании непрерывных значений, таких как цены на жилье, стандартным выбором является Среднеквадратичная ошибка (MSE). И наоборот, для задач классификации изображений, включающих категориальные данные, функция потерь кросс-энтропии обычно используется для измерения расхождения между предсказанными вероятностями и истинным классом. Продвинутые модели обнаружения объектов, такие как YOLO26, используют составные функции потерь, которые оптимизируют несколько целей одновременно, объединяя такие метрики, как Intersection over Union (IoU) для локализации, и специализированные формулы, такие как Distribution Focal Loss (DFL) или Varifocal Loss для уверенности в классе.

Link to this sectionРеальные приложения#

Функции потерь — это двигатель, обеспечивающий надежность практически каждого ИИ-приложения, гарантируя, что системы могут безопасно работать в сложных условиях.

• Автономное вождение: В сфере автономных транспортных средств безопасность зависит от точности восприятия. Тщательно настроенная функция потерь помогает системе различать пешеходов, другие автомобили и статические препятствия. Минимизируя ошибки локализации во время обучения на таких наборах данных, как nuScenes или KITTI, автомобиль учится точно предсказывать положение объектов, что жизненно важно для предотвращения столкновений в решениях ИИ в автомобилестроении.
• Медицинская диагностика: В анализе медицинских изображений выявление патологий часто требует сегментации крошечных аномалий от здоровых тканей. Специализированные функции, такие как Dice Loss, применяются в задачах сегментации, например при обнаружении опухолей на МРТ-снимках. Эти функции справляются с дисбалансом классов, сильно штрафуя модель за пропуск небольшой области интереса, тем самым повышая чувствительность инструментов ИИ в здравоохранении.

Link to this sectionПример на Python: Вычисление функции потерь кросс-энтропии#

Хотя высокоуровневые платформы, такие как Ultralytics Platform, автоматически выполняют расчет потерь во время обучения, понимание лежащей в основе математики полезно для отладки. В следующем примере используется PyTorch — бэкенд для моделей Ultralytics — для вычисления потерь между предсказанием и целевым значением.

import torch
import torch.nn as nn

# Define the loss function (CrossEntropyLoss includes Softmax)
loss_fn = nn.CrossEntropyLoss()

# Mock model output (logits) for 3 classes and the true class (Class 0)
# A high score for index 0 indicates a correct prediction
predictions = torch.tensor([[2.5, 0.1, -1.2]])
ground_truth = torch.tensor([0])

# Calculate the numerical loss value
loss = loss_fn(predictions, ground_truth)
print(f"Calculated Loss: {loss.item():.4f}")

Link to this sectionРазграничение связанных понятий#

Важно отличать функцию потерь от других метрик, используемых на протяжении всего конвейера машинного обучения.

• Функция потерь vs. Метрики оценки: Функция потерь дифференцируема и используется во время обучения для обновления весов. Напротив, метрики оценки, такие как Точность (Accuracy), Прецизионность (Precision) и Средняя точность (mAP), используются после обучения для оценки производительности в понятных человеку терминах. Модель может эффективно минимизировать потери, но при этом показывать низкую точность, если функция потерь не идеально коррелирует с реальной задачей.
• Функция потерь vs. Регуляризация: В то время как функция потерь направляет модель к правильному предсказанию, методы регуляризации (такие как L1- или L2-штрафы) добавляются в уравнение потерь для предотвращения переобучения. Регуляризация препятствует созданию чрезмерно сложных моделей за счет штрафования больших весов, помогая системе лучше обобщать данные на невидимых тестовых данных.
• Функция потерь vs. Функция вознаграждения: В обучении с подкреплением агент учится, максимизируя кумулятивное «вознаграждение», а не минимизируя потери. Хотя концептуально они являются инверсиями, обе служат целевой функцией, которая управляет процессом оптимизации.