Loss Function

Функция потерь служит математическим компасом, который направляет обучение искусственных нейронных сетей и других алгоритмов машинного обучения. По сути, она количественно оценивает ошибку между предсказанными моделью выходами и реальными метками «истинных данных», найденными в обучающих данных. Ты можешь представить её в виде системы оценки, где более низкий балл указывает на лучшую производительность. В процессе обучения главная цель состоит в том, чтобы итеративно минимизировать это значение потерь. Эта минимизация позволяет модели настраивать свои внутренние параметры, чтобы точнее согласовывать свои предсказания с реальностью — процесс, управляемый алгоритмом оптимизации, таким как Adam или Stochastic Gradient Descent (SGD).

Роль функции потерь в обучении модели#

Механизм обучения в ИИ во многом опирается на контур обратной связи, создаваемый функцией потерь. После того как модель обрабатывает пакет данных, функция потерь вычисляет числовое значение ошибки, представляющее расстояние между предсказанием и целью. С помощью метода, называемого обратным распространением ошибки, система вычисляет градиент потерь по отношению к каждому из весов модели. Эти градиенты действуют как карта, указывая направление и величину корректировок, необходимых для уменьшения ошибки. Скорость обучения затем управляет размером шагов, предпринимаемых во время этих обновлений, гарантируя, что модель сходится к оптимальному решению без промахов.

Различные задачи машинного обучения требуют определенных типов функций потерь. Для регрессионного анализа, где целью является предсказание непрерывных значений вроде цен на жилье, стандартным выбором является среднеквадратичная ошибка (MSE). Напротив, для задач классификации изображений, связанных с категоризированными данными, обычно используется кросс-энтропийная потеря для измерения расхождения между предсказанными вероятностями и истинным классом. Продвинутые модели обнаружения объектов, такие как YOLO26, используют составные функции потерь, которые оптимизируют несколько целей одновременно, объединяя такие метрики, как Intersection over Union (IoU) для локализации, и специализированные формулы вроде фокусных потерь распределения (DFL) или варифокусных потерь для уверенности класса.

Реальные приложения#

Функции потерь — это двигатель, обеспечивающий надежность практически каждого ИИ-приложения, гарантируя, что системы могут безопасно работать в сложных условиях.

• Автономное вождение: В сфере автономных транспортных средств безопасность зависит от точного восприятия. Тщательно настроенная функция потерь помогает системе различать пешеходов, другие автомобили и статичные препятствия. Минимизируя ошибки локализации при обучении на таких датасетах, как nuScenes или KITTI, транспортное средство учится предсказывать точное положение объектов, что жизненно важно для предотвращения столкновений в решениях ИИ в автомобилестроении.
• Медицинская диагностика: В анализе медицинских изображений выявление патологий часто требует сегментации крошечных аномалий на фоне здоровой ткани. Специализированные функции вроде Dice Loss применяются в задачах сегментации, таких как обнаружение опухолей на МРТ-сканах. Эти функции справляются с дисбалансом классов, сурово наказывая модель за пропуск небольшой области интереса, тем самым повышая чувствительность инструментов ИИ в здравоохранении.

Пример на Python: Вычисление функции потерь кросс-энтропии#

Хотя высокоуровневые фреймворки вроде Ultralytics Platform обрабатывают вычисление потерь автоматически во время обучения, понимание лежащей в основе математики полезно для отладки. Следующий пример использует PyTorch — бэкенд для моделей Ultralytics — для вычисления потерь между предсказанием и целью.

import torch
import torch.nn as nn

# Define the loss function (CrossEntropyLoss includes Softmax)
loss_fn = nn.CrossEntropyLoss()

# Mock model output (logits) for 3 classes and the true class (Class 0)
# A high score for index 0 indicates a correct prediction
predictions = torch.tensor([[2.5, 0.1, -1.2]])
ground_truth = torch.tensor([0])

# Calculate the numerical loss value
loss = loss_fn(predictions, ground_truth)
print(f"Calculated Loss: {loss.item():.4f}")

Разграничение связанных понятий#

Важно отличать функцию потерь от других метрик, используемых на протяжении всего конвейера машинного обучения.

• Функция потерь против метрик оценки: Функция потерь дифференцируема и используется во время обучения для обновления весов. В отличие от нее, метрики оценки, такие как Accuracy, Precision и Mean Average Precision (mAP), используются после обучения для оценки производительности в понятных человеку терминах. Модель может эффективно минимизировать потери, но все равно страдать от низкой точности, если функция потерь не идеально коррелирует с реальной задачей.
• Функция потерь против регуляризации: В то время как функция потерь направляет модель к правильному предсказанию, методы регуляризации (например, L1- или L2-штрафы) добавляются в уравнение потерь для предотвращения переобучения. Регуляризация препятствует созданию излишне сложных моделей путем штрафования больших весов, помогая системе лучше обобщать данные на невидимых тестовых данных.
• Функция потерь против функции вознаграждения: В обучении с подкреплением агент учится, максимизируя кумулятивное «вознаграждение», а не минимизируя потери. Хотя концептуально они являются противоположностями, обе служат целевой функцией, которая управляет процессом оптимизации.