Стохастический градиентный спуск (SGD)

Стохастический градиентный спуск (SGD) – это фундаментальный и широко используемый алгоритм оптимизации в машинном обучении (ML). Это итеративный метод, используемый для обучения моделей путем корректировки их внутренних параметров, таких как веса и смещения, чтобы минимизировать функцию потерь. В отличие от традиционного градиентного спуска, который обрабатывает весь набор данных для каждого обновления, SGD обновляет параметры, используя только один, случайно выбранный образец для обучения. Этот "стохастический" подход значительно ускоряет и масштабирует процесс обучения, что особенно важно при работе с большими данными. Зашумленные обновления также могут помочь модели избежать плохих локальных минимумов в ландшафте ошибок и потенциально найти лучшее общее решение.

Как работает стохастический градиентный спуск

Основная идея SGD (стохастического градиентного спуска) заключается в аппроксимации истинного градиента функции потерь, который вычисляется по всему набору данных, с использованием градиента потерь для одного образца. Хотя этот градиент для одного образца является шумной оценкой, он дешев с вычислительной точки зрения и в среднем указывает в правильном направлении. Процесс включает в себя повторение простого двухэтапного цикла для каждого обучающего примера:

1. Вычисление градиента: Вычислите градиент функции потерь по отношению к параметрам модели для одного обучающего примера.
2. Обновление параметров: Отрегулируйте параметры в направлении, противоположном градиенту, масштабированному на скорость обучения. Это перемещает модель в состояние с меньшей ошибкой для этого конкретного примера.

Этот цикл повторяется много раз для всего набора данных, что известно как эпохи, постепенно улучшая производительность модели. Эффективность SGD сделала его краеугольным камнем современного глубокого обучения (DL), и он поддерживается всеми основными фреймворками, такими как PyTorch и TensorFlow.

Сравнение SGD с другими оптимизаторами

SGD — один из нескольких методов оптимизации на основе градиента, каждый со своими компромиссами.

• Пакетный градиентный спуск: Этот метод вычисляет градиент, используя весь набор обучающих данных. Он обеспечивает стабильный и прямой путь к минимуму, но чрезвычайно медленный и требует больших затрат памяти для больших наборов данных, что делает его непрактичным для большинства современных приложений.
• Мини-пакетный градиентный спуск: Это компромисс между пакетным GD и SGD. Он обновляет параметры, используя небольшое случайное подмножество («мини-пакет») данных. Он уравновешивает стабильность пакетного GD с эффективностью SGD и является наиболее распространенным подходом, используемым на практике.
• Оптимизатор Adam: Adam — это адаптивный алгоритм оптимизации, который поддерживает отдельную скорость обучения для каждого параметра и корректирует ее по мере обучения. Он часто сходится быстрее, чем SGD, но SGD иногда может находить лучший минимум и обеспечивать лучшую генерализацию, помогая предотвратить переобучение.

Применение в реальном мире

SGD и его варианты имеют решающее значение для обучения широкого спектра моделей AI в различных областях.

• Обучение обнаружению объектов в реальном времени: Для моделей, таких как Ultralytics YOLO, разработанных для вывода в реальном времени, обучение должно быть эффективным. SGD позволяет разработчикам обучать эти модели на больших наборах изображений, таких как COCO, или настраиваемых наборах данных, управляемых через платформы, такие как Ultralytics HUB. Быстрые обновления обеспечивают более быструю сходимость по сравнению с Batch GD, что имеет решающее значение для быстрой итерации во время разработки модели и настройки гиперпараметров. Эта эффективность поддерживает приложения в таких областях, как автономные транспортные средства и робототехника.
• Обучение больших языковых моделей (LLM): Обучение моделей для обработки естественного языка (NLP) часто включает в себя огромные текстовые наборы данных. SGD и его варианты необходимы для эффективной итерации по этим данным, позволяя таким моделям, как GPT-4, или моделям, представленным на Hugging Face, изучать грамматику, контекст и семантику. Стохастическая природа помогает избежать плохих локальных минимумов в сложном ландшафте потерь, что является общей проблемой при обучении больших нейронных сетей. Этот процесс является основополагающим для таких задач, как машинный перевод и анализ тональности.