Stochastic Gradient Descent (SGD)

Стохастический градиентный спуск (SGD) — это мощный алгоритм оптимизации, широко используемый в машинном обучении для эффективного обучения моделей, особенно при работе с большими наборами данных. По сути, SGD является разновидностью стандартного метода градиентного спуска, разработанной для ускорения процесса обучения за счет более частого обновления параметров модели. Вместо вычисления ошибки для всего набора данных перед выполнением одного обновления, как это делается в традиционном пакетном (batch) градиентном спуске, SGD обновляет веса модели, используя только один случайным образом выбранный обучающий пример за раз. Эта «стохастическая» или случайная природа вносит шум в траекторию оптимизации, что помогает модели избежать субоптимальных решений и быстрее сходиться на огромных наборах данных, где обработка всех данных одновременно вычислительно невозможна.

Link to this sectionКак работает стохастический градиентный спуск#

Основная цель любого процесса обучения — минимизировать функцию потерь, которая количественно определяет разницу между предсказаниями модели и реальными целевыми значениями. SGD достигает этого через итеративный цикл. Сначала алгоритм выбирает случайную точку данных из обучающих данных. Затем он выполняет прямой проход для генерации предсказания и вычисляет ошибку. Используя обратное распространение ошибки, алгоритм вычисляет градиент — по сути, наклон ландшафта ошибки — на основе этого единственного примера. Наконец, он обновляет веса модели в направлении, противоположном градиенту, чтобы уменьшить ошибку.

Этот процесс повторяется многократно, часто группируясь в эпохи, пока производительность модели не стабилизируется. Величина этих обновлений контролируется гиперпараметром, известным как скорость обучения. Поскольку каждый шаг основан только на одном образце, путь к минимуму часто получается зигзагообразным или шумным по сравнению с плавной траекторией пакетного градиентного спуска. Однако этот шум часто полезен в глубоком обучении, так как он может предотвратить застревание модели в локальном минимуме, что потенциально ведет к лучшему глобальному решению.

Link to this sectionSGD против других алгоритмов оптимизации#

Понимание различий между SGD и связанными с ним алгоритмами оптимизации имеет решающее значение для выбора правильной стратегии обучения.

• Пакетный градиентный спуск: Этот традиционный метод вычисляет градиент с использованием всего набора данных для каждого обновления. Хотя он обеспечивает стабильный и прямой путь к минимуму, он крайне медленный и требовательный к памяти для крупномасштабных задач машинного обучения (ML).
• Мини-пакетный градиентный спуск: На практике большинство современных фреймворков глубокого обучения, включая PyTorch, реализуют гибридный подход, часто называемый SGD, но технически строго являющийся «мини-пакетным SGD». Этот метод обновляет параметры, используя небольшую группу образцов (пакет), а не только один. Он балансирует вычислительную эффективность чистого SGD со стабильностью пакетного градиентного спуска, что делает его стандартом для обучения таких моделей, как YOLO26.
• Оптимизатор Adam: Adam — это алгоритм оптимизации с адаптивной скоростью обучения, который построен на основе SGD. Он индивидуально корректирует скорость обучения для каждого параметра на основе оценок моментов. Хотя Adam часто сходится быстрее, SGD с импульсом (momentum) все еще часто используется в компьютерном зрении (CV) из-за его способности находить более обобщаемые решения в определенных сценариях.

Link to this sectionРеальные приложения#

SGD и его варианты являются движущими силами многих трансформирующих ИИ-технологий, используемых сегодня.

1. Автономные транспортные средства: При разработке автономных транспортных средств модели должны обрабатывать огромные потоки визуальных данных для идентификации пешеходов, дорожных знаков и препятствий. Обучение этих сложных сетей обнаружения объектов требует эффективной оптимизации для обработки миллионов дорожных изображений. SGD позволяет инженерам итеративно повышать точность модели, гарантируя, что критически важные для безопасности системы в ИИ в автомобильной индустрии могут принимать надежные решения в реальном времени.

2. Медицинская диагностика: Область медицинского анализа изображений сильно полагается на глубокое обучение для обнаружения аномалий, таких как опухоли на МРТ-снимках или рентгеновских снимках. Поскольку медицинские наборы данных могут быть огромными и высокого разрешения, SGD позволяет обучать сложные сверточные нейронные сети (CNN) без чрезмерного использования ресурсов памяти. Это облегчает создание высокоточных диагностических инструментов, которые помогают врачам в ИИ в здравоохранении.

Link to this sectionПример кода на Python#

Хотя высокоуровневые библиотеки, такие как ultralytics, обрабатывают оптимизацию внутри команды train(), ты можешь увидеть, как оптимизатор SGD инициализируется и используется в низкоуровневом рабочем процессе PyTorch. Этот фрагмент кода демонстрирует определение простого оптимизатора SGD для тензора.

import torch
import torch.nn as nn
import torch.optim as optim

# Define a simple linear model
model = nn.Linear(10, 1)

# Initialize Stochastic Gradient Descent (SGD) optimizer
# 'lr' is the learning rate, and 'momentum' helps accelerate gradients in the right direction
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

# Create a dummy input and target
data = torch.randn(1, 10)
target = torch.randn(1, 1)

# Forward pass
output = model(data)
loss = nn.MSELoss()(output, target)

# Backward pass and optimization step
optimizer.zero_grad()  # Clear previous gradients
loss.backward()  # Calculate gradients
optimizer.step()  # Update model parameters
print("Model parameters updated using SGD.")

Link to this sectionПроблемы и решения#

Несмотря на свою популярность, у SGD есть свои проблемы. Главная из них — шум в шагах градиента, из-за чего потери могут сильно колебаться, а не плавно сходиться. Чтобы смягчить это, практики часто используют импульс — технику, которая помогает ускорить SGD в нужном направлении и гасит колебания, подобно тяжелому шару, катящемуся с горы. Кроме того, критически важно найти правильную скорость обучения; если она слишком высока, модель может перескочить через минимум (взрывающийся градиент), а если слишком мала — обучение будет мучительно медленным. Инструменты, такие как Ultralytics Platform, помогают автоматизировать этот процесс, управляя настройкой гиперпараметров и предоставляя визуализацию метрик обучения. Такие усовершенствования, как оптимизатор Adam, по сути автоматизируют настройку скорости обучения, решая некоторые из присущих SGD трудностей.