Learning Rate

Скорость обучения (learning rate) — это критически важный параметр настройки гиперпараметров, определяющий размер шага, который модель делает в процессе оптимизации. В контексте обучения нейронной сети он управляет тем, насколько сильно обновляются внутренние веса модели в ответ на оцененную ошибку каждый раз, когда модель обрабатывает батч данных. Представь себе человека, идущего с горы в долину (низшая точка ошибки); скорость обучения определяет длину его шага. Если шаг слишком велик, он может перешагнуть через долину и пропустить дно. Если шаг слишком мал, достижение цели может занять непрактично много времени.

Дилемма «Златовласки» в оптимизации#

Поиск оптимальной скорости обучения часто описывается как поиск баланса в рабочих процессах машинного обучения. Цель состоит в том, чтобы минимизировать функцию потерь, которая измеряет разницу между предсказаниями модели и реальными фактическими данными. Этот процесс в значительной степени опирается на алгоритм оптимизации, такой как стохастический градиентный спуск (SGD) или оптимизатор Adam, для навигации по ландшафту потерь.

• Слишком высокая скорость обучения: Если значение задано слишком высоко, обновление весов модели будет резким. Это может привести к феномену «перескакивания» (overshooting), при котором модель не может сойтись к решению и вместо этого дико колеблется или расходится. Эта нестабильность может иногда вызывать проблему взрывающегося градиента, делая процесс обучения бесполезным.
• Слишком низкая скорость обучения: И наоборот, чрезвычайно малый размер шага гарантирует, что модель будет двигаться аккуратно к минимуму, но это может привести к недообучению, потому что процесс обучения становится мучительно медленным. Модель может фактически застрять в локальном минимуме или потратить тысячи дополнительных эпох на изучение простых паттернов, попусту растрачивая вычислительные ресурсы. Исследователи часто обращаются к документации PyTorch по оптимизации, чтобы понять, как различные алгоритмы взаимодействуют с этими значениями.

Реальные приложения#

Влияние корректировок скорости обучения очевидно в различных критически важных отраслях, где развертываются задачи компьютерного зрения.

1. Системы автономного вождения: При разработке автономных транспортных средств инженеры используют огромные наборы данных для обучения моделей обнаружения объектов с целью распознавания пешеходов и дорожных знаков. При применении трансфертного обучения к предобученной модели, такой как YOLO26, разработчики обычно используют гораздо меньшую скорость обучения, чем при первоначальном обучении. Эта «точная настройка» гарантирует, что модель изучит нюансы конкретных условий вождения (например, заснеженные дороги против пустынных шоссе), не стирая уже имеющиеся у нее способности общего извлечения признаков.

2. Медицинская диагностическая визуализация: В анализе медицинских изображений, таком как обнаружение опухолей на МРТ-сканах, точность имеет первостепенное значение. Высокая скорость обучения здесь создает риск того, что модель пропустит тонкие различия текстур, которые отличают злокачественную ткань от доброкачественной. Практики часто используют технику под названием «разогрев скорости обучения» (learning rate warmup), постепенно увеличивая скорость от нуля до целевого значения для стабилизации ранних этапов обучения, гарантируя, что веса нейронной сети придут в стабильную конфигурацию до начала агрессивного обучения. Ты можешь прочитать подробнее об этих стратегиях в кратком курсе по машинному обучению от Google.

Разграничение похожих терминов#

Важно отличать скорость обучения от других параметров обучения, так как они часто настраиваются в одних и тех же конфигурационных файлах, но служат разным целям:

• Скорость обучения против размера батча: В то время как скорость обучения контролирует амплитуду обновления, размер батча определяет количество обучающих выборок, обрабатываемых до того, как произойдет обновление. Между ними существует сильная связь; часто при увеличении размера батча необходимо также масштабировать скорость обучения для поддержания эффективности обучения — концепция, исследуемая в работах по обучению на больших батчах.
• Скорость обучения против затухания: Затухание относится к стратегии, при которой скорость обучения систематически снижается со временем. Планировщик может снижать скорость в 10 раз каждые 30 эпох. Это помогает модели делать большие концептуальные скачки на ранних этапах, а затем уточнять свою точность с помощью меньших шагов к концу обучения. Это стандартная функция в пакете Python от Ultralytics.

Установка скорости обучения в Ultralytics YOLO#

При использовании современных фреймворков ты можешь легко настроить начальную скорость обучения (lr0) и долю конечной скорости обучения (lrf). Ниже приведен пример того, как настроить это с помощью клиента, совместимого с платформой Ultralytics, для пользовательского запуска обучения.

from ultralytics import YOLO

# Load the YOLO26 model (latest state-of-the-art architecture)
model = YOLO("yolo26n.pt")

# Train the model with a custom initial learning rate
# lr0=0.01 sets the initial rate
# lrf=0.01 sets the final learning rate to (lr0 * lrf)
results = model.train(data="coco8.yaml", epochs=10, lr0=0.01, lrf=0.01)

Для продвинутых пользователей такие методы, как LR Finder (популяризированный fast.ai), могут по сути автоматизировать поиск лучшего начального значения путем запуска короткой пробной эпохи, в которой скорость экспоненциально увеличивается до тех пор, пока потери не разойдутся. Освоение этого гиперпараметра часто является ключом к раскрытию производительности уровня SOTA (State-of-the-Art) в твоих ИИ-проектах.