Алгоритм оптимизации

Алгоритм оптимизации – это механизм, который управляет процессом обучения в машинном обучении (ML) и глубоком обучении. Его основная роль заключается в итеративной корректировке внутренних параметров модели, таких как веса и смещения, чтобы минимизировать функцию потерь. Представьте это как систематический метод поиска наилучшего набора параметров, который делает прогнозы модели наиболее точными. Этот процесс является основополагающим для обучения модели, поскольку он превращает общую модель в специализированный инструмент, способный решать конкретную задачу, такую как обнаружение объектов или сегментация изображений.

Как работают алгоритмы оптимизации

По своей сути, алгоритм оптимизации перемещается по «ландшафту потерь» — многомерному пространству, где каждая точка представляет собой набор параметров модели, а высота точки соответствует ошибке модели. Цель состоит в том, чтобы найти самую низкую точку, или «минимум», в этом ландшафте. Алгоритм начинается с начального набора случайных параметров и на каждом шаге (или эпохе) вычисляет градиент функции потерь. Этот градиент указывает в направлении самого крутого подъема, поэтому алгоритм делает шаг в противоположном направлении, чтобы спуститься по ландшафту.

Размер этого шага контролируется критически важным гиперпараметром, называемым скоростью обучения. Правильно выбранная скорость обучения гарантирует, что модель учится эффективно, не перескакивая через минимум и не застревая в нем. Этот итеративный процесс вычисления градиентов и обновления параметров известен как обратное распространение ошибки и продолжается до тех пор, пока производительность модели на наборе проверочных данных не перестанет улучшаться, что указывает на сходимость.

Основные типы алгоритмов оптимизации

Было разработано несколько алгоритмов оптимизации, каждый со своими характеристиками. Некоторые из наиболее широко используемых в глубоком обучении включают:

• Стохастический градиентный спуск (SGD): Классический и широко используемый оптимизатор, который обновляет параметры, используя градиент из небольшого подмножества (пакета) обучающих данных. Будучи эффективным, его производительность может быть чувствительна к выбору скорости обучения. Вариации, такие как SGD с моментом, помогают ускорить сходимость.
• Оптимизатор Adam: Оптимизатор Adaptive Moment Estimation (Adam) чрезвычайно популярен, поскольку сочетает в себе преимущества двух других расширений SGD: AdaGrad и RMSProp. Он вычисляет адаптивные скорости обучения для каждого параметра, что делает его надежным и часто хорошим выбором по умолчанию для многих задач. Расширение AdamW обычно используется в современных моделях-трансформерах. Такие фреймворки, как PyTorch и TensorFlow, предлагают реализации этих популярных оптимизаторов.

Выбор оптимизатора может существенно повлиять как на скорость обучения, так и на конечную производительность модели. В экосистеме Ultralytics пользователи могут легко настроить оптимизатор во время настройки обучения.

Применение в реальном мире

Алгоритмы оптимизации незаметно работают во множестве приложений ИИ.

1. Анализ медицинских изображений: При обучении сверточной нейронной сети (CNN) для обнаружения опухолей на сканах мозга, алгоритм оптимизации, такой как Adam, систематически настраивает фильтры сети. Он работает над минимизацией разницы между прогнозируемым моделью местоположением опухоли и эталонной разметкой, предоставленной рентгенологами, повышая точность диагностики модели. Это основной компонент создания эффективных решений в области ИИ в здравоохранении.
2. Автономные транспортные средства: Модель обнаружения объектов в самоуправляемом автомобиле, такая как модель Ultralytics YOLO, должна надежно идентифицировать пешеходов, другие автомобили и дорожные знаки. Во время обучения оптимизатор точно настраивает параметры модели на миллионах изображений, чтобы уменьшить количество ошибок обнаружения (например, пропущенные объекты или неправильные классификации), что имеет решающее значение для обеспечения безопасности в системах AI в автомобильной промышленности.

Алгоритмы оптимизации в сравнении со смежными концепциями

Важно отличать алгоритмы оптимизации от связанных концепций машинного обучения:

• Алгоритм оптимизации в сравнении с настройкой гиперпараметров: Алгоритмы оптимизации корректируют внутренние параметры (веса и смещения) модели во время обучение. В отличие от этого, настройка гиперпараметров фокусируется на поиске наилучших внешние параметры конфигурации (например, скорость обучения, размер пакета или даже выбор самого оптимизатора) до начинается обучение. The Ultralytics Tuner class автоматизирует этот процесс, используя такие методы, как эволюционные алгоритмы.
• Алгоритм оптимизации vs. Функция потерь: Функция потерь количественно определяет ошибку модели. Алгоритм оптимизации — это механизм, используемый для минимизации этой ошибки. Функция потерь определяет цель, а оптимизатор — стратегию ее достижения.
• Алгоритм оптимизации vs. Архитектура модели: Архитектура модели определяет структуру нейронной сети (например, ее слои и соединения). Алгоритм оптимизации работает внутри этой предопределенной структуры, чтобы обучить ее параметры. Поиск архитектуры нейронной сети (NAS) — это смежная область, которая автоматизирует проектирование самой архитектуры.