Настройка гиперпараметров

Понимание гиперпараметров

Гиперпараметры определяют свойства модели на более высоком уровне, например ее сложность или скорость обучения. Обычными примерами являются скорость обучения, используемая в алгоритмах оптимизации, размер партии, определяющий, сколько образцов обрабатывается перед обновлением параметров модели, количество слоев в нейронной сети или сила методов регуляризации, например, использование выпадающих слоев. Выбор гиперпараметров существенно влияет на результаты моделирования. Неправильный выбор может привести к недостаточной подгонке, когда модель слишком проста, чтобы уловить закономерности данных, или к избыточной подгонке, когда модель слишком хорошо усваивает обучающие данные, включая шум, и не может обобщить их на тестовые данные.

Почему настройка гиперпараметров имеет значение

Эффективная настройка гиперпараметров необходима для построения высокопроизводительных ML-моделей. Хорошо настроенная модель достигает более высокой точности, быстрее сходится в процессе обучения и лучше обобщает данные. Для сложных задач, таких как обнаружение объектов с помощью таких моделей, как Ultralytics YOLO, поиск оптимальных гиперпараметров может значительно улучшить такие показатели, как средняя точность (mAP) и скорость вывода, что очень важно для приложений, требующих вывода в реальном времени. Задача состоит в том, чтобы найти компромиссы, такие как компромисс между смещением и дисперсией, чтобы найти оптимальный вариант для конкретной задачи и набора данных, который часто оценивается с помощью валидных данных.

Методы настройки гиперпараметров

Существует несколько стратегий поиска наилучших значений гиперпараметров:

• Поиск по сетке: Исчерпывающий перебор всех возможных комбинаций заданных значений гиперпараметров. Просто, но требует больших вычислительных затрат.
• Случайный поиск: Случайная выборка комбинаций гиперпараметров из заданных распределений. Часто более эффективен, чем Grid Search.
• Байесовская оптимизация: Строит вероятностную модель целевой функции (например, точность модели) и использует ее для выбора перспективных гиперпараметров для последующей оценки. Это реализовано в таких инструментах, как Optuna.
• Эволюционные алгоритмы: Используют концепции, вдохновленные биологической эволюцией, такие как мутация и кроссинговер, для итеративного уточнения популяций наборов гиперпараметров. В моделях Ultralytics YOLO это используется для эволюции гиперпараметров.

Такие инструменты, как Weights & Biases Sweeps, ClearML, Comet и KerasTuner, помогают автоматизировать и управлять этими процессами настройки, часто интегрируясь с такими фреймворками, как PyTorch и TensorFlow.

Настройка гиперпараметров по сравнению со смежными понятиями

Важно отличать настройку гиперпараметров от смежных концепций ML:

• Обучение модели: Настройка гиперпараметров задает условия для обучения (например, скорость обучения, размер партии). Обучение модели - это процесс обучения параметров модели (весов и смещений) на основе данных с использованием выбранных гиперпараметров и алгоритма оптимизации.
• Алгоритмы оптимизации (Adam, SGD): Эти алгоритмы обновляют параметры модели в процессе обучения на основе функции потерь. Гиперпараметры управляют этими алгоритмами (например, скорость обучения), но сам процесс настройки отделен от работы алгоритма.
• Регуляризация: Такие методы, как регуляризация L1/L2 или отсев, помогают предотвратить чрезмерную подгонку. Сила или скорость этих методов сами по себе являются гиперпараметрами, которые необходимо настраивать.
• Автоматизированное машинное обучение (AutoML): Более широкая область, направленная на автоматизацию всего конвейера МЛ, включая разработку признаков, выбор модели и настройку гиперпараметров. HPT часто является ключевым компонентом систем AutoML.

Применение в реальном мире

Настройка гиперпараметров применяется в различных областях:

• Анализ медицинских изображений: При обучении модели для обнаружения опухолей настройка гиперпараметров, таких как график скорости обучения, интенсивность увеличения данных(например, с помощью альбуминации) и веса функции потерь, имеет решающее значение для достижения высокой точности обнаружения (измеряемой такими показателями, как AUC) на конкретных медицинских наборах данных. Это крайне важно для надежных решений в области ИИ в здравоохранении.
• Автономные транспортные средства: Модели обнаружения объектов в самоуправляемых автомобилях требуют тщательной настройки. Оптимизация гиперпараметров, таких как разрешение входного изображения, пороги немаксимального подавления (NMS) и конфигурации якорных блоков (для детекторов на основе якорей), гарантирует, что система сможет надежно обнаруживать пешеходов, транспортные средства и препятствия с низкой задержкой для безопасной навигации. Эта настройка очень важна для таких компаний, как Waymo, и способствует созданию надежных решений в области искусственного интеллекта в автомобилях.

Настройка гиперпараметров с помощью Ultralytics

Ultralytics предоставляет инструменты, упрощающие настройку гиперпараметров для моделей YOLO. Сайт Ultralytics Tuner класс, задокументированный в Руководство по настройке гиперпараметровавтоматизирует процесс с помощью эволюционных алгоритмов. Интеграция с такими платформами, как Рэй Тьюн предлагает дополнительные возможности для распределенных и расширенных стратегий поиска, помогая пользователям эффективно оптимизировать свои модели для конкретных наборов данных (например COCO) и задачи, использующие такие ресурсы, как Ultralytics HUB для отслеживания и управления экспериментами. Следующие советы по дрессировке моделей часто предполагает эффективную настройку гиперпараметров.