Hyperparameter Tuning

Настройка гиперпараметров — это итеративный процесс оптимизации внешних переменных конфигурации, управляющих процессом обучения модели машинного обучения (ML). В отличие от внутренних параметров — таких как веса и смещения, которые модель извлекает из данных в процессе обучения, — гиперпараметры задаются специалистом по данным или инженером до начала процесса обучения. Эти настройки определяют структуру модели и поведение алгоритма, выступая в роли «регуляторов и переключателей», позволяющих точно настроить производительность. Поиск идеального сочетания этих значений критически важен для максимизации таких метрик, как точность и эффективность, и часто именно он определяет, будет ли модель посредственной или станет решением уровня State-of-the-Art.

Основные концепции и методы#

Совокупность всех возможных сочетаний гиперпараметров образует многомерное пространство поиска. Специалисты используют различные стратегии для его исследования и поиска оптимальной конфигурации, минимизирующей функцию потерь.

• Поиск по сетке: Этот исчерпывающий метод оценивает модель для каждого заданного сочетания параметров в сетке. Несмотря на тщательность, он требует больших вычислительных ресурсов и страдает от проклятия размерности при работе с большим количеством переменных.
• Случайный поиск: Вместо проверки каждого сочетания этот метод выбирает случайные сочетания гиперпараметров. Исследования показывают, что он часто эффективнее поиска по сетке, поскольку позволяет результативнее исследовать пространство поиска в отношении наиболее значимых параметров.
• Байесовская оптимизация: Этот вероятностный подход строит суррогатную модель, которая на основе предыдущих оценок прогнозирует, какие гиперпараметры дадут лучшие результаты, концентрируя поиск в наиболее перспективных областях.
• Эволюционные алгоритмы: Этот метод, вдохновленный биологической эволюцией, использует такие механизмы, как мутация и скрещивание, для эволюции популяции конфигураций на протяжении нескольких поколений. Это основной метод, используемый библиотекой ultralytics для оптимизации современных архитектур, таких как YOLO26.

Настройка гиперпараметров и обучение модели#

Важно различать настройку и обучение, поскольку это разные этапы жизненного цикла MLOps:

• Обучение модели: Процесс, в котором алгоритм перебирает обучающие данные, чтобы изучить внутренние параметры с помощью обратного распространения ошибки. Цель — минимизировать ошибку на обучающей выборке.
• Настройка гиперпараметров: Метапроцесс выбора рабочих настроек — таких как скорость обучения, размер пакета и момент — до начала обучения. Цель — максимизировать производительность на валидационных данных, чтобы предотвратить переобучение.

Практические применения#

Эффективно настроенные модели критически важны для развертывания надежных решений в сложных средах.

Прецизионное сельское хозяйство#

В области ИИ в сельском хозяйстве автономные дроны используют компьютерное зрение для обнаружения сорняков и болезней сельскохозяйственных культур. Эти модели часто работают на периферийных устройствах с ограниченным временем автономной работы. Инженеры используют настройку гиперпараметров для оптимизации конвейера аугментации данных и разрешения входных данных, обеспечивая баланс между высокой скоростью инференса и точностью, необходимой для распыления средств только на сорняки, что сокращает использование химикатов.

Медицинская диагностика#

В области ИИ в здравоохранении, в частности при анализе медицинских изображений, ложноотрицательный результат может иметь серьезные последствия. При обучении моделей для обнаружения аномалий на МРТ специалисты тщательно настраивают гиперпараметры, связанные с весами классов и фокальной функцией потерь. Такая настройка максимизирует полноту, обеспечивая выявление даже малозаметных признаков патологии для проверки специалистом и существенно помогая в ранней диагностике.

Автоматизированная настройка с Ultralytics#

Библиотека ultralytics упрощает оптимизацию благодаря встроенному настройщику, использующему генетические алгоритмы. Это позволяет автоматически находить лучшие гиперпараметры для пользовательских наборов данных без ручного перебора методом проб и ошибок. Для крупномасштабных операций команды могут использовать платформу Ultralytics для управления наборами данных и визуализации этих экспериментов по настройке в облаке.

В следующем примере показано, как запустить настройку гиперпараметров для модели YOLO26. Настройщик будет изменять гиперпараметры на протяжении нескольких итераций, чтобы максимизировать среднюю точность (mAP).

from ultralytics import YOLO

# Initialize a YOLO26 model (using the 'nano' weight for speed)
model = YOLO("yolo26n.pt")

# Start tuning hyperparameters on the COCO8 dataset
# The tuner runs for 30 epochs per iteration, evolving parameters like lr0 and momentum
model.tune(data="coco8.yaml", epochs=30, iterations=100, optimizer="AdamW", plots=False)

Автоматизируя этот процесс, разработчики могут приблизиться к концепции автоматизированного машинного обучения (AutoML), при которой система самостоятельно оптимизируется для достижения максимально возможной производительности в рамках конкретной задачи.