Модельный ансамбль

Ансамбль моделей - это метод машинного обучения (ML), который объединяет прогнозы двух или более отдельных моделей для получения единого, часто лучшего, окончательного прогноза. Основной принцип основан на идее "мудрости толпы": агрегируя "мнения" нескольких различных моделей, ансамбль может компенсировать индивидуальные ошибки или смещения любой отдельной модели, что приводит к повышению точности, улучшению устойчивости и снижению риска переоценки. Этот подход является краеугольным камнем высокопроизводительного ML и часто используется для победы в соревнованиях по науке о данных.

Как работают модельные ансамбли

Эффективность ансамбля моделей зависит от разнообразия входящих в него моделей. Если все модели совершают одни и те же ошибки, их объединение не принесет никакой пользы. Поэтому разнообразие поощряется путем обучения моделей на разных подмножествах обучающих данных, использования разных алгоритмов или инициализации моделей с разными параметрами.

Общие приемы создания и комбинирования ансамблей включают в себя:

• Bagging (Bootstrap Aggregating): Обучение нескольких экземпляров одной и той же модели на различных случайных подмножествах обучающих данных. Окончательный прогноз обычно является средним значением или большинством голосов всех прогнозов модели. Random Forest - классический пример ансамбля на основе мешков.
• Бустинг: Модели обучаются последовательно, при этом каждая новая модель направлена на исправление ошибок, допущенных ее предшественниками. В результате получается мощная и высокоточная составная модель. Популярные алгоритмы бустинга включают AdaBoost и Gradient Boosting, а также такие реализации, как XGBoost и LightGBM.
• Сложение: Этот метод предполагает обучение нескольких различных моделей (например, нейронной сети, машины векторов поддержки и дерева решений) и использование другой модели, называемой метаобучающей, для объединения их прогнозов и получения конечного результата.

Смежные понятия

Полезно отличать ансамбль моделей от родственных терминов:

• Методы ансамблей: Это более широкая теоретическая категория методов (таких как bagging и boosting), используемых в машинном обучении. Ансамбль моделей" - это конкретный артефакт - определенная коллекция обученных моделей, созданная в результате применения метода ансамбля.
• Смесь экспертов (Mixture of Experts, MoE): В отличие от типичного ансамбля, который объединяет результаты всех моделей, MoE использует сеть стробирования для динамического выбора наиболее подходящей "экспертной" модели для заданных входных данных. MoE выбирает одного эксперта, в то время как ансамбль обращается ко всем экспертам.

Применение в реальном мире

Ансамбли моделей широко используются в различных областях для достижения наилучшей производительности.

1. Обнаружение объектов в компьютерном зрении: В системах, критически важных для безопасности, таких как автономные транспортные средства, или для решения важных задач, таких как наблюдение за безопасностью, ансамбли могут повысить надежность. Например, ансамбль может объединять различные модели обнаружения объектов, такие как различные версии Ultralytics YOLO, например YOLOv8 и YOLOv10, или модели, обученные с использованием различных стратегий увеличения данных. В руководстве по объединению моделей YOLOv5 показано, как это может повысить точность обнаружения. Даже такие методы, как Test-Time Augmentation (TTA), можно считать разновидностью ансамбля, поскольку они усредняют прогнозы по нескольким дополненным версиям изображения.
2. Медицинская диагностика: Ансамбли играют важную роль в анализе медицинских изображений для таких задач, как диагностика заболеваний по рентгеновским снимкам, МРТ или слайдам патологий. Одна CNN может лучше обнаруживать определенные аномалии, в то время как другая лучше справляется с другими. Объединение их предсказаний позволяет диагностическому инструменту достичь более высокой точности и надежности, что очень важно для таких задач, как обнаружение опухолей.

Несмотря на свою мощь, ансамбли увеличивают сложность и вычислительные потребности как в обучении моделей, так и в их развертывании. Управление несколькими моделями требует больше ресурсов, тщательного проектирования и надежной практики MLOps. Однако значительный прирост производительности часто оправдывает эти затраты в критически важных приложениях. Платформы, подобные Ultralytics HUB, могут упростить управление несколькими моделями, построенными с помощью таких фреймворков, как PyTorch или TensorFlow.