Ансамбль моделей

Ансамбль моделей — это метод машинного обучения (ML), который объединяет прогнозы двух или более отдельных моделей для получения единого, часто превосходящего, окончательного прогноза. Основной принцип основан на идее «мудрости толпы»: объединяя «мнения» нескольких разнообразных моделей, ансамбль может компенсировать индивидуальные ошибки или смещения любой отдельной модели, что приводит к более высокой точности, повышенной надежности и снижению риска переобучения. Этот подход является краеугольным камнем высокопроизводительного ML и часто используется для победы в соревнованиях по науке о данных.

Как работает ансамбль моделей

Эффективность ансамбля моделей зависит от разнообразия составляющих его моделей. Если все модели совершают одни и те же ошибки, объединение их не дает никаких преимуществ. Поэтому разнообразие поощряется путем обучения моделей на различных подмножествах данных обучения, с использованием различных алгоритмов или инициализации моделей с различными параметрами.

Общие методы создания и объединения ансамблей включают:

• Бэггинг (Bootstrap Aggregating): Включает обучение нескольких экземпляров одной и той же модели на разных случайных подмножествах обучающих данных. Окончательный прогноз обычно представляет собой среднее значение или мажоритарное голосование всех прогнозов модели. Случайный лес - классический пример ансамбля на основе бэггинга.
• Бустинг: Модели обучаются последовательно, причем каждая новая модель фокусируется на исправлении ошибок, допущенных ее предшественниками. Это приводит к созданию мощной, высокоточной композитной модели. Популярные алгоритмы бустинга включают AdaBoost и Gradient Boosting, с такими реализациями, как XGBoost и LightGBM.
• Стекинг (Stacking): Этот метод включает в себя обучение нескольких различных моделей (например, нейронной сети, машины опорных векторов и дерева решений) и использование другой модели, называемой мета-учеником, для объединения их прогнозов и получения окончательного результата.

Связанные понятия

Полезно отличать ансамбль моделей от связанных терминов:

• Ансамблевые методы: Это более широкая теоретическая категория методов (таких как bagging и boosting), используемых в машинном обучении. «Модельный ансамбль» — это конкретный артефакт — конкретный набор обученных моделей, — созданный путем применения ансамблевого метода.
• Смесь экспертов (MoE): В отличие от типичного ансамбля, который объединяет выходные данные всех моделей, MoE использует стробирующую сеть для динамического выбора наиболее подходящей модели «эксперта» для данного входа. MoE выбирает одного эксперта, тогда как ансамбль консультируется со всеми.

Применение в реальном мире

Ансамбли моделей широко используются в различных областях для достижения самых современных результатов.

1. Детекция объектов в компьютерном зрении: В критически важных для безопасности системах, таких как автономные транспортные средства, или для выполнения важных задач, таких как охранное наблюдение, ансамбли могут повысить надежность. Например, ансамбль может объединять различные модели обнаружения объектов, такие как разные версии Ultralytics YOLO, например YOLOv8 и YOLOv10, или модели, обученные с использованием различных стратегий аугментации данных. В руководстве по ансамблированию моделей YOLOv5 показано, как это может повысить точность обнаружения. Даже такие методы, как аугментация во время тестирования (TTA), можно рассматривать как форму ансамблирования, поскольку они усредняют прогнозы по нескольким дополненным версиям изображения.
2. Медицинская диагностика: Ансамбли имеют решающее значение в анализе медицинских изображений для таких задач, как диагностика заболеваний по рентгеновским снимкам, МРТ или патологическим слайдам. Одна CNN может превосходно обнаруживать определенные аномалии, а другая — другие. Объединяя их прогнозы, диагностический инструмент может достичь более высокой точности и надежности, что имеет решающее значение для таких приложений, как обнаружение опухолей.

Несмотря на свою мощность, ансамбли повышают сложность и вычислительные потребности как для обучения моделей, так и для развертывания. Управление несколькими моделями требует больше ресурсов, тщательной разработки и надежных практик MLOps. Однако значительное повышение производительности часто оправдывает эти затраты в критически важных приложениях. Платформы, такие как Ultralytics HUB, могут упростить управление несколькими моделями, созданными с использованием таких фреймворков, как PyTorch или TensorFlow.