Ансамбль

Ансамблевые методы — это мощный инструмент в машинном обучении (ML), где несколько отдельных моделей объединяются для создания единой, превосходящей прогностической модели. Основная идея заключается в том, что, объединяя «знания» нескольких моделей, окончательный прогноз будет более точным, стабильным и надежным, чем прогноз, полученный от любой отдельной составляющей модели. Этот подход аналогичен обращению за советом к различным экспертам; коллективное решение часто оказывается лучше, чем мнение любого отдельного эксперта. Эти методы очень эффективны для снижения переобучения и улучшения обобщения моделей на невидимых данных.

Как работают ансамбли

Ансамблевое обучение включает в себя два основных этапа: обучение группы разнообразных базовых моделей и последующее объединение их прогнозов. Разнообразие между базовыми моделями имеет решающее значение; если все модели совершают одни и те же ошибки, ансамбль не даст никакого улучшения. Это разнообразие может быть достигнуто путем использования различных алгоритмов, обучения на различных подмножествах обучающих данных или использования различных гиперпараметров.

После обучения моделей их прогнозы объединяются. Для задач классификации это часто делается с помощью механизма голосования (например, побеждает класс с наибольшим количеством голосов). Для задач регрессии прогнозы обычно усредняются. Полученная объединенная модель часто демонстрирует лучшую производительность, концепция, исследованная в теореме жюри Кондорсе.

Общие методы ансамблирования

Существует несколько популярных методов создания эффективных ансамблей:

• Бэггинг (Bootstrap Aggregating): Этот метод включает в себя обучение нескольких моделей (например, деревьев решений) на различных случайных подмножествах обучающих данных. Алгоритм Random Forest является известной реализацией бэггинга.
• Бустинг: Модели обучаются последовательно, причем каждая новая модель фокусируется на исправлении ошибок, допущенных ее предшественниками. Известные алгоритмы бустинга включают AdaBoost, Gradient Boosting, XGBoost и LightGBM.
• Стекинг (Stacked Generalization): Этот метод включает в себя обучение нескольких различных моделей (базовых учеников) и использование другой модели машинного обучения (мета-ученика) для изучения того, как лучше всего объединить их прогнозы.
• Голосование и усреднение: Это самые простые методы, где окончательным прогнозом является мажоритарное голосование (жесткое голосование) или среднее значение прогнозируемых вероятностей (мягкое голосование) от всех моделей. Модели Ultralytics YOLO поддерживают форму усреднения с помощью своей функции ансамблирования моделей.

Применение в реальном мире

Ансамблевые методы широко используются в критически важных приложениях, где высокая точность имеет первостепенное значение:

1. Анализ медицинских изображений: В таких задачах, как обнаружение опухолей, можно использовать ансамбль сверточных нейронных сетей (CNN). Каждая CNN может быть обучена на разных подмножествах медицинских сканов или с использованием разных архитектур. Объединяя их результаты, система может достичь более надежной и точной диагностики, снижая риск ложноотрицательных или положительных результатов в таких приложениях, как медицинская визуализация.
2. Автономные системы: Для автономных транспортных средств надежное обнаружение объектов является вопросом безопасности. Ансамбль может объединять различные модели, такие как YOLOv8 и YOLO11, или модели, обученные с использованием различных стратегий аугментации данных. Этот подход снижает риск того, что одна модель не сможет обнаружить пешехода или препятствие, что приводит к более надежной системе восприятия.

Ансамбли против связанных концепций

Полезно отличать ансамблевые методы от других связанных концепций:

• Ансамбль моделей: Этот термин часто используется как синоним слова «Ансамбль». В то время как «Ансамбль» относится к общей технике, Ансамбль моделей, как правило, относится к практической реализации объединения конкретных обученных экземпляров моделей. Основной принцип остается тем же.
• Mixture of Experts (MoE) (Смесь экспертов): Хотя оба используют несколько моделей, их механизмы различаются. Ансамбль объединяет прогнозы от всех моделей для каждого входа. В отличие от этого, модель Mixture of Experts (MoE) (Смесь экспертов) использует стробирующую сеть для динамического выбора наиболее подходящей модели "эксперта" для конкретного входа, используя только подмножество моделей для каждого прогноза.

Хотя ансамбли добавляют сложности и вычислительных затрат к обучению и развертыванию моделей, выигрыш в производительности часто оправдывает затраты. Платформы, такие как Ultralytics HUB, могут упростить управление несколькими моделями, созданными с помощью таких фреймворков, как PyTorch или TensorFlow, упрощая создание мощных ансамблей.