Знакомство с ансамблевым обучением и его ролью в AI и ML

Чтобы наглядно ознакомиться с концепциями, рассмотренными в этой статье, посмотри видео ниже.

Инновации в AI, такие как рекомендательные системы и системы обнаружения мошенничества, используют алгоритмы и модели машинного обучения для прогнозирования и принятия решений на основе данных. Эти модели могут выявлять закономерности, прогнозировать тенденции и помогать автоматизировать сложные задачи.

Однако одной модели может быть недостаточно, чтобы учесть все особенности данных из реального мира. В одних случаях она может работать хорошо, а в других — давать сбои, например пропускать новые типы транзакций в системе обнаружения мошенничества.

Это ограничение часто встречается AI-инженерам при создании и развертывании моделей машинного обучения. Одни модели переобучаются, слишком точно запоминая обучающие данные, а другие недообучаются и пропускают важные закономерности. Ансамблевое обучение — это метод AI, который помогает решать эти проблемы, объединяя несколько моделей, известных как базовые модели, в единую более мощную систему.

Представь, что это команда экспертов, совместно решающих задачу. В этой статье мы разберем, что такое ансамблевое обучение, как оно работает и где его можно применять. Давай начнем!

Что такое ансамблевое обучение?#

Ансамблевое обучение — это набор методов, которые объединяют несколько моделей для решения одной и той же задачи и получения единого улучшенного результата. Его можно применять как в обучении с учителем (где модели обучаются на размеченных данных), так и в обучении без учителя (где модели находят закономерности в неразмеченных данных).

Вместо того чтобы полагаться на одну модель для построения прогнозов, ансамбль использует несколько моделей, каждая из которых анализирует данные по-своему. При объединении их результатов итог обычно получается более точным, стабильным и способным обобщать данные, чем результат любой отдельной модели.

Можно сравнить это с группой аналитиков, решающих одну и ту же задачу. Каждый аналитик или отдельная модель по-разному интерпретирует данные.

Один может сосредоточиться на закономерностях, другой — на аномалиях, а третий — на контексте. Объединяя их точки зрения, группа может принять более взвешенное и надежное решение, чем любой отдельный специалист.

Этот подход также помогает решить две главные проблемы машинного обучения: смещение и дисперсию. Модель с высоким смещением слишком проста и упускает важные закономерности, а модель с высокой дисперсией чрезмерно чувствительна и слишком точно подстраивается под обучающие данные. Объединяя модели, ансамблевое обучение находит баланс между ними и улучшает работу системы на новых, ранее не встречавшихся данных.

Как работает ансамблевое обучение#

Каждая модель в ансамбле называется базовым алгоритмом или базовой моделью. Это могут быть алгоритмы одного типа или сочетание разных алгоритмов — в зависимости от используемой ансамблевой техники.

Вот несколько распространенных примеров моделей, используемых в ансамблевом обучении:

• Деревья решений: Эти модели разделяют данные на ветви на основе значений признаков, чтобы принимать решения. Например, в задачах классификации, таких как прогнозирование покупки товара клиентом, они учитывают такие факторы, как возраст, доход и история просмотров.
• Нейронные сети: Вдохновленные тем, как человеческий мозг обрабатывает информацию, они лежат в основе архитектуры большинства современных моделей AI и машинного обучения.
• Машины опорных векторов (SVMs): Эти алгоритмы классифицируют данные, находя оптимальную границу принятия решений, называемую гиперплоскостью, которая максимизирует зазор между разными классами. Иными словами, SVM проводит наилучшую возможную линию, разделяющую группы и оставляющую между ними максимальный зазор. Например, с ее помощью можно определить, является ли электронное письмо спамом, анализируя такие признаки, как частота слов и структура текста.
• Модели логистической регрессии: Они оценивают вероятности и часто используются для задач бинарной классификации. Типичный пример — прогнозирование того, является ли транзакция мошеннической или легитимной.

Объединенный ансамбль моделей обычно называют сильным алгоритмом, поскольку он объединяет преимущества базовых алгоритмов (также называемых слабыми моделями) и минимизирует их недостатки. Для этого прогнозы каждой модели объединяются структурированным способом: в задачах классификации используется голосование большинства, а в задачах регрессии — взвешенное усреднение, что позволяет получить более точный итоговый результат.

Рис. 1. Пример ансамблевого обучения (Источник)

Когда использовать ансамблевое обучение#

Прежде чем перейти к различным методам ансамблевого обучения, давай разберемся, когда такой подход стоит применять в проекте машинного обучения или AI.

Ансамблевое обучение наиболее эффективно, когда одной модели сложно строить точные или стабильные прогнозы. Его также можно использовать в ситуациях, когда данные сложны, зашумлены или непредсказуемы.

Вот несколько распространенных случаев, в которых ансамблевые методы особенно эффективны:

• Низкая точность модели: Если прогнозы одной модели недостаточно надежны, объединение нескольких моделей может значительно повысить точность и производительность. Например, при оценке кредитоспособности или медицинской диагностике даже небольшое повышение точности прогноза может иметь большое значение.
• Зашумленные или непоследовательные данные: Если набор данных содержит выбросы, ошибки или случайные колебания, ансамблевое обучение помогает сгладить эти нерегулярности за счет усреднения или голосования нескольких моделей.
• Необходимость в устойчивости: Ансамблевые модели менее чувствительны к небольшим изменениям данных, поэтому они стабильнее и надежнее работают в производственных средах, где входные данные из реального мира могут различаться.
• Сложные задачи прогнозирования: В таких задачах, как распознавание изображений, обнаружение мошенничества или прогнозирование временных рядов, ансамбли выявляют более широкий спектр закономерностей и взаимосвязей, чем одна модель.

Его также проще обучать, легче интерпретировать и быстрее обслуживать. Перед использованием ансамбля важно сопоставить преимущества более высокой точности с дополнительными затратами времени, вычислительных ресурсов и сложностью, которые он требует.

Обзор методов ансамблевого обучения#

Теперь рассмотрим основные способы применения ансамблевого обучения в проектах машинного обучения. Существует несколько ключевых методов объединения моделей, каждый из которых по-своему повышает производительность. Наиболее распространенные ансамблевые методы — бэггинг, бустинг, стекинг и смешивание.

Бэггинг#

Бэггинг, сокращение от «агрегация бутстрэп-выборок», — это метод ансамблевого обучения, который повышает стабильность и точность модели за счет обучения нескольких версий одной и той же модели на разных частях данных.

Каждое подмножество создается с помощью процесса, называемого бутстрэп-выборкой, при котором точки данных случайным образом выбираются с возвращением. Это означает, что после выбора точка данных возвращается в общий набор перед выбором следующей, поэтому одна и та же точка может встретиться несколько раз, а некоторые точки могут не попасть в выборку. Благодаря этой случайности каждая модель обучается на немного отличающейся версии набора данных.

Во время инференса все обученные модели параллельно строят прогнозы для новых, ранее не встречавшихся данных. Каждая модель формирует собственный результат на основе изученного, после чего эти отдельные прогнозы объединяются в итоговый результат.

В задачах регрессии, таких как прогнозирование цен на жилье или объемов продаж, это обычно означает усреднение результатов всех моделей для получения более плавной оценки. В задачах классификации, например при определении мошеннической транзакции, ансамбль часто использует голосование большинства для выбора итогового класса.

Бэггинг на практике: алгоритм Random Forest#

Хороший пример эффективного применения бэггинга — деревья решений, которые легко переобучаются при обучении на одном наборе данных. Обучая множество деревьев на немного отличающихся выборках и объединяя их результаты, бэггинг уменьшает переобучение и повышает надежность.

Рассмотрим алгоритм Random Forest. Это ансамбль деревьев решений, где каждое дерево обучается на случайном подмножестве обучающего набора данных, а также на случайном подмножестве признаков.

Случайный выбор признаков помогает сделать деревья менее коррелированными, а общую модель — более стабильной и точной. Алгоритм Random Forest можно использовать для классификации изображений, обнаружения мошенничества, прогнозирования оттока клиентов, прогноза продаж или оценки стоимости недвижимости.

Рис. 2. Обзор алгоритма Random Forest (Источник)

Бустинг#

Бустинг — еще одна техника ансамблевого обучения, которая улучшает слабые алгоритмы (модели), обучая их последовательно, один за другим, а не параллельно. Основная идея бустинга заключается в том, что каждая новая модель учится на ошибках предыдущих, постепенно повышая общую производительность модели.

В отличие от бэггинга, который уменьшает дисперсию за счет усреднения независимых моделей, бустинг уменьшает смещение, заставляя каждую новую модель уделять больше внимания сложным случаям, с которыми предыдущие модели справились плохо.

Поскольку модели бустинга обучаются последовательно, способ объединения их прогнозов в конце немного отличается от других ансамблевых методов. Каждая модель вносит вклад в итоговый прогноз пропорционально своей эффективности во время обучения, причем более точные модели получают больший вес.

В задачах регрессии итоговый результат обычно представляет собой взвешенную сумму прогнозов всех моделей. В задачах классификации алгоритм объединяет взвешенные голоса моделей, чтобы определить итоговый класс. Такой подход помогает бустингу создавать сильную общую модель, придавая больший вес более точным моделям и одновременно используя информацию от остальных.

Вот несколько распространенных типов алгоритмов бустинга:

• AdaBoost (адаптивный бустинг): Этот метод начинает с обучения простой модели, например небольшого дерева решений, а затем увеличивает вес точек данных, классифицированных неправильно. Благодаря этим весам следующая модель уделяет больше внимания сложным примерам. За несколько итераций модели дополняют друг друга, а их объединенные прогнозы формируют более сильный и точный результат. Например, AdaBoost может повысить точность обнаружения спама или распознавания лиц.
• Градиентный бустинг: Вместо перевзвешивания выборок градиентный бустинг обучает каждую новую модель исправлять остаточные ошибки — различия между фактическими и прогнозируемыми значениями, допущенные предыдущими моделями. Благодаря итеративному подходу он эффективен как для регрессии, так и для классификации, например при прогнозировании продаж и оценке кредитоспособности.
• XGBoost (экстремальный градиентный бустинг): Эта усовершенствованная версия градиентного бустинга повышает скорость и точность. Она использует регуляризацию, которая слегка штрафует чрезмерно сложные модели во время обучения, чтобы они сосредоточивались на значимых закономерностях, а не на запоминании данных. Хотя модели по-прежнему обучаются последовательно, XGBoost ускоряет процесс за счет распараллеливания построения деревьев. Он может одновременно оценивать множество возможных точек разделения на разных ядрах CPU. Это значительно ускоряет обучение, особенно на больших наборах данных, сохраняя высокую точность прогнозирования.

Рис. 3. Пример классификатора на основе дерева решений (DTB), обученного с использованием бустинга для прогнозирования риска диабета. (Источник)

Стекинг#

Стекинг, также называемый обобщением с помощью стекинга, развивает эту идею, используя прогнозы нескольких моделей в качестве входных данных для итоговой модели, называемой метаалгоритмом. Представь группу экспертов, каждый из которых высказывает свое мнение, а затем итоговый эксперт учится взвешивать эти мнения, чтобы принять наилучшее решение.

Например, одна модель может отлично обнаруживать мошенничество, а другая — лучше прогнозировать отток клиентов. Метаалгоритм анализирует эффективность каждой модели и объединяет их сильные стороны, чтобы построить более точный итоговый прогноз.

Смешивание#

Смешивание работает аналогично стекингу, поскольку также объединяет прогнозы нескольких моделей для принятия итогового решения, но использует более простой и быстрый подход. В отличие от стекинга, который применяет кросс-валидацию (метод, разделяющий данные на несколько частей и поочередно использующий их для обучения и тестирования, чтобы сделать модель надежнее), смешивание откладывает небольшую часть данных, называемую отложенной выборкой.

Базовые модели обучаются на оставшихся данных, а затем строят прогнозы для отложенной выборки, которую они ранее не видели. В результате формируются два ключевых элемента информации: фактические ответы, или истинные метки, и прогнозы каждой базовой модели.

Затем эти прогнозы передаются другой модели, называемой моделью смешивания или метамоделью. Эта итоговая модель анализирует точность прогнозов каждой базовой модели и учится объединять их наилучшим образом.

Поскольку смешивание использует только одно разделение на обучающую и тестовую выборки вместо многократного повторения процесса, оно работает быстрее и проще настраивается. Компромисс заключается в том, что у модели немного меньше информации для обучения, поэтому ее точность может быть несколько ниже.

Оценка ансамблевых алгоритмов#

Важная часть ансамблевого обучения — оценка того, насколько хорошо модель работает на данных, которых она раньше не видела. Каким бы продвинутым ни был метод, его необходимо тестировать, чтобы убедиться в способности к обобщению: модель должна точно прогнозировать новые примеры из реального мира, а не просто запоминать обучающие данные.

Вот несколько распространенных метрик производительности, используемых для оценки моделей AI:

• Точность (Accuracy): Эта метрика измеряет долю правильных прогнозов среди всех прогнозов модели. Она дает быстрое представление об общей производительности.
• Precision: Показывает, сколько из образцов, предсказанных как положительные, действительно являются положительными. Высокая precision означает, что модель допускает мало ошибок, связанных с ложноположительными результатами.
• Полнота (Recall): Эта метрика показывает, сколько фактических положительных случаев модель правильно обнаружила. Она особенно важна в таких областях, как здравоохранение, где пропуск положительного случая, например диагноза заболевания, может иметь серьезные последствия.

Применение ансамблевого обучения в реальном мире#

До сих пор мы рассматривали принцип работы ансамблевого обучения и лежащие в его основе техники. Теперь посмотрим, где этот подход уже приносит пользу.

Вот несколько ключевых областей, в которых обычно применяется ансамблевое обучение:

• Анализ данных и прогнозирование: В бизнесе и аналитике ансамблевые модели помогают организациям строить более точные прогнозы, объединяя результаты нескольких моделей. Это приводит к более точному прогнозированию продаж, эффективному планированию спроса и лучшему пониманию поведения клиентов.
• Бинарная классификация: Такие задачи, как обнаружение спама, предотвращение мошенничества и медицинская диагностика, часто требуют различать два возможных результата. Ансамблевые модели помогают уменьшить число ложноположительных и ложноотрицательных результатов, что особенно важно в таких областях, как кибербезопасность и здравоохранение.
• Задачи регрессии: При прогнозировании непрерывных значений, таких как цены на жилье, выручка от продаж или кредитный риск, ансамблевые методы выявляют сложные взаимосвязи в данных. В результате прогнозы становятся точнее и помогают принимать более эффективные финансовые и операционные решения.

Выход за пределы структурированных данных с помощью ансамблевого обучения#

Хотя ансамблевое обучение чаще всего применяется к структурированным, или табличным, данным, например к электронным таблицам с числовой или категориальной информацией, его также можно использовать для неструктурированных данных, таких как текст, изображения, аудио и видео.

Эти типы данных сложнее и труднее для интерпретации моделями, но ансамблевые методы помогают повысить точность и надежность. Например, в задачах компьютерного зрения ансамбли могут улучшить классификацию изображений и обнаружение объектов.

Объединяя прогнозы нескольких моделей компьютерного зрения, таких как сверточные нейронные сети (CNNs), система может точнее распознавать объекты и справляться с изменениями освещения, угла съемки или фона, которые могли бы сбить с толку одну модель.

Обзор ансамблирования моделей Ultralytics YOLOv5#

Интересный пример применения ансамблевого обучения в компьютерном зрении — объединение инженером нескольких моделей обнаружения объектов для повышения точности. Представь инженера, работающего над системой контроля безопасности на строительной площадке, где освещение, углы съемки и размеры объектов постоянно меняются.

Одна модель может не заметить рабочего в тени или принять движущуюся технику за другой объект. Использование ансамбля моделей с разными сильными сторонами делает систему надежнее и снижает вероятность таких ошибок.

В частности, такие модели, как Ultralytics YOLOv5, отлично подходят для ансамблирования моделей. Инженеры могут объединять разные варианты YOLOv5, например YOLOv5x и YOLOv5l6, чтобы строить прогнозы совместно. Каждая модель анализирует одно и то же изображение и формирует собственные обнаружения, которые затем усредняются для получения более сильного и точного итогового результата.

Рис. 4. Обнаружение объектов на изображении с помощью YOLOv5. (Источник)

Плюсы и минусы ансамблевого обучения#

Вот несколько ключевых преимуществ ансамблевого обучения:

• Устойчивость к зашумленным данным: На выбросы и случайный шум в наборе данных ансамбли влияют меньше, поскольку опираются на несколько моделей.
• Лучшее обобщение: Ансамбли уменьшают переобучение, помогая моделям хорошо работать на неизвестных данных, а не просто запоминать обучающие примеры.
• Гибкость в выборе алгоритмов: Ты можешь объединять разные типы моделей, например деревья решений, нейронные сети и линейные модели, чтобы использовать их уникальные сильные стороны.

Ансамблевое обучение дает множество преимуществ, но с ним связаны и определенные сложности. Вот несколько факторов, которые стоит учитывать:

• Более высокая вычислительная стоимость: Обучение и поддержка нескольких моделей требуют больше памяти, вычислительных ресурсов и времени, чем работа с одной моделью.
• Снижение интерпретируемости: Поскольку итоговый результат формируется путем объединения нескольких моделей, может быть сложно понять, почему принято определенное решение. Однако это зависит от используемых моделей: если применять интерпретируемые модели, такие как деревья решений или машины опорных векторов, результаты обычно понять легче.
• Особенности проектирования ансамбля: Создание ансамбля требует выбрать правильное сочетание моделей и убедиться, что они хорошо работают вместе. Однако в некоторых случаях это также упрощает процесс, поскольку не нужно отдельно настраивать гиперпараметры каждой модели.

Основные выводы#

Ансамблевое обучение показывает, как объединение нескольких моделей может сделать системы AI точнее и надежнее. Оно помогает уменьшить количество ошибок и повысить производительность в задачах разных типов. По мере развития машинного обучения и AI такие методы способствуют более широкому внедрению практичных и высокопроизводительных решений AI.

Присоединяйся к нашей растущей сообществу и репозиторию GitHub, чтобы узнать больше о vision AI. Изучи страницы с нашими решениями, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и AI в логистике. Ознакомься с нашими вариантами лицензирования, чтобы уже сегодня начать работу над собственной моделью компьютерного зрения!