Изучение ансамблевого обучения и его роли в ИИ и машинном обучении

Чтобы наглядно ознакомиться с концепциями, описанными в этой статье, посмотри видео ниже.

Инновации в области ИИ, такие как рекомендательные системы и системы обнаружения мошенничества, опираются на алгоритмы и модели машинного обучения для принятия прогнозов и решений на основе данных. Эти модели способны выявлять закономерности, прогнозировать тенденции и помогать в автоматизации сложных задач.

Однако отдельной модели бывает сложно учесть все детали данных из реального мира. Она может отлично работать в одних случаях, но не справляться в других — например, если модель для обнаружения мошенничества пропускает новые виды транзакций.

С этим ограничением инженеры по ИИ часто сталкиваются при создании и развертывании моделей машинного обучения. Некоторые модели переобучаются, слишком точно подстраиваясь под обучающие данные, в то время как другие недообучаются, упуская важные закономерности. Ансамблевое обучение — это метод ИИ, который помогает справиться с этими трудностями путем объединения нескольких моделей, называемых базовыми обучающими алгоритмами, в единую, более мощную систему.

Ты можешь представить это как команду экспертов, работающих вместе для решения проблемы. В этой статье мы разберем, что такое ансамблевое обучение, как оно работает и где его можно применять. Давай начнем!

Link to this sectionЧто такое ансамблевое обучение?#

Ансамблевое обучение — это набор методов, объединяющих несколько моделей для решения одной и той же задачи и получения единого, улучшенного результата. Его можно применять как в обучении с учителем (где модели обучаются на размеченных данных), так и в обучении без учителя (где модели находят закономерности в неразмеченных данных).

Вместо того чтобы полагаться на одну модель для прогнозирования, ансамбль использует несколько моделей, каждая из которых анализирует данные по-своему. Когда их выходные данные объединяются, результат зачастую оказывается более точным, стабильным и обобщаемым, чем то, чего могла бы достичь любая отдельная модель.

Ты можешь сравнить это с группой аналитиков, решающих одну и ту же задачу. Каждый аналитик или отдельная модель интерпретирует данные по-разному.

Один может сосредоточиться на закономерностях, другой — на аномалиях, а третий — на контексте. Объединяя их точки зрения, группа может принять решение, которое будет более сбалансированным и надежным, чем любое суждение по отдельности.

Этот подход также помогает решить две самые большие проблемы машинного обучения: смещение и разброс. Модель с высоким смещением слишком проста и упускает важные закономерности, тогда как модель с высоким разбросом слишком чувствительна и слишком тесно привязывается к обучающим данным. Объединяя модели, ансамблевое обучение находит баланс между ними, улучшая работу системы на новых, не виденных ранее данных.

Link to this sectionПонимание принципов работы ансамблевого обучения#

Каждая модель в ансамбле называется базовым обучающим алгоритмом или базовой моделью. В зависимости от используемого метода ансамблирования, это могут быть алгоритмы одного типа или комбинация разных алгоритмов.

Вот несколько распространенных примеров моделей, используемых в ансамблевом обучении:

• Деревья решений: Эти модели разделяют данные на ветви на основе значений признаков для принятия решений. Например, в задачах классификации, таких как прогнозирование того, купит ли клиент продукт, они учитывают такие факторы, как возраст, доход и история просмотров.
• Нейронные сети: Вдохновленные принципами обработки информации человеческим мозгом, они формируют базовую архитектуру большинства современных моделей ИИ и машинного обучения.
• Методы опорных векторов (SVM): Эти алгоритмы классифицируют данные, находя оптимальную границу принятия решений, называемую гиперплоскостью, которая максимизирует зазор между различными классами. Другими словами, SVM проводит наилучшую возможную линию, разделяющую группы, оставляя при этом максимально возможный промежуток между ними. Например, это можно использовать для определения того, является ли электронное письмо спамом, основываясь на таких закономерностях, как частота слов и структура.
• Модели логистической регрессии: Они оценивают вероятности и часто используются для задач бинарной классификации. Типичный пример — прогнозирование того, является ли транзакция мошеннической или легитимной.

Объединенный модельный ансамбль обычно называют сильным обучающим алгоритмом, так как он интегрирует сильные стороны базовых обучающих алгоритмов (также называемых слабыми моделями), минимизируя их недостатки. Это достигается путем структурированного объединения прогнозов каждой модели: с использованием мажоритарного голосования для задач классификации или взвешенного усреднения для задач регрессии, что позволяет получить более точный итоговый результат.

Рис 1. Пример ансамблевого обучения (Источник)

Link to this sectionКогда использовать ансамблевое обучение#

Прежде чем мы перейдем к различным методам ансамблевого обучения, давай сделаем шаг назад и поймем, когда такой подход следует использовать в проекте по машинному обучению или ИИ.

Ансамблевое обучение наиболее эффективно, когда отдельной модели трудно делать точные или последовательные прогнозы. Его также можно использовать в ситуациях, когда данные сложны, зашумлены или непредсказуемы.

Вот несколько распространенных случаев, когда методы ансамблей особенно эффективны:

• Низкая точность модели: Когда прогнозы одной модели недостаточно надежны, объединение нескольких моделей может значительно повысить точность и производительность. Например, в кредитном скоринге или медицинской диагностике даже небольшое улучшение точности прогноза может иметь огромное значение.
• Зашумленные или противоречивые данные: Если набор данных содержит выбросы, ошибки или случайные колебания, ансамблевое обучение помогает сгладить эти неровности путем усреднения или голосования среди нескольких моделей.
• Необходимость в надежности: Ансамблевые модели менее чувствительны к небольшим изменениям в данных, что делает их более стабильными и надежными для производственных сред, где входные данные из реального мира могут варьироваться.
• Сложные задачи прогнозирования: В задачах типа распознавания изображений, обнаружения мошенничества или прогнозирования временных рядов ансамбли улавливают более широкий спектр закономерностей и связей, чем могла бы сделать одна модель самостоятельно.

Также это проще обучать, легче интерпретировать и быстрее поддерживать. Прежде чем использовать ансамбль, важно сопоставить выгоду от повышения точности с дополнительным временем, вычислительной мощностью и сложностью, которые для этого требуются.

Link to this sectionОбзор методов ансамблевого обучения#

Далее давай рассмотрим основные способы применения ансамблевого обучения в проектах машинного обучения. Существует несколько ключевых техник объединения моделей, каждая из которых по-своему улучшает производительность. Самые распространенные методы ансамблей — это бэггинг, бустинг, стекинг и блендинг.

Link to this sectionБэггинг#

Бэггинг (сокращение от bootstrap aggregating) — это метод ансамблевого обучения, который помогает повысить стабильность и точность модели путем обучения нескольких версий одной и той же модели на разных частях данных.

Каждое подмножество создается с помощью процесса, называемого бутстрэп-выборкой, где точки данных выбираются случайным образом с возвращением. Это означает, что после того, как точка данных выбрана, она возвращается в общий пул перед выбором следующей, поэтому одна и та же точка может появиться несколько раз, в то время как другие могут быть пропущены. Эта случайность гарантирует, что каждая модель обучается на немного отличающейся версии набора данных.

Во время инференса все обученные модели работают параллельно для создания прогнозов на новых, не виденных ранее данных. Каждая модель выдает свой результат на основе того, чему она научилась, и эти индивидуальные прогнозы затем объединяются в финальный результат.

Для задач регрессии, таких как прогнозирование цен на жилье или объемов продаж, это обычно означает усреднение выходных данных всех моделей для получения более гладкой оценки. Для задач классификации, таких как определение того, является ли транзакция мошеннической, ансамбль часто использует мажоритарное голосование для выбора итогового класса.

Link to this sectionБэггинг в действии: Алгоритм Random Forest#

Хороший пример того, где бэггинг работает хорошо, — это деревья решений, которые легко могут переобучиться при обучении на одном наборе данных. Обучая множество деревьев на слегка отличающихся выборках и объединяя их результаты, бэггинг уменьшает переобучение и повышает надежность.

Рассмотрим алгоритм Random Forest. Это ансамбль деревьев решений, где каждое дерево обучается на случайном подмножестве обучающего набора данных, а также на случайном подмножестве признаков.

Эта случайность признаков помогает гарантировать, что деревья менее коррелированы и что модель в целом более стабильна и точна. Алгоритм Random Forest можно использовать для классификации изображений, обнаружения мошенничества, прогнозирования оттока клиентов, прогнозирования продаж или оценки стоимости недвижимости.

Рис 2. Взгляд на алгоритм Random Forest (Источник)

Link to this sectionБустинг#

Бустинг — это еще одна техника ансамблевого обучения, которая фокусируется на улучшении слабых обучающих алгоритмов (моделей) путем обучения их последовательно, друг за другом, а не параллельно. Основная идея бустинга заключается в том, что каждая новая модель учится на ошибках предыдущих, постепенно повышая общую производительность модели.

В отличие от бэггинга, который снижает разброс путем усреднения независимых моделей, бустинг снижает смещение, заставляя каждую новую модель уделять больше внимания сложным случаям, с которыми не справились предыдущие модели.

Поскольку модели бустинга обучаются последовательно, способ объединения их прогнозов в конце немного отличается от других методов ансамблей. Каждая модель вносит вклад в итоговый прогноз пропорционально своей производительности во время обучения, при этом более точные модели получают больший вес.

Для задач регрессии итоговый результат обычно представляет собой взвешенную сумму всех прогнозов моделей. Для задач классификации алгоритм объединяет взвешенные голоса моделей для принятия решения об итоговом классе. Этот подход помогает бустингу создать сильную общую модель, придавая больше веса моделям с более высокой точностью, продолжая при этом учиться на остальных.

Вот некоторые распространенные типы алгоритмов бустинга:

• AdaBoost (Adaptive Boosting): Этот метод начинает с обучения простой модели, например, небольшого дерева решений, а затем увеличивает вес точек данных, которые были классифицированы неверно. Эти веса заставляют следующую модель больше фокусироваться на сложных примерах. Через несколько итераций модели выстраиваются друг на друге, и их объединенные прогнозы формируют более сильный и точный результат. Например, AdaBoost может повысить точность обнаружения спама или распознавания лиц.
• Градиентный бустинг: Вместо перевзвешивания выборок, градиентный бустинг обучает каждую новую модель исправлять остаточные ошибки (разницу между фактическими и предсказанными значениями), допущенные предыдущими моделями. Этот итеративный подход делает его эффективным как для задач регрессии, так и для классификации, таких как прогнозирование продаж и кредитный скоринг.
• XGBoost (Extreme Gradient Boosting): Эта продвинутая версия градиентного бустинга улучшает как скорость, так и точность. Она использует регуляризацию, которая слегка наказывает чрезмерно сложные модели во время обучения, чтобы они фокусировались на значимых закономерностях, а не заучивали данные. Хотя модели по-прежнему обучаются последовательно, XGBoost ускоряет процесс за счет использования распараллеливания при построении деревьев. Он может оценивать множество возможных точек разделения одновременно на разных ядрах CPU. Это делает обучение намного быстрее, особенно на больших наборах данных, сохраняя при этом высокую точность прогнозирования.

Рис 3. Пример классификатора на основе дерева решений (DTB), обученного с помощью подхода бустинга для прогнозирования риска диабета (Источник)

Link to this sectionСтекинг#

Стекинг (также называемый стековым обобщением) идет еще дальше, используя прогнозы от нескольких моделей в качестве входных данных для финальной модели, известной как мета-обучатель. Ты можешь представить это как группу экспертов, каждый из которых высказывает свое мнение, а финальный принимающий решение человек учится тому, как взвешивать эти мнения, чтобы принять наилучшее возможное решение.

Например, одна модель может отлично выявлять мошенничество, в то время как другая лучше справляется с прогнозированием оттока клиентов. Мета-обучатель изучает, как работает каждая из них, и использует их сильные стороны вместе для формирования более точного итогового прогноза.

Link to this sectionБлендинг#

Блендинг работает аналогично стекингу, поскольку он также объединяет прогнозы от нескольких моделей для принятия итогового решения, но использует более простой и быстрый подход. Вместо того чтобы использовать кросс-валидацию (метод, который разбивает данные на несколько частей и чередует их между обучением и тестированием, чтобы сделать модель более надежной), как это делает стекинг, блендинг откладывает небольшую часть данных, называемую отложенным набором (holdout set).

Базовые модели обучаются на оставшихся данных, а затем делают прогнозы на отложенном наборе, который они еще не видели. Это дает две ключевые части информации: фактические ответы (истинные метки) и прогнозы, сделанные каждой базовой моделью.

Эти прогнозы затем передаются в другую модель, называемую блендинговой моделью или мета-моделью. Эта финальная модель изучает, насколько точны прогнозы каждой базовой модели, и учится объединять их наилучшим возможным способом.

Поскольку блендинг полагается на одно разбиение на обучение и тест вместо того, чтобы повторять процесс несколько раз, он работает быстрее и его проще настроить. Компромисс заключается в том, что у него немного меньше информации для обучения, что может сделать его чуть менее точным.

Link to this sectionОценка ансамблевых алгоритмов#

Важная часть ансамблевого обучения — это оценка того, насколько хорошо модель работает на данных, которые она не видела ранее. Каким бы продвинутым ни был метод, его необходимо протестировать, чтобы убедиться в способности к обобщению, что означает готовность делать точные прогнозы на новых примерах из реального мира, а не просто заучивать обучающие данные.

Вот некоторые распространенные метрики производительности, используемые для оценки моделей ИИ:

• Точность (Accuracy): Эта метрика измеряет долю правильных прогнозов среди всех прогнозов, сделанных моделью. Она дает быстрый обзор общей производительности.
• Точность (Precision): Она указывает, сколько образцов, предсказанных как положительные, действительно являются положительными. Высокая точность означает, что модель совершает мало ошибок ложноположительного типа.
• Полнота (Recall): Эта мера фокусируется на том, сколько из фактических положительных случаев было правильно идентифицировано моделью. Это особенно важно в таких областях, как здравоохранение, где пропуск положительного случая, например диагноза заболевания, может иметь серьезные последствия.

Link to this sectionРеальные применения ансамблевого обучения#

К настоящему моменту мы изучили, как работает ансамблевое обучение и какие методы стоят за ним. Теперь давай посмотрим, где этот подход оказывает реальное влияние.

Вот некоторые ключевые области, где обычно применяется ансамблевое обучение:

• Анализ данных и прогнозирование: В бизнесе и аналитике ансамблевые модели помогают организациям делать более точные прогнозы, объединяя инсайты от нескольких моделей. Это приводит к более точным прогнозам продаж, более умному планированию спроса и более ясному пониманию поведения клиентов.
• Бинарная классификация: Такие задачи, как обнаружение спама, предотвращение мошенничества и медицинская диагностика, часто требуют различения двух возможных исходов. Ансамблевые модели помогают снизить количество ложноположительных и ложноотрицательных результатов, что особенно критично в таких областях, как кибербезопасность и здравоохранение.
• Задачи регрессии: При прогнозировании непрерывных значений, таких как цены на жилье, выручка от продаж или кредитный риск, ансамблевые методы улавливают сложные взаимосвязи внутри данных. Это приводит к более точным прогнозам, поддерживающим принятие лучших финансовых и операционных решений.

Link to this sectionВыход за рамки структурированных данных с помощью ансамблевого обучения#

Хотя ансамблевое обучение чаще всего используется со структурированными или табличными данными, такими как электронные таблицы с числовой или категориальной информацией, его также можно применять к неструктурированным данным, таким как текст, изображения, аудио и видео.

Эти типы данных более сложны и трудны для интерпретации моделями, но ансамблевые методы помогают повысить их точность и надежность. Например, в компьютерном зрении ансамбли могут улучшить решение задач типа классификации изображений и обнаружения объектов.

Объединяя прогнозы нескольких моделей зрения, таких как сверточные нейронные сети (CNN), система может распознавать объекты более точно и справляться с вариациями в освещении, ракурсе или фоне, которые могли бы запутать одну модель.

Link to this sectionВзгляд на ансамблирование моделей Ultralytics YOLOv5#

Интересный пример использования ансамблевого обучения в компьютерном зрении — это когда инженер объединяет несколько моделей обнаружения объектов для повышения точности. Представь инженера, работающего над системой мониторинга безопасности для строительной площадки, где освещение, ракурсы и размеры объектов постоянно меняются.

Отдельная модель может пропустить рабочего в тени или перепутать движущуюся технику. Используя ансамбль моделей, каждая из которых обладает своими сильными сторонами, система становится более надежной и менее склонной к таким ошибкам.

В частности, такие модели, как Ultralytics YOLOv5, идут рука об руку с ансамблированием моделей. Инженеры могут объединять различные варианты YOLOv5, такие как YOLOv5x и YOLOv5l6, для совместного выполнения прогнозов. Каждая модель анализирует одно и то же изображение и выдает свои детекции, которые затем усредняются для получения более мощного и точного итогового результата.

Рис 4. Обнаружение объектов на изображении с помощью YOLOv5 (Источник)

Link to this sectionПлюсы и минусы ансамблевого обучения#

Вот некоторые ключевые преимущества использования ансамблевого обучения:

• Устойчивость к зашумленным данным: Ансамбли менее подвержены влиянию выбросов или случайного шума в наборе данных, так как они полагаются на несколько моделей.
• Лучшая обобщающая способность: Ансамбли уменьшают переобучение, помогая моделям хорошо работать на новых данных, вместо того чтобы просто заучивать обучающие примеры.
• Гибкость в отношении алгоритмов: Ты можешь объединять разные виды моделей, такие как деревья решений, нейронные сети и линейные модели, чтобы использовать их уникальные сильные стороны.

Хотя ансамблевое обучение предлагает множество преимуществ, существуют и некоторые проблемы, которые стоит учитывать. Вот несколько факторов, о которых стоит помнить:

• Более высокая вычислительная стоимость: Обучение и поддержка нескольких моделей требует больше памяти, вычислительной мощности и времени, чем для одной модели.
• Сниженная интерпретируемость: Поскольку итоговый результат получается в результате объединения нескольких моделей, может быть сложно понять, почему было принято то или иное решение. Однако это зависит от используемых моделей: если ты используешь интерпретируемые модели, такие как деревья решений или методы опорных векторов, понять результаты обычно проще.
• Вопросы проектирования ансамбля: Создание ансамбля предполагает выбор правильного сочетания моделей и уверенность в том, что они хорошо работают вместе. Тем не менее, в некоторых случаях это может быть даже проще, поскольку тебе не нужно настраивать гиперпараметры каждой отдельной модели.

Link to this sectionОсновные выводы#

Ансамблевое обучение показывает, как объединение нескольких моделей может сделать системы ИИ более точными и надежными. Оно помогает снизить количество ошибок и улучшить производительность в различных видах задач. По мере того как машинное обучение и ИИ продолжают развиваться, такие техники способствуют более широкому внедрению и созданию более практичных, высокопроизводительных решений на базе ИИ.

Присоединяйся к нашему растущему сообществу и GitHub репозиторию, чтобы узнать больше о компьютерном зрении. Изучи наши страницы с решениями, чтобы узнать о применении компьютерного зрения в сельском хозяйстве и ИИ в логистике. Ознакомься с нашими вариантами лицензирования, чтобы начать работу со своей собственной моделью компьютерного зрения уже сегодня!