Изучение ансамблевого обучения и его роли в ИИ и машинном обучении

Чтобы наглядно ознакомиться с концепциями, описанными в этой статье, посмотри видео ниже.

Инновации в области ИИ, такие как рекомендательные системы и системы обнаружения мошенничества, опираются на алгоритмы и модели машинного обучения для принятия прогнозов и решений на основе данных. Эти модели способны выявлять закономерности, прогнозировать тенденции и помогать в автоматизации сложных задач.

Однако отдельной модели бывает сложно учесть все детали данных из реального мира. Она может отлично работать в одних случаях, но не справляться в других — например, если модель для обнаружения мошенничества пропускает новые виды транзакций.

С этой проблемой часто сталкиваются AI-инженеры при создании и развертывании моделей машинного обучения. Некоторые модели переобучаются, слишком точно запоминая обучающие данные, тогда как другие недообучаются, упуская важные закономерности. Ансамблевое обучение — это метод AI, который помогает решить эти задачи, объединяя несколько моделей (базовых алгоритмов) в единую, более мощную систему.

Ты можешь представить это как команду экспертов, работающих вместе для решения проблемы. В этой статье мы разберем, что такое ансамблевое обучение, как оно работает и где его можно применять. Давай начнем!

Что такое ансамблевое обучение?#

Ансамблевое обучение — это набор методов, объединяющих несколько моделей для решения одной и той же задачи и получения единого, улучшенного результата. Его можно применять как в обучении с учителем (где модели обучаются на размеченных данных), так и в обучении без учителя (где модели находят закономерности в неразмеченных данных).

Вместо того чтобы полагаться на одну модель для прогнозирования, ансамбль использует несколько моделей, каждая из которых анализирует данные по-своему. Когда их выходные данные объединяются, результат зачастую оказывается более точным, стабильным и обобщаемым, чем то, чего могла бы достичь любая отдельная модель.

Ты можешь сравнить это с группой аналитиков, решающих одну и ту же задачу. Каждый аналитик или отдельная модель интерпретирует данные по-разному.

Один может сосредоточиться на закономерностях, другой — на аномалиях, а третий — на контексте. Объединяя их точки зрения, группа может принять решение, которое будет более сбалансированным и надежным, чем любое суждение по отдельности.

Этот подход также помогает решить две самые большие проблемы машинного обучения: смещение и разброс. Модель с высоким смещением слишком проста и упускает важные паттерны, а модель с высоким разбросом избыточно чувствительна и слишком точно подстраивается под обучающие данные. Объединяя модели, ансамблевое обучение находит баланс между ними, улучшая качество работы системы на новых, ранее не встречавшихся данных.

Понимание принципов работы ансамблевого обучения#

Каждая модель в ансамбле называется базовым обучающим алгоритмом или базовой моделью. В зависимости от используемого метода ансамблирования, это могут быть алгоритмы одного типа или комбинация разных алгоритмов.

Вот несколько распространенных примеров моделей, используемых в ансамблевом обучении:

• Деревья решений: Эти модели разделяют данные на ветви на основе значений признаков для принятия решений. Например, в задачах классификации, таких как прогнозирование того, купит ли клиент продукт, они учитывают такие факторы, как возраст, доход и история просмотров.
• Нейронные сети: вдохновленные тем, как человеческий мозг обрабатывает информацию, они составляют базовую архитектуру большинства современных моделей AI и машинного обучения.
• Методы опорных векторов (SVM): Эти алгоритмы классифицируют данные, находя оптимальную границу принятия решений, называемую гиперплоскостью, которая максимизирует зазор между различными классами. Другими словами, SVM проводит наилучшую возможную линию, разделяющую группы, оставляя при этом максимально возможный промежуток между ними. Например, это можно использовать для определения того, является ли электронное письмо спамом, основываясь на таких закономерностях, как частота слов и структура.
• Модели логистической регрессии: Они оценивают вероятности и часто используются для задач бинарной классификации. Типичный пример — прогнозирование того, является ли транзакция мошеннической или легитимной.

Комбинированный ансамбль моделей обычно называют сильным обучаемым алгоритмом, поскольку он объединяет сильные стороны базовых моделей (также называемых слабыми), минимизируя их недостатки. Это достигается путем структурированного объединения предсказаний каждой модели: для задач классификации используется мажоритарное голосование, а для задач регрессии — взвешенное усреднение для получения более точного конечного результата.

Рис. 1. Пример ансамблевого обучения (Источник)

Когда использовать ансамблевое обучение#

Прежде чем мы перейдем к различным методам ансамблевого обучения, давай сделаем шаг назад и поймем, когда такой подход следует использовать в проекте по машинному обучению или ИИ.

Ансамблевое обучение наиболее эффективно, когда отдельной модели трудно делать точные или последовательные прогнозы. Его также можно использовать в ситуациях, когда данные сложны, зашумлены или непредсказуемы.

Вот несколько распространенных случаев, когда методы ансамблей особенно эффективны:

• Низкая точность модели: Когда прогнозы одной модели недостаточно надежны, объединение нескольких моделей может значительно повысить точность и производительность. Например, в кредитном скоринге или медицинской диагностике даже небольшое улучшение точности прогноза может иметь огромное значение.
• Зашумленные или противоречивые данные: Если набор данных содержит выбросы, ошибки или случайные колебания, ансамблевое обучение помогает сгладить эти неровности путем усреднения или голосования среди нескольких моделей.
• Необходимость в надежности: Ансамблевые модели менее чувствительны к небольшим изменениям в данных, что делает их более стабильными и надежными для производственных сред, где входные данные из реального мира могут варьироваться.
• Сложные задачи прогнозирования: В задачах типа распознавания изображений, обнаружения мошенничества или прогнозирования временных рядов ансамбли улавливают более широкий спектр закономерностей и связей, чем могла бы сделать одна модель самостоятельно.

Его также проще обучать, легче интерпретировать и быстрее поддерживать. Перед использованием ансамбля важно сопоставить выгоду от повышенной точности с дополнительным временем, вычислительной мощностью и сложностью, которые он требует.

Обзор методов ансамблевого обучения#

Далее давай рассмотрим основные способы применения ансамблевого обучения в проектах машинного обучения. Существует несколько ключевых техник объединения моделей, каждая из которых по-своему улучшает производительность. Самые распространенные методы ансамблей — это бэггинг, бустинг, стекинг и блендинг.

Бэггинг#

Бэггинг (сокращение от bootstrap aggregating) — это метод ансамблевого обучения, который помогает повысить стабильность и точность модели путем обучения нескольких версий одной и той же модели на разных частях данных.

Каждое подмножество создается с помощью процесса, называемого бутстрэп-выборкой, где точки данных выбираются случайным образом с возвращением. Это означает, что после того, как точка данных выбрана, она возвращается в общий пул перед выбором следующей, поэтому одна и та же точка может появиться несколько раз, в то время как другие могут быть пропущены. Эта случайность гарантирует, что каждая модель обучается на немного отличающейся версии набора данных.

Во время инференса все обученные модели работают параллельно для создания прогнозов на новых, не виденных ранее данных. Каждая модель выдает свой результат на основе того, чему она научилась, и эти индивидуальные прогнозы затем объединяются в финальный результат.

Для задач регрессии, таких как прогнозирование цен на жилье или объемов продаж, это обычно означает усреднение выходных данных всех моделей для получения более гладкой оценки. Для задач классификации, таких как определение того, является ли транзакция мошеннической, ансамбль часто использует мажоритарное голосование для выбора итогового класса.

Бэггинг в действии: Алгоритм Random Forest#

Хороший пример того, где бэггинг работает хорошо, — это деревья решений, которые легко могут переобучиться при обучении на одном наборе данных. Обучая множество деревьев на слегка отличающихся выборках и объединяя их результаты, бэггинг уменьшает переобучение и повышает надежность.

Рассмотри алгоритм Random Forest. Он представляет собой ансамбль деревьев решений, где каждое дерево обучается на случайном подмножестве обучающего набора данных, а также на случайном подмножестве признаков.

Эта случайность признаков помогает гарантировать, что деревья менее коррелированы и что модель в целом более стабильна и точна. Алгоритм Random Forest можно использовать для классификации изображений, обнаружения мошенничества, прогнозирования оттока клиентов, прогнозирования продаж или оценки стоимости недвижимости.

Рис. 2. Обзор алгоритма Random Forest (Источник)

Бустинг#

Бустинг — это еще один метод ансамблевого обучения, который фокусируется на улучшении слабых обучаемых алгоритмов (моделей) путем их последовательного обучения друг за другом, а не параллельно. Основная идея бустинга заключается в том, что каждая новая модель учится на ошибках предыдущих, постепенно повышая общую производительность модели.

В отличие от бэггинга, который снижает разброс путем усреднения независимых моделей, бустинг снижает смещение, заставляя каждую новую модель уделять больше внимания сложным случаям, с которыми не справились предыдущие модели.

Поскольку модели бустинга обучаются последовательно, способ объединения их прогнозов в конце немного отличается от других методов ансамблей. Каждая модель вносит вклад в итоговый прогноз пропорционально своей производительности во время обучения, при этом более точные модели получают больший вес.

Для задач регрессии итоговый результат обычно представляет собой взвешенную сумму всех прогнозов моделей. Для задач классификации алгоритм объединяет взвешенные голоса моделей для принятия решения об итоговом классе. Этот подход помогает бустингу создать сильную общую модель, придавая больше веса моделям с более высокой точностью, продолжая при этом учиться на остальных.

Вот некоторые распространенные типы алгоритмов бустинга:

• AdaBoost (Adaptive Boosting): Этот метод начинает с обучения простой модели, например, небольшого дерева решений, а затем увеличивает вес точек данных, которые были классифицированы неверно. Эти веса заставляют следующую модель больше фокусироваться на сложных примерах. Через несколько итераций модели выстраиваются друг на друге, и их объединенные прогнозы формируют более сильный и точный результат. Например, AdaBoost может повысить точность обнаружения спама или распознавания лиц.
• Градиентный бустинг: Вместо перевзвешивания выборок, градиентный бустинг обучает каждую новую модель исправлять остаточные ошибки (разницу между фактическими и предсказанными значениями), допущенные предыдущими моделями. Этот итеративный подход делает его эффективным как для задач регрессии, так и для классификации, таких как прогнозирование продаж и кредитный скоринг.
• XGBoost (Extreme Gradient Boosting): Эта продвинутая версия градиентного бустинга улучшает как скорость, так и точность. Она использует регуляризацию, которая слегка наказывает чрезмерно сложные модели во время обучения, чтобы они фокусировались на значимых закономерностях, а не заучивали данные. Хотя модели по-прежнему обучаются последовательно, XGBoost ускоряет процесс за счет использования распараллеливания при построении деревьев. Он может оценивать множество возможных точек разделения одновременно на разных ядрах CPU. Это делает обучение намного быстрее, особенно на больших наборах данных, сохраняя при этом высокую точность прогнозирования.

Рис. 3. Пример классификатора на основе дерева решений (DTB), обученного с помощью подхода бустинга для прогнозирования риска диабета. (Источник)

Стекинг#

Стекинг (также называемый стековым обобщением) идет еще дальше, используя прогнозы от нескольких моделей в качестве входных данных для финальной модели, известной как мета-обучатель. Ты можешь представить это как группу экспертов, каждый из которых высказывает свое мнение, а финальный принимающий решение человек учится тому, как взвешивать эти мнения, чтобы принять наилучшее возможное решение.

Например, одна модель может отлично выявлять мошенничество, в то время как другая лучше справляется с прогнозированием оттока клиентов. Мета-обучатель изучает, как работает каждая из них, и использует их сильные стороны вместе для формирования более точного итогового прогноза.

Блендинг#

Блендинг работает аналогично стекингу, поскольку он также объединяет прогнозы от нескольких моделей для принятия итогового решения, но использует более простой и быстрый подход. Вместо того чтобы использовать кросс-валидацию (метод, который разбивает данные на несколько частей и чередует их между обучением и тестированием, чтобы сделать модель более надежной), как это делает стекинг, блендинг откладывает небольшую часть данных, называемую отложенным набором (holdout set).

Базовые модели обучаются на оставшихся данных, а затем делают прогнозы на отложенном наборе, который они еще не видели. Это дает две ключевые части информации: фактические ответы (истинные метки) и прогнозы, сделанные каждой базовой моделью.

Эти прогнозы затем передаются в другую модель, называемую блендинговой моделью или мета-моделью. Эта финальная модель изучает, насколько точны прогнозы каждой базовой модели, и учится объединять их наилучшим возможным способом.

Поскольку блендинг полагается на одно разбиение на обучение и тест вместо того, чтобы повторять процесс несколько раз, он работает быстрее и его проще настроить. Компромисс заключается в том, что у него немного меньше информации для обучения, что может сделать его чуть менее точным.

Оценка ансамблевых алгоритмов#

Важная часть ансамблевого обучения — это оценка того, насколько хорошо модель работает на данных, которые она не видела ранее. Каким бы продвинутым ни был метод, его необходимо протестировать, чтобы убедиться в способности к обобщению, что означает готовность делать точные прогнозы на новых примерах из реального мира, а не просто заучивать обучающие данные.

Вот некоторые распространенные метрики производительности, используемые для оценки моделей ИИ:

• Точность (Accuracy): Эта метрика измеряет долю правильных прогнозов среди всех прогнозов, сделанных моделью. Она дает быстрый обзор общей производительности.
• Точность: Показывает, какая доля образцов, предсказанных как положительные, действительно является положительной. Высокая точность означает, что модель совершает мало ошибок ложноположительного типа.
• Полнота (Recall): Эта мера фокусируется на том, сколько из фактических положительных случаев было правильно идентифицировано моделью. Это особенно важно в таких областях, как здравоохранение, где пропуск положительного случая, например диагноза заболевания, может иметь серьезные последствия.

Реальные применения ансамблевого обучения#

К настоящему моменту мы изучили, как работает ансамблевое обучение и какие методы стоят за ним. Теперь давай посмотрим, где этот подход оказывает реальное влияние.

Вот некоторые ключевые области, где обычно применяется ансамблевое обучение:

• Анализ данных и прогнозирование: В бизнесе и аналитике ансамблевые модели помогают организациям делать более точные прогнозы, объединяя инсайты из нескольких моделей. Это приводит к более точным прогнозам продаж, более разумному планированию спроса и лучшему пониманию поведения клиентов.
• Бинарная классификация: Такие задачи, как обнаружение спама, предотвращение мошенничества и медицинская диагностика, часто требуют различения двух возможных исходов. Ансамблевые модели помогают снизить количество ложноположительных и ложноотрицательных результатов, что особенно критично в таких областях, как кибербезопасность и здравоохранение.
• Задачи регрессии: При прогнозировании непрерывных значений, таких как цены на жилье, выручка от продаж или кредитный риск, ансамблевые методы улавливают сложные взаимосвязи внутри данных. Это приводит к более точным прогнозам, поддерживающим принятие лучших финансовых и операционных решений.

Выход за рамки структурированных данных с помощью ансамблевого обучения#

Хотя ансамблевое обучение чаще всего используется со структурированными или табличными данными, такими как электронные таблицы с числовой или категориальной информацией, его также можно применять к неструктурированным данным, таким как текст, изображения, аудио и видео.

Эти типы данных более сложны, и моделям труднее их интерпретировать, однако методы ансамблирования помогают повысить точность и надежность. Например, в computer vision ансамбли могут улучшить такие задачи, как классификация изображений и обнаружение объектов.

Объединяя прогнозы нескольких моделей зрения, таких как сверточные нейронные сети (CNN), система может распознавать объекты более точно и справляться с вариациями в освещении, ракурсе или фоне, которые могли бы запутать одну модель.

Взгляд на ансамблирование моделей Ultralytics YOLOv5#

Интересный пример использования ансамблевого обучения в компьютерном зрении — это когда инженер объединяет несколько моделей обнаружения объектов для повышения точности. Представь инженера, работающего над системой мониторинга безопасности для строительной площадки, где освещение, ракурсы и размеры объектов постоянно меняются.

Отдельная модель может пропустить рабочего в тени или перепутать движущуюся технику. Используя ансамбль моделей, каждая из которых обладает своими сильными сторонами, система становится более надежной и менее склонной к таким ошибкам.

В частности, такие модели, как Ultralytics YOLOv5, отлично сочетаются с ансамблированием моделей. Инженеры могут объединять различные варианты YOLOv5, такие как YOLOv5x и YOLOv5l6, для совместного создания предсказаний. Каждая модель анализирует одно и то же изображение и выдает собственные результаты обнаружения, которые затем усредняются для получения более сильного и точного финального результата.

Рис. 4. Обнаружение объектов на изображении с помощью YOLOv5. (Источник)

Плюсы и минусы ансамблевого обучения#

Вот некоторые ключевые преимущества использования ансамблевого обучения:

• Устойчивость к зашумленным данным: Ансамбли менее подвержены влиянию выбросов или случайного шума в наборе данных, так как они полагаются на несколько моделей.
• Лучшая обобщающая способность: Ансамбли уменьшают переобучение, помогая моделям хорошо работать на новых данных, вместо того чтобы просто заучивать обучающие примеры.
• Гибкость в отношении алгоритмов: Ты можешь объединять разные виды моделей, такие как деревья решений, нейронные сети и линейные модели, чтобы использовать их уникальные сильные стороны.

Хотя ансамблевое обучение предлагает множество преимуществ, существуют и некоторые проблемы, которые стоит учитывать. Вот несколько факторов, о которых стоит помнить:

• Более высокие вычислительные затраты: Обучение и поддержка нескольких моделей требуют больше памяти, вычислительной мощности и времени, чем одна модель.
• Сниженная интерпретируемость: Поскольку итоговый результат получается в результате объединения нескольких моделей, может быть сложно понять, почему было принято то или иное решение. Однако это зависит от используемых моделей: если ты используешь интерпретируемые модели, такие как деревья решений или методы опорных векторов, понять результаты обычно проще.
• Вопросы проектирования ансамбля: Создание ансамбля предполагает выбор правильного сочетания моделей и уверенность в том, что они хорошо работают вместе. Тем не менее, в некоторых случаях это может быть даже проще, поскольку тебе не нужно настраивать гиперпараметры каждой отдельной модели.

Основные выводы#

Ансамблевое обучение показывает, как объединение нескольких моделей может сделать системы ИИ более точными и надежными. Оно помогает снизить количество ошибок и улучшить производительность в различных видах задач. По мере того как машинное обучение и ИИ продолжают развиваться, такие техники способствуют более широкому внедрению и созданию более практичных, высокопроизводительных решений на базе ИИ.

Присоединяйся к нашему растущему сообществу и репозиторию на GitHub, чтобы узнать больше об искусственном интеллекте для работы с визуальными данными. Изучи страницы наших решений, чтобы узнать о применении computer vision в сельском хозяйстве и AI в логистике. Ознакомься с нашими вариантами лицензирования, чтобы начать работу над собственной моделью computer vision уже сегодня!