Explorando o ensemble learning e o seu papel na IA e no ML

Para uma visão geral visual dos conceitos abordados neste artigo, assista ao vídeo abaixo.

Inovações em IA, como mecanismos de recomendação e sistemas de detecção de fraudes, baseiam-se em algoritmos e modelos de machine learning para fazer previsões e tomar decisões com base em dados. Esses modelos podem identificar padrões, prever tendências e ajudar a automatizar tarefas complexas.

No entanto, um único modelo pode ter dificuldade em capturar todos os detalhes em dados do mundo real. Ele pode ter um bom desempenho em alguns casos, mas falhar em outros, como um modelo de detecção de fraudes que não identifica novos tipos de transações.

Essa limitação é algo que engenheiros de IA enfrentam frequentemente ao criar e implantar modelos de machine learning. Alguns modelos sofrem overfitting ao aprenderem os dados de treinamento com muita precisão, enquanto outros sofrem underfit por perderem padrões importantes. O Ensemble learning é uma técnica de IA que ajuda a resolver esses desafios combinando múltiplos modelos, conhecidos como base learners, em um único sistema mais potente.

Podes pensar nisso como uma equipa de especialistas a trabalhar em conjunto para resolver um problema. Neste artigo, vamos explorar o que é o ensemble learning, como funciona e onde pode ser utilizado. Vamos começar!

Link to this sectionO que é o ensemble learning?#

O ensemble learning refere-se a um conjunto de técnicas que combinam múltiplos modelos para resolver o mesmo problema e produzir um resultado único e melhorado. Pode ser aplicado tanto em aprendizagem supervisionada (onde os modelos aprendem a partir de dados rotulados) como em aprendizagem não supervisionada (onde os modelos encontram padrões em dados não rotulados).

Em vez de depender de um modelo para fazer previsões, um ensemble utiliza vários modelos que analisam os dados à sua própria maneira. Quando as suas saídas são combinadas, o resultado é frequentemente mais preciso, estável e generalizável do que aquele que qualquer modelo isolado conseguiria alcançar.

Podes comparar isto a um painel de analistas a abordar o mesmo problema. Cada analista ou modelo individual interpreta os dados de forma diferente.

Um pode focar-se em padrões, outro em anomalias e outro no contexto. Ao reunir as suas perspetivas, o grupo pode tomar uma decisão mais equilibrada e fiável do que qualquer julgamento individual.

Esta abordagem também ajuda a resolver dois dos maiores desafios em machine learning: bias e variance. Um modelo com alto bias é demasiado simples e ignora padrões importantes, enquanto um com alta variance é demasiado sensível e ajusta-se demasiado aos dados de treino. Ao combinar modelos, o ensemble learning encontra um equilíbrio entre ambos, melhorando o desempenho do sistema em dados novos e desconhecidos.

Link to this sectionCompreender como funciona o ensemble learning#

Cada modelo num ensemble é conhecido como base learner ou base model. Estes podem ser do mesmo tipo de algoritmo ou uma mistura de algoritmos diferentes, dependendo da técnica de ensemble utilizada.

Aqui estão alguns exemplos comuns dos diferentes modelos utilizados no ensemble learning:

• Árvores de decisão: Estes modelos dividem os dados em ramos com base nos valores das características para tomar decisões. Por exemplo, em problemas de classificação como prever se um cliente comprará um produto, eles consideram fatores como idade, rendimento e histórico de navegação.
• Redes neuronais: Inspiradas na forma como o cérebro humano processa informações, formam a arquitetura básica por trás da maioria dos modelos modernos de IA e machine learning.
• Máquinas de vetores de suporte (SVMs): Estes algoritmos classificam dados encontrando um limite de decisão ideal, chamado hiperplano, que maximiza a margem entre diferentes classes. Por outras palavras, o SVM desenha a melhor linha possível que separa os grupos enquanto deixa o maior intervalo entre eles. Por exemplo, pode ser usado para dizer se um e-mail é spam ou não com base em padrões como frequência de palavras e estrutura.
• Modelos de regressão logística: Estimam probabilidades e são frequentemente usados para tarefas de classificação binária. Um exemplo típico é prever se uma transação é fraudulenta ou legítima.

Um model ensemble combinado é geralmente chamado de strong learner porque integra os pontos fortes dos base learners (também referidos como modelos fracos), enquanto minimiza os seus pontos fracos. Isso é feito combinando as previsões de cada modelo de forma estruturada, usando votação maioritária para tarefas de classificação ou média ponderada para tarefas de regressão para produzir um resultado final mais preciso.

Fig 1. Um exemplo de ensemble learning (Fonte)

Link to this sectionQuando usar ensemble learning#

Antes de mergulharmos nas várias técnicas de ensemble learning, vamos dar um passo atrás e entender quando esse tipo de abordagem deve ser usado num projeto de machine learning ou IA.

O ensemble learning é mais eficaz quando um único modelo tem dificuldade em fazer previsões precisas ou consistentes. Também pode ser usado em situações em que os dados são complexos, ruidosos ou imprevisíveis.

Aqui estão alguns casos comuns em que os métodos de ensemble são particularmente eficazes:

• Baixa precisão do modelo: Quando as previsões de um modelo não são suficientemente fiáveis, combinar múltiplos modelos pode melhorar significativamente a precisão e o desempenho. Por exemplo, na pontuação de crédito ou diagnósticos médicos, mesmo pequenas melhorias na precisão da previsão podem fazer uma grande diferença.
• Dados ruidosos ou inconsistentes: Se um conjunto de dados contiver valores atípicos, erros ou flutuações aleatórias, o ensemble learning ajuda a suavizar essas irregularidades através da média ou votação entre múltiplos modelos.
• Necessidade de robustez: Os modelos de ensemble são menos sensíveis a pequenas alterações nos dados, tornando-os mais estáveis e fiáveis para ambientes de produção onde as entradas do mundo real podem variar.
• Tarefas de previsão complexas: Em tarefas como reconhecimento de imagem, detecção de fraudes ou previsão de séries temporais, os ensembles capturam uma gama mais ampla de padrões e relações do que um único modelo conseguiria sozinho.

É também mais simples de treinar, mais fácil de interpretar e mais rápido de manter. Antes de usar um ensemble, é importante pesar o benefício de maior precisão contra o tempo adicional, poder computacional e complexidade que isso requer.

Link to this sectionUma visão geral das técnicas de ensemble learning#

A seguir, vejamos as principais formas como o ensemble learning pode ser aplicado em projetos de machine learning. Existem várias técnicas fundamentais usadas para combinar modelos, cada uma melhorando o desempenho à sua maneira. Os métodos de ensemble mais comuns são bagging, boosting, stacking e blending.

Link to this sectionBagging#

Bagging, abreviatura de bootstrap aggregating, é um método de ensemble learning que ajuda a melhorar a estabilidade e a precisão do modelo ao treinar múltiplas versões do mesmo modelo em diferentes partes dos dados.

Cada subconjunto é criado usando um processo chamado bootstrap sampling, onde os pontos de dados são selecionados aleatoriamente com reposição. Isso significa que, após um ponto de dados ser escolhido, ele é colocado de volta na reserva antes que o próximo seja escolhido, portanto, o mesmo ponto pode aparecer mais de uma vez, enquanto outros podem ficar de fora. Esta aleatoriedade garante que cada modelo treine numa versão ligeiramente diferente do conjunto de dados.

Durante a inferência, todos os modelos treinados funcionam em paralelo para fazer previsões em dados novos e não vistos. Cada modelo produz a sua própria saída com base no que aprendeu, e estas previsões individuais são então combinadas para formar o resultado final.

Para tarefas de regressão, como prever preços de casas ou previsões de vendas, isto geralmente significa calcular a média das saídas de todos os modelos para obter uma estimativa mais suave. Para tarefas de classificação, como identificar se uma transação é fraudulenta ou não, o ensemble frequentemente faz uma votação maioritária para decidir a classe final.

Link to this sectionBagging em ação: O algoritmo Random Forest#

Um bom exemplo de onde o bagging funciona bem é com árvores de decisão, que podem facilmente sofrer overfitting quando treinadas num único conjunto de dados. Ao treinar muitas árvores em amostras ligeiramente diferentes e combinar os seus resultados, o bagging reduz o overfitting e melhora a fiabilidade.

Considera o algoritmo Random Forest. É um conjunto de árvores de decisão, onde cada árvore é treinada num subconjunto aleatório do conjunto de dados de treino, bem como num subconjunto aleatório de características.

Esta aleatoriedade de características ajuda a garantir que as árvores sejam menos correlacionadas e que o modelo geral seja mais estável e preciso. Um algoritmo Random Forest pode ser usado para classificar imagens, detetar fraudes, prever a rotatividade de clientes, prever vendas ou estimar preços de propriedades.

Fig 2. Uma visão sobre o algoritmo Random Forest (Fonte)

Link to this sectionBoosting#

Boosting é outra técnica de ensemble learning que se concentra em melhorar modelos fracos ao treiná-los sequencialmente, um após o outro, em vez de em paralelo. O conceito central do boosting é que cada novo modelo aprende com os erros dos anteriores, melhorando gradualmente o desempenho geral do modelo.

Ao contrário do bagging, que reduz a variância através da média de modelos independentes, o boosting reduz o bias fazendo com que cada novo modelo preste mais atenção aos casos difíceis com os quais os modelos anteriores tiveram dificuldades.

Uma vez que os modelos de boosting são treinados sequencialmente, a forma como as suas previsões são combinadas no final difere ligeiramente de outros métodos de ensemble. Cada modelo contribui para a previsão final em proporção ao seu desempenho durante o treino, com modelos mais precisos a receberem maior peso.

Para tarefas de regressão, o resultado final é geralmente uma soma ponderada de todas as previsões dos modelos. Para tarefas de classificação, o algoritmo combina os votos ponderados dos modelos para decidir a classe final. Esta abordagem ajuda o boosting a criar um modelo global forte, dando mais peso aos modelos que são mais precisos enquanto continua a aprender com os outros.

Aqui estão alguns tipos comuns de algoritmos de boosting:

• AdaBoost (Adaptive Boosting): Este método começa por treinar um modelo simples, como uma pequena árvore de decisão, e depois aumenta o peso dos pontos de dados que foram classificados incorretamente. Estes pesos fazem com que o próximo modelo se foque mais nos exemplos difíceis. Ao longo de várias iterações, os modelos constroem-se uns sobre os outros, e as suas previsões combinadas formam um resultado mais forte e preciso. Por exemplo, o AdaBoost pode melhorar a precisão da deteção de spam ou do reconhecimento facial.
• Gradient Boosting: Em vez de reponderar amostras, o Gradient Boosting treina cada novo modelo para corrigir os erros residuais, ou seja, as diferenças entre os valores reais e previstos, cometidos pelos modelos anteriores. Esta abordagem iterativa torna-o eficaz tanto para tarefas de regressão como de classificação, como na previsão de vendas e na pontuação de crédito.
• XGBoost (Extreme Gradient Boosting): Esta versão avançada de gradient boosting melhora tanto a velocidade quanto a precisão. Utiliza a regularização, que penaliza ligeiramente modelos excessivamente complexos durante o treino para que se foquem em padrões significativos em vez de memorizar dados. Embora os modelos ainda sejam treinados sequencialmente, o XGBoost acelera o processo usando a paralelização durante a construção da árvore. Pode avaliar muitos pontos de divisão possíveis ao mesmo tempo em diferentes núcleos da CPU. Isso torna o treino muito mais rápido, especialmente em grandes conjuntos de dados, mantendo um alto desempenho preditivo.

Fig 3. Exemplo de um classificador baseado em árvore de decisão (DTB) treinado com uma abordagem de boosting para previsão de risco de diabetes. (Fonte)

Link to this sectionStacking#

Stacking, também chamado de generalização empilhada, leva as coisas um passo adiante usando as previsões de vários modelos como entrada para um modelo final conhecido como meta learner. Podes pensar nisso como ter um grupo de especialistas que partilham as suas opiniões, e então um decisor final aprende a ponderar essas opiniões para tomar a melhor decisão possível.

Por exemplo, um modelo pode ser excelente a identificar fraudes, enquanto outro é melhor a prever a rotatividade de clientes. O meta learner estuda o desempenho de cada um e usa os seus pontos fortes em conjunto para fazer uma previsão final mais precisa.

Link to this sectionBlending#

Blending funciona de forma semelhante ao stacking porque também combina as previsões de vários modelos para tomar uma decisão final, mas adota uma abordagem mais simples e rápida. Em vez de usar validação cruzada (um método que divide os dados em várias partes e as alterna entre treino e teste para tornar o modelo mais fiável), como faz o stacking, o blending reserva uma pequena parte dos dados, chamada conjunto de holdout.

Os modelos de base são treinados nos dados restantes e, em seguida, fazem previsões no conjunto de holdout, que ainda não viram. Isto produz duas informações chave: as respostas reais, ou rótulos verdadeiros, e as previsões feitas por cada modelo de base.

Estas previsões são então passadas para outro modelo chamado modelo de blending ou meta modelo. Este modelo final estuda a precisão das previsões de cada modelo de base e aprende a combiná-las da melhor maneira possível.

Como o blending depende apenas de uma divisão de treino e teste em vez de repetir o processo várias vezes, é executado mais rapidamente e é mais fácil de configurar. A contrapartida é que tem ligeiramente menos informação com a qual aprender, o que pode torná-lo um pouco menos preciso.

Link to this sectionAvaliar algoritmos de ensemble#

Uma parte importante do ensemble learning é avaliar quão bem um modelo funciona em dados que ainda não viu. Independentemente de quão avançada seja uma técnica, ela deve ser testada para garantir que pode generalizar, o que significa que deve fazer previsões precisas em exemplos novos e reais, em vez de apenas memorizar os dados de treino.

Aqui estão algumas métricas de desempenho comuns usadas para avaliar modelos de IA:

• Precisão (Accuracy): Esta métrica mede a proporção de previsões corretas entre todas as previsões feitas pelo modelo. Dá uma visão geral rápida do desempenho global.
• Precisão (Precision): Indica quantas das amostras previstas como positivas são, na realidade, positivas. Uma precisão alta significa que o modelo comete poucos erros de falso positivo.
• Recall: Esta medida centra-se em quantos dos casos positivos reais foram identificados corretamente pelo modelo. É especialmente importante em áreas como cuidados de saúde, onde perder um caso positivo, como um diagnóstico de doença, pode ter consequências graves.

Link to this sectionAplicações do mundo real do ensemble learning#

Até agora, explorámos como funciona o ensemble learning e as técnicas por trás dele. Agora vejamos onde esta abordagem está a ter impacto.

Aqui estão algumas áreas chave onde o ensemble learning é comumente aplicado:

• Análise de dados e previsão: Em negócios e análises, os modelos de ensemble ajudam as organizações a fazer melhores previsões ao combinar insights de múltiplos modelos. Isto leva a previsões de vendas mais precisas, planeamento de demanda mais inteligente e uma compreensão mais clara do comportamento do cliente.
• Classificação binária: Tarefas como deteção de spam, prevenção de fraudes e diagnóstico médico exigem frequentemente a distinção entre dois resultados possíveis. Os modelos de ensemble ajudam a reduzir falsos positivos e falsos negativos, o que é especialmente crucial em áreas como cibersegurança e cuidados de saúde.
• Problemas de regressão: Ao prever valores contínuos como preços de casas, receitas de vendas ou risco de crédito, os métodos de ensemble capturam relações complexas dentro dos dados. Isso resulta em previsões mais precisas que suportam melhores decisões financeiras e operacionais.

Link to this sectionIndo além dos dados estruturados com ensemble learning#

Embora o ensemble learning seja mais comumente usado com dados estruturados ou tabulares, como folhas de cálculo contendo informações numéricas ou categóricas, também pode ser aplicado a dados não estruturados como texto, imagens, áudio e vídeo.

Estes tipos de dados são mais complexos e mais difíceis de interpretar pelos modelos, mas os métodos de ensemble ajudam a melhorar a precisão e a fiabilidade. Por exemplo, em computer vision, os ensembles podem melhorar tarefas como classificação de imagens e detecção de objetos.

Ao combinar as previsões de múltiplos modelos de visão, como redes neuronais convolucionais (CNNs), o sistema pode reconhecer objetos com mais precisão e lidar com variações na iluminação, ângulo ou fundo que poderiam confundir um único modelo.

Link to this sectionUm olhar sobre o ensembling de modelos do Ultralytics YOLOv5#

Um exemplo interessante de uso de ensemble learning em computer vision é quando um engenheiro combina múltiplos modelos de detecção de objetos para melhorar a precisão. Imagina um engenheiro a trabalhar num sistema de monitorização de segurança para um estaleiro de construção, onde a iluminação, ângulos e tamanhos dos objetos mudam constantemente.

Um único modelo pode deixar passar um trabalhador nas sombras ou confundir maquinaria em movimento. Ao usar um conjunto de modelos, cada um com diferentes pontos fortes, o sistema torna-se mais fiável e menos propenso a cometer esses erros.

Em particular, modelos como Ultralytics YOLOv5 andam de mãos dadas com o ensembling de modelos. Os engenheiros podem combinar diferentes variantes do YOLOv5, como YOLOv5x e YOLOv5l6, para fazer previsões em conjunto. Cada modelo analisa a mesma imagem e produz as suas próprias detecções, que são então calculadas pela média para gerar um resultado final mais forte e preciso.

Fig 4. Detecção de objetos numa imagem usando YOLOv5. (Fonte)

Link to this sectionPrós e contras do ensemble learning#

Aqui estão alguns benefícios chave de usar o ensemble learning:

• Resiliência a dados ruidosos: Os ensembles são menos afetados por valores atípicos ou ruído aleatório no conjunto de dados, uma vez que dependem de múltiplos modelos.
• Melhor generalização: Os ensembles reduzem o overfitting, ajudando os modelos a ter um bom desempenho em dados não vistos em vez de apenas memorizar exemplos de treino.
• Flexibilidade entre algoritmos: Podes combinar diferentes tipos de modelos, como árvores de decisão, redes neuronais e modelos lineares, para aproveitar os seus pontos fortes únicos.

Embora o ensemble learning traga várias vantagens para a mesa, existem também alguns desafios a considerar. Aqui estão alguns fatores a ter em mente:

• Maior custo computacional: Treinar e manter múltiplos modelos requer mais memória, poder de processamento e tempo do que um único modelo.
• Interpretabilidade reduzida: Como a saída final vem da combinação de múltiplos modelos, pode ser difícil entender por que uma determinada decisão foi tomada. No entanto, isso depende dos modelos usados, porque quando usas modelos interpretáveis, como árvores de decisão ou máquinas de vetores de suporte, geralmente é mais fácil entender os resultados.
• Considerações de design de ensemble: Construir um ensemble envolve escolher a mistura certa de modelos e garantir que funcionam bem juntos. No entanto, também pode ser mais simples em alguns casos porque não precisas de ajustar os hiperparâmetros de cada modelo individual.

Link to this sectionPrincipais pontos#

O ensemble learning mostra como a combinação de múltiplos modelos pode tornar os sistemas de IA mais precisos e fiáveis. Ajuda a reduzir erros e a melhorar o desempenho em diferentes tipos de tarefas. À medida que o machine learning e a IA continuam a crescer, técnicas como esta estão a impulsionar uma adoção mais ampla e soluções de IA mais práticas e de alto desempenho.

Junta-te à nossa crescente comunidade e repositório GitHub para descobrir mais sobre visão computacional por IA. Explora as nossas páginas de soluções para aprender sobre aplicações de computer vision na agricultura e IA na logística. Consulta as nossas opções de licenciamento para começar hoje mesmo com o teu próprio modelo de computer vision!