Redução de dimensionalidade

A redução da dimensionalidade é uma técnica de pré-processamento de dados crucial na aprendizagem automática (ML), utilizada para reduzir o número de caraterísticas - também conhecidas como variáveis ou dimensões - num conjunto de dados. O principal objetivo é transformar dados de elevada dimensão numa representação de dimensão inferior, mantendo o máximo de informação significativa possível. Este processo é essencial para simplificar os modelos, reduzir a complexidade computacional e atenuar um problema comum conhecido como a "maldição da dimensionalidade", em que o desempenho se degrada à medida que o número de caraterísticas aumenta. A aplicação efectiva destas técnicas é uma parte essencial do ciclo de vida do desenvolvimento da IA.

Porque é que a redução da dimensionalidade é importante?

Trabalhar com dados de elevada dimensão apresenta vários desafios. Os modelos treinados em conjuntos de dados com demasiadas caraterísticas podem tornar-se demasiado complexos, conduzindo a um sobreajuste, em que o modelo aprende o ruído em vez do padrão subjacente. Além disso, mais caraterísticas requerem mais capacidade computacional e armazenamento, aumentando o tempo e os custos de formação. A redução da dimensionalidade aborda estas questões através de:

• Simplificação de modelos: Menos caraterísticas resultam em modelos mais simples que são mais fáceis de interpretar e menos propensos a sobreajustes.
• Melhorar o desempenho: Ao remover caraterísticas irrelevantes ou redundantes (ruído), o modelo pode concentrar-se nos sinais mais importantes dos dados, o que conduz frequentemente a uma melhor precisão e generalização.
• Redução da carga computacional: Os dados de dimensão inferior aceleram significativamente a formação de modelos e reduzem os requisitos de memória, o que é fundamental para a inferência em tempo real.
• Melhorar a visualização: É impossível visualizar dados com mais de três dimensões. Técnicas como o t-SNE reduzem os dados a duas ou três dimensões, permitindo uma visualização de dados perspicaz.

Técnicas comuns

Existem duas abordagens principais para a redução da dimensionalidade: seleção de caraterísticas e extração de caraterísticas.

• Seleção de caraterísticas: Esta abordagem envolve a seleção de um subconjunto das caraterísticas originais e a eliminação das restantes. Não cria novas caraterísticas, pelo que o modelo resultante é altamente interpretável. Os métodos são frequentemente categorizados como técnicas de filtro, de invólucro ou incorporadas.
• Extração de caraterísticas: Esta abordagem transforma os dados de um espaço de elevada dimensão num espaço de menos dimensões, criando novas caraterísticas a partir de combinações das antigas. As técnicas mais populares incluem:
  • Análise de componentes principais (PCA): Uma técnica linear que identifica os componentes principais (direcções de maior variância) nos dados. É rápida e interpretável, mas pode não captar relações não lineares complexas.
  • Autoencodificadores: Um tipo de rede neural utilizada para aprendizagem não supervisionada que pode aprender representações eficientes e comprimidas de dados. São poderosos para a aprendizagem de estruturas não lineares, mas são mais complexos do que a PCA.
  • t-SNE (t-distributed Stochastic Neighbor Embedding): Uma técnica não linear excelente para visualizar dados de elevada dimensão, revelando clusters subjacentes e estruturas locais. É frequentemente utilizada para exploração e não como um passo de pré-processamento para outro modelo de ML devido ao seu custo computacional.

Redução da dimensionalidade vs. conceitos relacionados

É importante distinguir a redução da dimensionalidade de conceitos relacionados, como a engenharia de caraterísticas. Enquanto a engenharia de caraterísticas é um processo amplo de criação, seleção e transformação de variáveis para melhorar o desempenho do modelo, a redução da dimensionalidade centra-se especificamente na redução do número de caraterísticas. Pode ser considerada um subcampo da engenharia de caraterísticas.

Do mesmo modo, embora o resultado da redução da dimensionalidade sejam dados comprimidos, o seu principal objetivo é melhorar o desempenho do modelo e não apenas reduzir o tamanho do armazenamento, que é o principal objetivo dos algoritmos gerais de compressão de dados, como o ZIP.

Aplicações em IA e ML

A redução da dimensionalidade é vital em muitas aplicações de Inteligência Artificial (IA) e ML:

• Visão por computador (CV): As imagens contêm grandes quantidades de dados de pixéis. A extração de caraterísticas inerente às Redes Neuronais Convolucionais (CNN), utilizada em modelos como o Ultralytics YOLO, reduz esta dimensionalidade. Isto permite que o modelo se concentre em padrões relevantes para tarefas como a deteção de objectos ou a classificação de imagens, acelerando o processamento e melhorando o desempenho do modelo.
• Bioinformática: A análise de dados genómicos envolve frequentemente conjuntos de dados com milhares de expressões genéticas (caraterísticas). A redução da dimensionalidade ajuda os investigadores a identificar padrões significativos relacionados com doenças ou funções biológicas, tornando os dados biológicos complexos mais fáceis de gerir. Os estudos publicados em revistas como a Nature Methods utilizam frequentemente estas técnicas.
• Processamento de linguagem natural (PNL): Os dados de texto podem ser representados em espaços de elevada dimensão utilizando técnicas como TF-IDF ou word embeddings. A redução da dimensionalidade ajuda a simplificar estas representações para tarefas como a classificação de documentos ou a análise de sentimentos.
• Visualização de dados: Técnicas como t-SNE são inestimáveis para plotar conjuntos de dados de alta dimensão em 2D ou 3D. Isto permite aos humanos inspecionar visualmente e compreender potenciais estruturas ou relações dentro dos dados, o que é útil para gerir conjuntos de dados e modelos complexos em plataformas como o Ultralytics HUB.