Feature Engineering

A engenharia de características é o processo de criar, transformar e selecionar as variáveis de entrada, ou características, a partir das quais um modelo de aprendizagem automática aprende, recorrendo ao conhecimento do domínio e dos dados. Um carimbo temporal em bruto transforma-se na hora do dia e no dia da semana, uma lista de transações com cartão transforma-se nos gastos de um cliente nos últimos 30 dias, e a distância e a duração de uma viagem transformam-se na velocidade dessa viagem. Características bem escolhidas permitem que um modelo simples capte padrões que, de outro modo, não detetaria, e são especialmente importantes para dados tabulares e séries temporais, em que um modelo só pode usar as colunas que lhe são fornecidas. Os modelos de aprendizagem profunda aprendem as suas próprias características a partir de imagens, áudio e texto em bruto, o que levou a que, nesses domínios, a engenharia de características passasse a centrar-se na preparação dos dados e na criação de características com base nas saídas dos modelos.

Técnicas comuns#

• Escalonamento e normalização: Padronizar as características para que tenham média zero e variância unitária impede que as características com unidades de grande escala dominem os modelos baseados em distâncias e o treino baseado em gradientes; uma transformação logarítmica comprime valores assimétricos, como rendimentos ou preços.
• Codificação categórica: A codificação one-hot transforma uma categoria, como uma cor, em colunas binárias, e a codificação pelo alvo substitui cada categoria pela média do alvo dessa categoria, calculada em partições separadas para que a codificação não revele o próprio rótulo de cada linha.
• Rácios e interações: O rácio entre dívida e rendimento, o preço por metro quadrado e o índice de massa corporal combinam dois valores em bruto na quantidade que realmente determina o resultado.
• Características de data e hora: A hora, o dia da semana, o mês e os indicadores de feriados revelam ciclos; as codificações com seno e cosseno da hora colocam as 23:00 junto das 00:00.
• Desfasamentos e janelas móveis: Os valores anteriores, as médias móveis e as contagens em janelas recentes dão ao modelo o histórico recente de um sensor, uma conta ou um produto.
• Discretização: Agrupar valores contínuos em intervalos, como faixas etárias, capta efeitos em degraus e limita a influência de valores extremos.
• Redução de dimensionalidade com PCA: A análise de componentes principais comprime muitas características correlacionadas em algumas características não correlacionadas.
• Seleção de características: Os métodos de filtragem ordenam as características segundo a correlação ou a informação mútua com o alvo; os métodos wrapper testam subconjuntos de características com um modelo; e os métodos integrados, como a regularização L1, descartam características durante o treino.

Um recurso de razão mostra por que isso funciona. Uma árvore de decisão com profundidade limitada só pode dividir com base em um recurso de cada vez, então aproxima mal a regra "velocidade média acima de 90 km/h" usando apenas distância e duração; com a velocidade calculada, a regra é representada exatamente:

import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier

# 1,000 trips: raw distance (km) and duration (h); label = average speed above 90 km/h
rng = np.random.default_rng(0)
distance = rng.uniform(10, 300, 1000)
hours = rng.uniform(0.5, 4.0, 1000)
y = (distance / hours > 90).astype(int)

raw = np.column_stack([distance, hours])
engineered = (distance / hours).reshape(-1, 1)  # domain knowledge: speed = distance / time

tree = DecisionTreeClassifier(max_depth=2, random_state=0)
for name, X in [("Raw distance and duration", raw), ("Engineered speed", engineered)]:
    print(f"{name}: accuracy {cross_val_score(tree, X, y, cv=5).mean():.3f}")

Com a mesma árvore de profundidade 2, a precisão validada cruzadamente aumenta de 0.861, usando distância e duração brutas, para 1.000, usando o recurso de velocidade criado, porque o limite diagonal no espaço de distância e duração se torna um único limiar de velocidade.

Validar recursos sem vazamento de dados#

Um recurso só é válido se o seu valor for conhecido no momento da previsão. Um modelo de cancelamento de clientes que usa "número de chamadas de suporte no mês após o cancelamento" ou uma codificação do alvo calculada no conjunto de dados completo tem bons resultados nos testes e falha em produção — uma forma de vazamento de dados. Por isso, cada transformação com parâmetros aprendidos, como médias de escalonamento ou codificações de categorias, é ajustada apenas nos folds de treino, como os pipelines do scikit-learn fazem automaticamente, e cada novo recurso só é mantido se melhorar a pontuação validada cruzadamente. Os sistemas de produção também precisam calcular cada recurso exatamente como no treino, tarefa que os repositórios de recursos realizam ao disponibilizar as mesmas definições de recursos para ambos.

Engenharia de recursos em visão computacional#

A visão computacional clássica dependia de recursos projetados manualmente, como mapas de bordas, descritores de pontos-chave SIFT e histogramas de gradientes orientados, que classificadores como as máquinas de vetores de suporte rotulavam. Desde que AlexNet venceu o desafio ImageNet em 2012, as redes neurais convolucionais aprenderam seus próprios mapas de recursos a partir de pixels, e o esforço de engenharia passou a se concentrar nos dados de treino, por meio de aumento de dados, e nas saídas dos modelos de visão. O SpeedEstimator da Ultralytics cria um recurso de velocidade a partir da saída de rastreamento de objetos do YOLO26: quando uma trajetória tem cinco posições, converte o deslocamento em pixels entre a primeira e a última em metros usando a escala meter_per_pixel e divide pelo tempo decorrido para informar a velocidade em km/h.

Aplicações#

• Risco de crédito: Os credores derivam a relação entre dívida e renda, a utilização do crédito e o número de meses desde o último pagamento em atraso a partir dos registros brutos das contas; esses recursos preveem melhor a inadimplência do que os saldos brutos.
• Manutenção preditiva: Médias móveis, taxas de variação e energia por faixa de frequência calculadas a partir de fluxos de vibração e temperatura revelam o desgaste em desenvolvimento antes que qualquer leitura bruta ultrapasse um limite de alarme.
• Deteção de fraude: Recursos de frequência, como o número de transações com cartão na última hora e a distância entre uma compra e a localização habitual do titular do cartão, distinguem fraudes de gastos normais.
• Previsão de demanda: Os modelos de varejo combinam defasagens de vendas, médias móveis, variações de preço, indicadores de promoção e indicadores de feriados para cada loja e produto.

Engenharia de recursos e termos relacionados#

• Extração de recursos: Calcula recursos automaticamente com um algoritmo fixo ou um modelo aprendido, como PCA ou a rede backbone de uma rede neural. Os dois termos costumam ser usados como sinônimos, embora engenharia de recursos abranja um processo mais amplo, orientado pelo domínio.
• Pré-processamento de dados: Limpa e formata os dados corrigindo erros, preenchendo valores ausentes e convertendo tipos; é a etapa anterior à criação dos recursos.
• Embeddings: Vetores densos que um modelo aprende durante o treino para representar palavras, imagens ou usuários e que substituem recursos criados manualmente, como contagens de palavras, na maioria dos sistemas de linguagem e visão.