Automated Machine Learning (AutoML)

O aprendizado de máquina automatizado (AutoML) automatiza o trabalho de tentativa e erro envolvido na criação de um modelo de aprendizado de máquina (ML): preparar recursos, escolher um algoritmo, definir seus hiperparâmetros e, às vezes, projetar uma arquitetura de rede ou combinar vários modelos. Dado um conjunto de dados, uma métrica-alvo e um orçamento computacional, um sistema de AutoML pesquisa pipelines candidatos, pontua cada um com dados reservados e retorna o melhor que encontra. O projeto Auto-WEKA definiu o núcleo dessa tarefa como o problema combinado de seleção de algoritmos e otimização de hiperparâmetros (CASH), uma formulação adotada posteriormente por ferramentas como o auto-sklearn. O AutoML oferece boas referências iniciais a não especialistas e poupa aos especialistas a parte repetitiva da experimentação.

Como funciona o AutoML#

Um sistema de AutoML tem três componentes. O espaço de busca define o que pode variar, desde etapas de pré-processamento de dados e engenharia de atributos até a família de modelos, como regressão linear, XGBoost ou uma rede neural, e as configurações de cada família, como a taxa de aprendizado. A estratégia de busca escolhe quais candidatos testar, usando busca aleatória, otimização bayesiana, que modela quais regiões do espaço parecem promissoras, ou algoritmos evolutivos, que fazem mutações e recombinam configurações boas. A etapa de avaliação pontua cada candidato com dados de validação ou por meio de validação cruzada. Muitos sistemas também iniciam a busca com meta-aprendizado baseado em conjuntos de dados anteriores e terminam combinando os melhores candidatos em um ensemble de modelos.

Treinar cada candidato até o fim é o principal custo. Por isso, os métodos multifidelidade primeiro treinam muitas configurações a baixo custo e investem mais apenas nas promissoras. A eliminação sucessiva, componente básico do Hyperband, repete uma rodada até restar uma única configuração:

Uma busca ampla também pode superajustar os dados de validação, já que o vencedor é, em parte, o candidato mais sortudo entre muitos. Por isso, o modelo final é pontuado em um conjunto de teste separado.

Ferramentas de AutoML#

• AutoGluon: Uma biblioteca de código aberto criada na Amazon que treina vários tipos de modelos com dados tabulares, texto, imagens e séries temporais, e os combina em um ensemble.
• auto-sklearn: Pesquisa pipelines do scikit-learn usando otimização bayesiana, meta-aprendizado e criação de ensembles.
• FLAML: Uma biblioteca da Microsoft que busca modelos tabulares e hiperparâmetros a baixo custo.
• Optuna: Uma estrutura de otimização de hiperparâmetros cujos podadores interrompem cedo as tentativas pouco promissoras. Costuma ser usada como mecanismo de busca em ciclos personalizados de AutoML.
• Google Cloud AutoML: Um serviço gerenciado, agora parte do Gemini Enterprise Agent Platform e anteriormente chamado Vertex AI, que treina modelos de classificação de imagens, detecção de objetos e dados tabulares sem código.
• Amazon SageMaker Autopilot: O serviço de AutoML da AWS, cuja interface agora faz parte do SageMaker Canvas.

Para tabelas pequenas, os modelos fundamentais tabulares oferecem outra maneira de alcançar o mesmo objetivo: fazem previsões com as linhas de treinamento no contexto, sem uma busca específica para cada conjunto de dados.

Ajuste automatizado para YOLO#

Para modelos de visão computacional com uma arquitetura pré-treinada fixa, a busca automatizada geralmente se concentra na receita de treinamento. O model.tune() do Ultralytics YOLO evolui 26 hiperparâmetros de treinamento por padrão, incluindo taxa de aprendizado, momentum, pesos das perdas e intensidades de aumento de dados: em cada iteração, ele faz mutações e recombina as melhores configurações encontradas até então, treina brevemente e registra a aptidão. A execução salva best_hyperparameters.yaml com gráficos da aptidão ao longo das iterações. Passar use_ray=True direciona a busca para o Ray Tune.

from ultralytics import YOLO

# Carrega um modelo YOLO26 pré-treinado para ajustar
model = YOLO("yolo26n.pt")

# Evolui os hiperparâmetros: em cada iteração, faz mutações nas melhores configurações encontradas até então, treina e pontua a aptidão
model.tune(data="coco8.yaml", epochs=30, iterations=10, plots=False, save=False, val=False)

AutoML e termos relacionados#

• Ajuste de hiperparâmetros: Otimiza as configurações de um modelo escolhido. O AutoML geralmente inclui essa etapa em uma busca mais ampla que também escolhe o modelo.
• Busca de arquitetura neural (NAS): O ramo do AutoML que projeta arquiteturas de rede, como tipos, profundidades e conexões de camadas.
• Aprendizado por transferência: Parte de um modelo pré-treinado, em vez de começar do zero. Os sistemas de AutoML frequentemente pesquisam entre backbones pré-treinados, o que torna essas abordagens complementares.
• Operações de aprendizado de máquina (MLOps): Abrange todo o ciclo de vida de um modelo, incluindo implantação, monitoramento e novo treinamento, e muitas vezes executa o AutoML como uma etapa de um pipeline de treinamento.