Pesquisa de Arquitetura Neural (NAS)

A pesquisa de arquitetura neural (NAS) é uma técnica que automatiza a conceção de redes neurais artificiais (NN). Tradicionalmente, a conceção de uma arquitetura de modelo de elevado desempenho exigia um conhecimento especializado significativo e um extenso processo de tentativa e erro. A NAS automatiza este processo complexo, utilizando algoritmos para explorar uma vasta gama de possíveis concepções de rede e identificar a arquitetura mais adequada para uma determinada tarefa e conjunto de dados. Esta automatização acelera o desenvolvimento de modelos de aprendizagem profunda eficientes e poderosos, tornando a IA avançada mais acessível.

Como funciona a pesquisa de arquitetura neural

O processo NAS pode ser dividido em três componentes principais:

1. Espaço de pesquisa: Define o conjunto de todas as arquitecturas possíveis que podem ser concebidas. Um espaço de pesquisa pode ser simples, especificando escolhas para tipos de camadas (por exemplo, convolução, agrupamento) e as suas ligações, ou pode ser altamente complexo, permitindo novos motivos arquitectónicos. Um espaço de pesquisa bem definido é crucial para equilibrar a flexibilidade e a viabilidade computacional.
2. Estratégia de pesquisa: Este é o algoritmo utilizado para explorar o espaço de pesquisa. Os primeiros métodos utilizavam a pesquisa aleatória, mas desde então surgiram estratégias mais sofisticadas. As abordagens mais comuns incluem a aprendizagem por reforço, em que um agente aprende a selecionar arquitecturas óptimas, e algoritmos evolutivos, que imitam a seleção natural para "evoluir" melhores arquitecturas ao longo das gerações. Os métodos baseados em gradientes, como os da Pesquisa de Arquitetura Diferenciável (DARTS), também se tornaram populares pela sua eficiência.
3. Estratégia de estimativa do desempenho: Esta componente avalia a qualidade de cada arquitetura proposta. O método mais simples é treinar o modelo completamente num conjunto de dados e medir o seu desempenho, mas isto é extremamente moroso. Para acelerar o processo, os investigadores desenvolveram técnicas mais eficientes, como a utilização de conjuntos de dados mais pequenos, a formação durante menos épocas ou a utilização da partilha de pesos para evitar a formação de cada arquitetura a partir do zero.

Aplicações e exemplos

A NAS provou ser altamente eficaz na criação de modelos de ponta para várias tarefas, ultrapassando frequentemente as arquitecturas concebidas por humanos em termos de desempenho e eficiência.

• Visão computacional: O NAS é amplamente utilizado para conceber arquitecturas eficientes para a deteção de objectos e classificação de imagens. Por exemplo, a família de modelos EfficientNet foi desenvolvida utilizando o NAS para equilibrar sistematicamente a profundidade, largura e resolução da rede. Do mesmo modo, modelos como o DAMO-YOLO utilizam uma estrutura gerada pelo NAS para alcançar um forte equilíbrio entre velocidade e precisão na deteção de objectos.
• Análise de imagens médicas: Nos cuidados de saúde, o NAS pode criar modelos especializados para tarefas como a deteção de tumores em exames ou a segmentação de estruturas celulares. O NAS pode otimizar arquitecturas para funcionar eficientemente no hardware especializado encontrado em dispositivos médicos, conduzindo a diagnósticos mais rápidos e mais precisos. Isto tem um potencial significativo para melhorar a IA nos cuidados de saúde.

NAS e conceitos relacionados

O NAS é um componente específico dentro do campo mais alargado da Aprendizagem Automática de Máquinas (AutoML). Enquanto o NAS se concentra apenas em encontrar a melhor arquitetura de rede neural, o AutoML visa automatizar todo o pipeline de ML, incluindo passos como o pré-processamento de dados, a engenharia de caraterísticas, a seleção de modelos e a afinação de hiperparâmetros.

É crucial distinguir o NAS do ajuste de hiperparâmetros: o ajuste de hiperparâmetros optimiza as definições de configuração (como a taxa de aprendizagem ou o tamanho do lote) para uma determinada arquitetura de modelo fixa, enquanto o NAS procura a própria arquitetura. Ambas as técnicas são frequentemente utilizadas em conjunto para obter um desempenho ótimo do modelo. Ferramentas como o Optuna ou o Ray Tune, que se integra nos modelos Ultralytics YOLO, são populares para a otimização de hiperparâmetros. Entender essas distinções ajuda a aplicar as técnicas de automação corretas para criar sistemas de IA eficientes. Para saber mais sobre o ajuste de hiperparâmetros, consulte a documentação do Ultralytics.