O que é destilação de conjuntos de dados? Uma visão geral rápida

Treinar modelos pode parecer a parte que mais consome tempo no trabalho de um cientista de dados. Mas a maior parte do tempo, muitas vezes de 60% a 80%, é realmente gasta preparando dados: coletando-os, limpando-os e organizando-os para a modelagem. À medida que os conjuntos de dados aumentam, esse tempo de preparação também cresce, atrasando experimentos e tornando a iteração mais difícil.

Para lidar com isso, pesquisadores passaram anos procurando maneiras de otimizar o treinamento. Abordagens como dados sintéticos, compressão de conjuntos de dados e melhores métodos de otimização visam reduzir o custo e o atrito de trabalhar com conjuntos de dados em grande escala e acelerar os fluxos de trabalho de aprendizado de máquina.

Uma questão fundamental que isso levanta é se podemos reduzir drasticamente um conjunto de dados enquanto alcançamos o mesmo desempenho que treinar um modelo com os dados completos. A destilação de conjunto de dados é uma resposta promissora.

Ela cria uma versão compacta de um grande conjunto de dados de treinamento, preservando os padrões essenciais que o modelo precisa para aprender de forma eficaz. Ela oferece um caminho para um treinamento mais rápido, menores necessidades computacionais e experimentação mais eficiente. Podes pensar nisso como uma cola de estudo para o modelo, um pequeno conjunto de exemplos de dados sintéticos projetados para ensinar os mesmos padrões centrais que o conjunto de dados completo.

Neste artigo, exploraremos como a destilação de conjunto de dados funciona e como ela apoia o aprendizado de máquina e o aprendizado profundo escaláveis em aplicações do mundo real. Vamos começar!

Link to this sectionEntendendo a destilação de conjunto de dados#

A destilação de conjunto de dados é um processo em que um grande conjunto de dados de treinamento é condensado em um conjunto muito menor de dados que ainda ensina a um modelo quase a mesma informação que o conjunto de dados original. Muitos pesquisadores também se referem a esse processo como condensação de conjunto de dados porque o objetivo é capturar os padrões essenciais que aparecem em todo o conjunto de dados.

Um conjunto de dados destilado é diferente de dados sintéticos gerados aleatoriamente ou de simplesmente escolher um subconjunto menor de imagens reais. Não é um conjunto de dados falso aleatório ou uma cópia cortada do original.

Em vez disso, é deliberadamente otimizado para capturar os padrões mais importantes. Durante esse processo, cada pixel e característica é ajustado e otimizado para que uma rede neural treinada com os dados destilados aprenda quase como se tivesse sido treinada com todo o conjunto de dados.

Essa ideia apareceu pela primeira vez em um artigo de 2018 no arXiv de Tongzhou Wang, Jun-Yan Zhu, Antonio Torralba e Alexei A. Efros. Os primeiros testes usaram conjuntos de dados simples como MNIST e CIFAR-10, o que facilitou mostrar que algumas amostras destiladas poderiam substituir milhares de imagens reais.

Fig 1. Usando destilação de conjunto de dados para dados de imagem (Fonte)

Desde então, trabalhos subsequentes impulsionaram ainda mais a destilação de conjunto de dados, incluindo métodos publicados no ICML e ICLR que tornam a condensação mais eficiente e escalável.

Link to this sectionO significado da destilação de conjunto de dados#

A destilação de conjunto de dados melhora a eficiência do treinamento e torna os ciclos de desenvolvimento mais rápidos. Ao reduzir a quantidade de dados com a qual um modelo precisa aprender, ela diminui os requisitos computacionais.

Isso é especialmente útil para aprendizado contínuo, onde os modelos são atualizados ao longo do tempo, busca de arquitetura neural, onde muitos designs de modelo são testados, e treinamento na borda, onde os modelos rodam em dispositivos pequenos com memória e energia limitadas. No geral, esses benefícios tornam a destilação de conjunto de dados uma ótima opção para inicialização rápida, ajuste fino rápido e construção de protótipos iniciais em muitos fluxos de trabalho de aprendizado de máquina.

Link to this sectionUma visão geral de como a destilação de conjunto de dados funciona#

A destilação de conjunto de dados cria amostras de treinamento sintéticas ou geradas artificialmente. Essas amostras ajudam um modelo a aprender de uma maneira que se assemelha muito ao treinamento com dados reais. Funciona rastreando três fatores principais durante o treinamento normal.

O primeiro é a função de perda, que é a pontuação de erro do modelo mostrando o quão erradas estão suas previsões. O segundo são os parâmetros do modelo, que são os pesos internos da rede que são atualizados à medida que ela aprende.

O terceiro é a trajetória de treinamento, que descreve como o erro e os pesos mudam passo a passo ao longo do tempo. As amostras sintéticas são então otimizadas para que, quando um modelo treina com elas, seu erro caia e seus pesos sejam atualizados da mesma forma que seriam com o conjunto de dados completo.

Link to this sectionUm olhar passo a passo sobre a destilação de conjunto de dados#

Aqui está um olhar mais atento sobre como o processo de destilação de conjunto de dados funciona:

• Passo 1 - Inicializar pixels sintéticos: O processo começa com imagens sintéticas que atuam como entradas aprendíveis. No início, essas imagens têm pouca estrutura e parecem folhas em branco. Com o tempo, elas são otimizadas em exemplos informativos.
• Passo 2 - Otimizar com correspondência de gradiente e retropropagação: À medida que o modelo treina com essas imagens sintéticas, ele produz gradientes que indicam como cada pixel deve mudar para corresponder melhor ao comportamento de treinamento dos dados reais. A retropropagação é o método que a rede usa para aprender com os erros. Ela envia o erro de volta pelo modelo para descobrir quais pixels e pesos o causaram, e então os atualiza levemente. Usando esses gradientes, a retropropagação ajusta as imagens sintéticas passo a passo para que se tornem mais informativas para o treinamento.
• Passo 3 - Corresponder o comportamento através dos passos de treinamento: O método também corresponde às trajetórias de treinamento, o que significa as mudanças passo a passo pelas quais o modelo passa enquanto aprende. Isso garante que o conjunto de dados destilado guie o modelo através de um caminho de aprendizado semelhante ao que ele seguiria com o conjunto de dados completo.
• Passo 4 - Validação e generalização: Finalmente, o conjunto de dados destilado é avaliado em dados de validação reais para ver o quão bem o modelo treinado funciona em novos exemplos. Isso verifica se os dados sintéticos ensinam padrões amplos e funcionais, em vez de fazer com que o modelo memorize amostras específicas.

Fig 2. Um olhar sobre a destilação de conjunto de dados (Fonte)

Link to this sectionPrincipais metodologias de destilação de conjunto de dados#

Todos os métodos de destilação de conjunto de dados são construídos sobre a mesma ideia central, mesmo que usem algoritmos diferentes para chegar lá. A maioria das abordagens se enquadra em três categorias: correspondência de desempenho, correspondência de distribuição e correspondência de parâmetros.

A seguir, vejamos cada uma e como funciona.

Link to this sectionCorrespondência de desempenho#

A correspondência de desempenho na destilação de conjunto de dados concentra-se na criação de um conjunto de treinamento pequeno e otimizado que permite que um modelo alcance quase a mesma precisão que se tivesse sido treinado com o conjunto de dados original completo. Em vez de escolher um subconjunto aleatório, as amostras destiladas são otimizadas para que um modelo treinado com elas termine com previsões semelhantes, comportamento de perda semelhante durante o treinamento ou precisão final semelhante a um modelo treinado com o conjunto de dados original.

Meta-aprendizado é um método comum usado para melhorar esse processo. O conjunto de dados destilado é atualizado por meio de episódios de treinamento repetidos, de modo que se torna eficaz em muitas situações possíveis.

Durante esses episódios, o método simula como um modelo aluno aprende com as amostras destiladas atuais, verifica o quão bem esse aluno se comporta em dados reais e, em seguida, ajusta as amostras destiladas para serem melhores professores. Com o tempo, o conjunto destilado aprende a suportar um aprendizado rápido e uma forte generalização, mesmo quando o modelo aluno começa com diferentes pesos iniciais ou usa uma arquitetura diferente. Isso torna o conjunto de dados destilado mais confiável e não vinculado a uma única execução de treinamento.

Fig 3. O processo de meta-aprendizado (Fonte)

Link to this sectionTécnicas de correspondência de distribuição#

Enquanto isso, a correspondência de distribuição gera dados sintéticos que correspondem aos padrões estatísticos do conjunto de dados real. Em vez de focar apenas na precisão final de um modelo, essa abordagem concentra-se nas características internas que uma rede neural gera durante o aprendizado.

A seguir, vejamos as duas técnicas que impulsionam a correspondência de distribuição.

Link to this sectionCorrespondência de distribuição de camada única#

A correspondência de distribuição de camada única concentra-se em uma única camada de uma rede neural e compara as características que ela produz para dados reais versus dados sintéticos. Essas características, também chamadas de ativações, capturam o que o modelo aprendeu naquele ponto da rede.

Ao fazer com que os dados sintéticos produzam ativações semelhantes, o método incentiva o conjunto de dados destilado a refletir os mesmos padrões importantes que o conjunto de dados original. Na prática, as amostras sintéticas são repetidamente atualizadas até que as ativações na camada escolhida correspondam de perto às das imagens reais.

Essa abordagem é relativamente simples porque alinha apenas um nível de representação de cada vez. Pode funcionar especialmente bem em conjuntos de dados menores ou tarefas onde não é necessário combinar hierarquias de características profundas e de vários estágios. Ao alinhar claramente um espaço de características, a correspondência de camada única fornece um sinal estável e significativo para o aprendizado com o conjunto de dados destilado.

Link to this sectionCorrespondência de distribuição multicamadas#

A correspondência de distribuição multicamadas baseia-se na ideia de comparar dados reais e sintéticos fazendo-o em várias camadas de uma rede neural, em vez de apenas uma. Camadas diferentes capturam tipos diferentes de informações, desde bordas e texturas simples nas camadas iniciais até formas e padrões mais complexos nas camadas mais profundas.

Ao combinar características através dessas camadas, o conjunto de dados destilado é levado a refletir o que o modelo aprende em vários níveis. Como alinha características por toda a rede, essa abordagem ajuda os dados sintéticos a preservar sinais mais ricos nos quais o modelo se baseia para distinguir classes.

Isso é especialmente útil em visão computacional, significando tarefas onde modelos aprendem a entender imagens e vídeos, porque padrões úteis estão espalhados por muitas camadas. Quando as distribuições de características correspondem bem em várias profundidades, o conjunto de dados destilado atua como um substituto mais forte e confiável para os dados de treinamento originais.

Link to this sectionMétodos de correspondência de parâmetros#

Outra categoria importante na destilação de conjunto de dados é a correspondência de parâmetros. Em vez de corresponder à precisão ou às distribuições de características, ela corresponde a como os pesos de um modelo mudam durante o treinamento. Ao fazer com que o treinamento no conjunto de dados destilado produza atualizações de parâmetros semelhantes ao treinamento com dados reais, o modelo segue um caminho de aprendizado quase idêntico.

Vamos percorrer os dois principais métodos de correspondência de parâmetros a seguir.

Link to this sectionCorrespondência de passo único#

A correspondência de passo único compara o que acontece com os pesos de um modelo após apenas um passo de treinamento em dados reais. O conjunto de dados destilado é então ajustado para que um modelo treinado com ele por um passo produza uma atualização de peso muito semelhante. Como foca apenas nessa única atualização, o método é direto e rápido de executar.

A desvantagem é que um passo não reflete todo o processo de aprendizado, especialmente para tarefas mais difíceis onde o modelo precisa de muitas atualizações para construir características mais ricas. Por causa disso, a correspondência de passo único tende a funcionar melhor em problemas mais simples ou conjuntos de dados menores, onde padrões úteis podem ser captados rapidamente.

Link to this sectionCorrespondência de parâmetros de várias etapas#

Em contraste, a correspondência de parâmetros de várias etapas analisa como os pesos de um modelo mudam ao longo de várias etapas de treinamento, não apenas uma. Essa sequência de atualizações é a trajetória de treinamento do modelo.

O conjunto de dados destilado é construído para que, quando um modelo treina com as amostras sintéticas, sua trajetória siga de perto a que ele percorreria com dados reais. Ao combinar um trecho mais longo de aprendizado, o conjunto destilado captura mais da estrutura no processo de treinamento original.

Como reflete como o aprendizado se desenrola ao longo do tempo, a correspondência de várias etapas geralmente funciona melhor para conjuntos de dados maiores ou mais complexos, onde os modelos precisam de muitas atualizações para captar padrões úteis. Requer mais computação, já que tem que rastrear várias etapas, mas muitas vezes produz conjuntos de dados destilados que generalizam melhor e oferecem melhor desempenho do que a correspondência de passo único.

Link to this sectionComo a geração e otimização de conjuntos de dados sintéticos funcionam#

Com uma melhor compreensão das principais abordagens de destilação, agora podemos ver como os dados sintéticos são feitos. Na destilação de conjunto de dados, as amostras sintéticas são otimizadas para capturar o sinal de aprendizado mais importante, de modo que um pequeno conjunto possa substituir um conjunto de dados muito maior.

A seguir, veremos como esses dados destilados são gerados e avaliados.

Link to this sectionCriando e avaliando imagens destiladas#

Durante a destilação de conjunto de dados, os pixels sintéticos são atualizados ao longo de muitas etapas de treinamento. A rede neural aprende com as imagens sintéticas atuais e envia feedback baseado em gradiente, que mostra como cada pixel deve mudar para corresponder melhor aos padrões no conjunto de dados real.

Isso funciona porque o processo é diferenciável (o que significa que cada passo é suave e tem gradientes bem definidos, portanto, pequenas mudanças de pixel levam a mudanças previsíveis na perda), permitindo que o modelo ajuste suavemente os dados sintéticos durante a descida do gradiente.

À medida que a otimização continua, as imagens sintéticas começam a formar uma estrutura significativa, incluindo formas e texturas que o modelo reconhece. Essas imagens sintéticas refinadas são frequentemente usadas para tarefas de classificação de imagem porque capturam as pistas visuais principais que um classificador precisa para aprender.

Os conjuntos de dados destilados são avaliados treinando modelos com eles e comparando os resultados com modelos treinados com dados reais. Os pesquisadores medem a precisão da validação e verificam se o conjunto sintético preserva as características discriminativas (os padrões ou sinais nos quais o modelo se baseia para distinguir uma classe de outra) necessárias para separar as classes. Eles também testam a estabilidade e a generalização entre diferentes execuções ou configurações de modelo para garantir que os dados destilados não levem ao sobreajuste.

Link to this sectionAplicações do mundo real da destilação de dados#

A seguir, analisaremos mais de perto exemplos que mostram como os conjuntos de dados destilados aceleram o treinamento e reduzem os custos de computação, mantendo um forte desempenho, mesmo quando os dados são limitados ou altamente especializados.

Link to this sectionUsando destilação de conjunto de dados para aplicações de visão computacional#

Quando se trata de visão computacional, o objetivo é treinar modelos para entender dados visuais como imagens e vídeos. Esses modelos aprendem padrões como bordas, texturas, formas e objetos, e então usam esses padrões para tarefas como classificação de imagem, detecção de objetos ou segmentação. Como problemas de visão geralmente têm enorme variação em iluminação, planos de fundo e pontos de vista, os sistemas de visão computacional geralmente precisam de grandes conjuntos de dados para generalizar bem, o que torna o treinamento caro e lento.

Fig 4. Um exemplo de destilação de conjunto de dados (Fonte)

Quando se trata de casos de uso de classificação de imagem, como exames médicos, monitoramento da vida selvagem ou detecção de defeitos em fábrica, os modelos geralmente enfrentam um difícil compromisso entre precisão e custo de treinamento. Essas tarefas normalmente envolvem conjuntos de dados enormes.

A destilação de conjunto de dados pode comprimir o conjunto de treinamento original em um pequeno número de imagens sintéticas que ainda contêm as pistas visuais mais importantes para o classificador. Em grandes benchmarks como o ImageNet, conjuntos destilados usando apenas cerca de 4,2% do original das imagens mostraram manter uma forte precisão de classificação. Isso significa que um pequeno proxy sintético pode substituir milhões de amostras reais com muito menos computação.

Link to this sectionBusca de arquitetura neural#

A busca de arquitetura neural, ou NAS, é uma técnica que explora automaticamente muitos designs de rede neural possíveis para encontrar aquele que funciona melhor para uma tarefa. Como o NAS precisa treinar e avaliar um grande número de modelos candidatos, executá-lo em conjuntos de dados completos pode ser lento e muito intensivo computacionalmente.

A destilação de conjunto de dados ajuda criando um pequeno conjunto de treinamento sintético que ainda contém o principal sinal de aprendizado dos dados originais, para que cada arquitetura candidata possa ser testada muito mais rapidamente. Isso permite que o NAS compare designs de forma eficiente, mantendo as classificações de boas versus más arquiteturas razoavelmente confiáveis, reduzindo o custo de busca sem sacrificar muita qualidade final do modelo.

Link to this sectionAprendizado contínuo e implantação na borda#

Sistemas de aprendizado contínuo, ou seja, modelos que continuam sendo atualizados à medida que novos dados chegam em vez de serem treinados uma vez, precisam de atualizações que sejam rápidas e eficientes em termos de memória. Dispositivos de borda como câmeras, telefones e sensores enfrentam limites semelhantes porque têm orçamentos apertados de computação e armazenamento.

A destilação de conjunto de dados ajuda em ambos os casos, comprimindo um grande conjunto de treinamento em um pequeno conjunto sintético, para que os modelos possam se adaptar ou retreinar usando um pequeno conjunto de repetição em vez do conjunto de dados completo. Por exemplo, o trabalho de meta-aprendizado baseado em kernel mostrou que apenas 10 amostras destiladas podem alcançar mais de 64% de precisão no CIFAR-10, um benchmark padrão de classificação de imagem. Como o conjunto de repetição é tão compacto, as atualizações tornam-se muito mais rápidas e práticas, especialmente quando os modelos precisam ser atualizados frequentemente.

A destilação de conjunto de dados também pode funcionar junto com a destilação de conhecimento para grandes modelos de linguagem. Um pequeno conjunto de dados destilado pode manter os sinais de tarefa mais importantes do modelo professor, de modo que um modelo aluno comprimido possa ser treinado ou atualizado de forma mais eficiente sem perder muito desempenho. Como esses conjuntos de dados são pequenos, eles são especialmente úteis para uso na borda ou no dispositivo, onde o armazenamento e a computação são limitados, mas você ainda quer que o modelo permaneça preciso após as atualizações.

Link to this sectionPrós e contras da destilação de dados#

Aqui estão alguns benefícios de usar a destilação de conjunto de dados:

• Ótimo para experimentos rápidos. Podes testar novas arquiteturas, perdas ou hiperparâmetros sem retreinar em um conjunto de dados enorme toda vez.
• Vantagem potencial de privacidade. Compartilhar amostras sintéticas destiladas pode ser mais seguro do que compartilhar pontos de dados reais do usuário, uma vez que exemplos brutos não são diretamente expostos.
• Muitas vezes mais forte do que a simples escolha de subconjunto. Em vez de apenas selecionar exemplos, a destilação os otimiza ativamente para serem o máximo possível informativos.

Embora a destilação de conjunto de dados ofereça várias vantagens, aqui estão algumas limitações a ter em mente:

• Sobreajuste: Dados destilados geralmente funcionam melhor para a arquitetura usada durante a destilação e podem transferir-se mal para modelos muito diferentes.
• Sensível aos hiperparâmetros. Os resultados podem depender muito de fatores como taxa de aprendizado, inicialização ou o número de etapas de destilação.
• Mais difícil de escalar para a complexidade do mundo real. Métodos que funcionam bem em benchmarks podem perder precisão em conjuntos de dados grandes, confusos ou de alta resolução.

Link to this sectionPrincipais pontos#

A destilação de conjunto de dados torna possível que um pequeno conjunto de amostras sintéticas ensine a um modelo quase tão eficazmente quanto um conjunto de dados completo. Isso torna o aprendizado de máquina mais rápido, mais eficiente e mais fácil de escalar. À medida que os modelos crescem e exigem mais dados, os conjuntos de dados destilados oferecem uma maneira prática de reduzir os custos de computação sem sacrificar a precisão.

Junta-te à nossa comunidade e confere o nosso repositório no GitHub para descobrir mais sobre IA. Se estás à procura de construir o teu próprio projeto de IA de visão, confere as nossas opções de licenciamento. Explora mais sobre aplicações como IA na saúde e IA de visão no varejo visitando as nossas páginas de soluções.