Transferência de estilo neural

A Transferência Neural de Estilo (NST) é uma técnica criativa e poderosa de visão computacional (CV) que utiliza algoritmos de aprendizagem profunda para fundir duas imagens: uma imagem de "conteúdo" e uma imagem de referência de "estilo". O resultado é uma nova imagem que retém os principais objectos e a estrutura da imagem de conteúdo, mas é apresentada no estilo artístico da imagem de estilo. Esta técnica aproveita as capacidades das Redes Neuronais Convolucionais (CNN) para separar e recombinar os elementos de conteúdo e estilo das imagens, "pintando" efetivamente uma imagem com a estética de outra.

Como funciona a transferência de estilo neural

A magia por detrás do Neural Style Transfer reside na forma como as CNN processam a informação visual. Uma rede pré-treinada, como a VGG-19, que foi treinada num enorme conjunto de dados ImageNet, aprendeu a reconhecer uma rica hierarquia de caraterísticas. As camadas inferiores da rede detectam caraterísticas simples, como arestas e cores, enquanto as camadas superiores identificam estruturas mais complexas, como formas e objectos.

A NST explora este processo hierárquico de extração de caraterísticas. A ideia central, introduzida pela primeira vez no artigo "A Neural Algorithm of Artistic Style", envolve dois componentes-chave:

1. Representação do conteúdo: Para captar o conteúdo de uma imagem, são utilizadas as activações das camadas superiores da CNN. Estas camadas compreendem a disposição e os objectos de alto nível dentro da imagem, fornecendo um plano de "conteúdo".
2. Representação do estilo: Para captar o estilo, são analisadas as correlações entre as respostas das caraterísticas em várias camadas. Isto capta texturas, padrões de cor e traços artísticos sem estar ligado à disposição específica dos objectos.

O processo optimiza iterativamente uma nova imagem, inicialmente aleatória, para corresponder simultaneamente à representação de conteúdo da imagem de conteúdo e à representação de estilo da imagem de estilo. Isto é conseguido através da minimização de uma função de perda composta que orienta a otimização. A implementação de tais modelos é frequentemente efectuada utilizando estruturas populares como PyTorch e TensorFlow.

Aplicações e casos de utilização

Embora a NST seja amplamente conhecida pela criação de imagens artísticas, as suas aplicações estendem-se a vários domínios comerciais e criativos.

• Geração de conteúdos criativos: A aplicação mais famosa é a de aplicações móveis como a Prisma, que permite aos utilizadores transformar as suas fotografias em obras de arte semelhantes a pinturas famosas. Também é utilizado por artistas e designers para criar rapidamente protótipos de estilos visuais.
• Entretenimento e multimédia: No cinema e nos videojogos, a NST pode ser utilizada para aplicar um estilo visual consistente em diferentes cenas ou para criar efeitos visuais únicos. Permite estilizar o vídeo fotograma a fotograma, um processo que pode ser explorado com mais pormenor em tutoriais como este guia PyTorch para a Transferência de estilo neural.
• Aumento de dados: Na aprendizagem automática (ML), a NST pode ser utilizada como uma forma de aumento de dados. Ao aplicar vários estilos a um conjunto de dados de treino, os programadores podem criar um modelo mais robusto que é menos sensível a variações estilísticas, melhorando a sua generalização em dados não vistos. Isto pode ser particularmente útil ao treinar modelos para tarefas como a deteção de objectos ou a segmentação de imagens.

Distinção de outras técnicas generativas

É importante diferenciar a Transferência de Estilo Neural de outros métodos populares de IA generativa.

• Redes Adversariais Generativas (GANs): As GAN geram novas imagens a partir do zero, aprendendo a distribuição de dados subjacente de um conjunto de treino. Em contrapartida, as NST não criam novos conteúdos, mas recompõem conteúdos e estilos existentes a partir de imagens de entrada específicas. As GAN são capazes de criar rostos fotorrealistas de pessoas inexistentes, uma tarefa que ultrapassa o âmbito das NST tradicionais.
• Modelos de texto para imagem: Modelos como o Stable Diffusion e o DALL-E geram imagens com base numa mensagem de texto. A NST, por outro lado, requer duas imagens (conteúdo e estilo) como entrada. A intersecção moderna destes campos pode ser vista em modelos multimodais que podem compreender tanto texto como imagens.
• Tradução de imagem para imagem: Esta é uma categoria mais vasta, muitas vezes alimentada por GANs (como Pix2Pix ou CycleGAN), que aprende um mapeamento de uma imagem de entrada para uma imagem de saída (por exemplo, transformar uma fotografia de satélite num mapa). Embora a NST seja uma forma de tradução de imagem para imagem, centra-se especificamente na separação e transferência de conteúdo e estilo, enquanto outros métodos podem aprender transformações mais complexas.

A compreensão dos princípios de extração de caraterísticas em modelos de visão modernos, como o Ultralytics YOLO11, pode fornecer informações sobre a forma como estas técnicas distinguem entre o que é um objeto (conteúdo) e como aparece (estilo). Plataformas como o Ultralytics HUB simplificam o processo de formação de modelos personalizados que podem ser utilizados para uma variedade de tarefas de visão.