O que são modelos de difusão? Um guia rápido e completo

Abirami Vina

5 min. de leitura

26 de agosto de 2024

Junte-se a nós para explorar a forma como os modelos de difusão podem ser utilizados para criar conteúdos realistas e redefinir áreas como o design, a música e o cinema com várias aplicações.

A utilização de ferramentas de IA generativa, como a Midjourney e a Sora, para criar conteúdos está a tornar-se cada vez mais comum, e há um interesse crescente em analisar o funcionamento destas ferramentas. De facto, um estudo recente mostra que 94% dos indivíduos estão preparados para aprender novas competências para trabalhar com IA generativa. Compreender o funcionamento dos modelos de IA generativa pode ajudá-lo a utilizar estas ferramentas de forma mais eficaz e a tirar o máximo partido delas.

No centro de ferramentas como Midjourney e Sora estão modelos de difusão avançados - modelos de IA generativos que podem criar imagens, vídeos, texto e áudio para várias aplicações. Por exemplo, os modelos de difusão são uma óptima opção para produzir pequenos vídeos de marketing para plataformas de redes sociais como o TikTok e o YouTube Shorts. Neste artigo, vamos explorar como funcionam os modelos de difusão e onde podem ser utilizados. Vamos começar!

A inspiração subjacente aos modelos de difusão avançados

Em física, a difusão é o processo pelo qual as moléculas se espalham de áreas de maior concentração para áreas de menor concentração. O conceito de difusão está intimamente relacionado com o movimento browniano, em que as partículas se movem aleatoriamente quando colidem com moléculas num fluido e se espalham gradualmente ao longo do tempo.

Estes conceitos inspiraram o desenvolvimento de modelos de difusão na IA generativa. Os modelos de difusão funcionam adicionando gradualmente ruído aos dados e aprendendo depois a inverter esse processo para gerar dados novos e de alta qualidade, como texto, imagens ou som. É semelhante à ideia de difusão inversa na física. Teoricamente, a difusão pode ser rastreada para trás para devolver as partículas ao seu estado original. Da mesma forma, os modelos de difusão aprendem a inverter o ruído adicionado para criar novos dados realistas a partir de entradas ruidosas.

__wf_reserved_inherit
Fig. 1. Um exemplo de utilização de modelos de difusão para a criação de imagens.

Ver o que está por detrás dos modelos de difusão

Em geral, a arquitetura de um modelo de difusão envolve duas etapas principais. Primeiro, o modelo aprende a adicionar gradualmente ruído ao conjunto de dados. Em seguida, é treinado para reverter esse processo e trazer os dados de volta ao seu estado original. Vejamos mais detalhadamente como isto funciona.

Pré-processamento de dados

Antes de nos debruçarmos sobre o núcleo de um modelo de difusão, é importante lembrar que todos os dados em que o modelo é treinado devem ser pré-processados. Por exemplo, se estiver a treinar um modelo de difusão para gerar imagens, o conjunto de dados de imagens de treino tem de ser limpo primeiro. O pré-processamento de dados de imagem pode envolver a remoção de quaisquer valores anómalos que possam afetar os resultados, a normalização dos valores de pixel para que todas as imagens estejam à mesma escala e a utilização de aumento de dados para introduzir mais variedade. Os passos de pré-processamento de dados ajudam a garantir a qualidade dos dados de treino, e isto aplica-se não apenas aos modelos de difusão, mas a qualquer modelo de IA

__wf_reserved_inherit
Fig. 2. Exemplos de aumento de dados de imagem.

Processo de difusão progressiva

Após o pré-processamento dos dados, o passo seguinte é o processo de difusão direta. Vamos concentrar-nos no treino de um modelo de difusão para gerar imagens. O processo começa com a amostragem de uma distribuição simples, como uma distribuição gaussiana. Por outras palavras, é selecionado um ruído aleatório. Como mostra a imagem abaixo, o modelo transforma gradualmente a imagem numa série de passos. A imagem começa clara e torna-se cada vez mais ruidosa à medida que avança em cada passo, acabando por se transformar num ruído quase total no final.

__wf_reserved_inherit
Fig. 3. Processo de difusão para a frente.

Cada etapa baseia-se na anterior, e o ruído é adicionado de forma controlada e incremental utilizando uma cadeia de Markov. Uma cadeia de Markov é um modelo matemático em que a probabilidade do estado seguinte depende apenas do estado atual. É utilizada para prever resultados futuros com base nas condições actuais. Como cada passo acrescenta complexidade aos dados, podemos captar os padrões e detalhes mais intrincados da distribuição de dados da imagem original. A adição de ruído Gaussiano também gera amostras diversas e realistas à medida que a difusão se desenrola. 

Processo de difusão inversa

O processo de difusão inversa começa quando o processo de difusão direta transforma uma amostra num estado complexo e ruidoso. Este processo mapeia gradualmente a amostra ruidosa de volta ao seu estado original, utilizando uma série de transformações inversas. Os passos que invertem o processo de adição de ruído são guiados por uma cadeia de Markov inversa.

__wf_reserved_inherit
Fig. 4. Processo de difusão inversa.

Durante o processo inverso, os modelos de difusão aprendem a gerar novos dados, começando com uma amostra de ruído aleatório e refinando-a gradualmente até obter um resultado claro e detalhado. Os dados gerados acabam por se assemelhar muito ao conjunto de dados original. Esta capacidade é o que torna os modelos de difusão óptimos para tarefas como a síntese de imagens, o preenchimento de dados e a redução de ruído. Na próxima secção, exploraremos mais aplicações dos modelos de difusão.

As aplicações dos modelos de difusão

O processo de difusão passo a passo permite que o modelo de difusão gere eficientemente distribuições de dados complexas sem ser sobrecarregado pela elevada dimensionalidade dos dados. Vejamos algumas aplicações em que os modelos de difusão se destacam.

Design gráfico

Os modelos de difusão podem ser utilizados para gerar rapidamente conteúdos visuais gráficos. Os designers e artistas humanos podem fornecer esboços de entrada, esquemas ou mesmo algumas ideias simples e aproximadas do que pretendem, e os modelos podem dar vida a essas ideias. Isto pode acelerar todo o processo de design, oferecer uma vasta gama de novas possibilidades desde o conceito inicial até ao produto final e poupar muito tempo valioso aos designers humanos.

__wf_reserved_inherit
Fig. 5. Desenhos gráficos criados por modelos de difusão.

Música e design de som

Os modelos de difusão também podem ser adaptados para gerar paisagens sonoras ou notas musicais muito únicas. Oferecem novas formas de os músicos e artistas visualizarem e criarem experiências auditivas. Eis alguns dos casos de utilização de modelos de difusão no domínio da criação de som e música

  • Transferência de voz: Os modelos de difusão podem ser utilizados para transformar um som noutro, tal como a conversão de uma amostra de kick drum num som de snare para combinações de som únicas.
  • Variabilidade e humanização do som: A difusão de áudio pode trazer pequenas variações nos sons para adicionar um elemento humano ao áudio digital, simulando performances de instrumentos ao vivo.
  • Ajustes de design de som: Estes modelos podem ser utilizados para alterar subtilmente um som (tal como melhorar uma amostra de batida de porta) para modificar as suas caraterísticas a um nível mais profundo do que a equalização ou filtragem tradicionais.
  • Geração de melodias: Também podem ajudar a gerar novas melodias e inspirar artistas de uma forma semelhante à navegação em pacotes de amostras.
__wf_reserved_inherit
Fig. 6. Uma visualização da difusão de áudio.

Cinema e animação

Outro caso de utilização interessante dos modelos de difusão é a criação de filmes e clips de animação. Podem ser utilizados para gerar personagens, fundos realistas e até elementos dinâmicos nas cenas. A utilização de modelos de difusão pode ser uma grande vantagem para as empresas de produção. Simplifica o fluxo de trabalho geral e abre caminho a mais experimentação e criatividade na narrativa visual. Alguns dos clips criados com estes modelos são comparáveis a clips de animação ou filmes reais. É mesmo possível utilizar estes modelos para criar filmes inteiros.

__wf_reserved_inherit
Fig. 7. Uma cena da curta-metragem Seasons criada com modelos de difusão.

Modelos de difusão populares

Agora que aprendemos algumas das aplicações dos modelos de difusão, vejamos alguns modelos de difusão populares que pode tentar utilizar.

  • Difusão estável: Criado pela Stability AI, o Stable Diffusion é um modelo eficiente conhecido por converter avisos de texto em imagens realistas. Tem uma forte reputação na geração de imagens de alta qualidade. Também pode ser modificado para filmes e animações.
  • DALL-E 3: DALL-E 3 é a versão mais recente do modelo de geração de imagens da OpenAI. Está integrado no ChatGPT e oferece muitas melhorias na qualidade da geração de imagens em relação à versão anterior, DALL-E 2.
  • Sora: Sora é o modelo de texto para vídeo da OpenAI que pode gerar vídeos de 1080p altamente realistas com até um minuto de duração. Alguns dos clipes de vídeo feitos com o Sora podem ser facilmente confundidos com filmagens reais.
  • Imagem: Desenvolvido pela Google, o Imagen é um modelo de difusão de texto para imagem reconhecido pelo seu fotorrealismo e compreensão linguística avançada. 

Desafios e limitações relacionados com os modelos de difusão

Embora os modelos de difusão ofereçam vantagens em muitos sectores, devemos também ter em conta alguns dos desafios que lhes estão associados. Um deles é o facto de o processo de formação exigir muitos recursos. Embora os avanços na aceleração de hardware possam ajudar, podem ser dispendiosos. Outra questão é a capacidade limitada dos modelos de difusão para generalizar a dados não vistos. A sua adaptação a domínios específicos pode exigir muitos ajustes finos ou reciclagem. 

A integração destes modelos em tarefas do mundo real tem o seu próprio conjunto de desafios. É fundamental que o que a IA gera corresponda efetivamente ao que os humanos pretendem. Há também preocupações éticas, como o risco de estes modelos captarem e reflectirem preconceitos dos dados com que são treinados. Além disso, gerir as expectativas dos utilizadores e aperfeiçoar constantemente os modelos com base no feedback pode tornar-se um esforço contínuo para garantir que estas ferramentas são tão eficazes e fiáveis quanto possível.

O futuro dos modelos de difusão

Os modelos de difusão são um conceito fascinante na IA generativa que ajuda a criar imagens, vídeos e sons de alta qualidade em muitos domínios diferentes. Embora possam apresentar alguns desafios de implementação, como exigências computacionais e preocupações éticas, a comunidade de IA está constantemente a trabalhar para melhorar a sua eficiência e impacto. Os modelos de difusão estão prontos para transformar sectores como o cinema, a produção musical e a criação de conteúdos digitais à medida que continuam a evoluir. 

Vamos aprender e explorar juntos! Consulte o nosso repositório GitHub para ver as nossas contribuições para a IA. Descubra como estamos a redefinir sectores como o fabrico e os cuidados de saúde com tecnologia de IA de ponta.

Vamos construir juntos o futuro
da IA!

Comece a sua viagem com o futuro da aprendizagem automática

Comece gratuitamente
Ligação copiada para a área de transferência