Diffusion Models

Os modelos de difusão são uma classe de algoritmos de IA generativa que aprendem a criar novas amostras de dados invertendo um processo gradual de adição de ruído. Ao contrário dos modelos discriminativos tradicionais utilizados em tarefas como deteção de objetos ou classificação, que preveem rótulos a partir de dados, os modelos de difusão concentram-se na geração de conteúdo de alta fidelidade — sobretudo imagens, áudio e vídeo — que imita de perto as propriedades estatísticas dos dados do mundo real. Tornaram-se rapidamente a solução de estado da arte para a síntese de imagens de alta resolução, ultrapassando líderes anteriores como as Redes Adversariais Generativas (GANs), graças à sua estabilidade durante o treino e à capacidade de gerar resultados diversificados.

Como Funcionam os Modelos de Difusão#

O mecanismo central de um modelo de difusão baseia-se na termodinâmica de não equilíbrio. O processo de treino envolve duas fases distintas: o processo direto (difusão) e o processo inverso (remoção de ruído).

• Processo Direto: Esta fase destrói sistematicamente a estrutura de uma imagem de treino, adicionando pequenas quantidades de ruído gaussiano ao longo de uma série de passos temporais. À medida que o processo continua, os dados complexos (como uma fotografia de um gato) transformam-se gradualmente em ruído aleatório puro e não estruturado.
• Processo Inverso: O objetivo da rede neuronal é aprender a inverter esta corrupção. Partindo de ruído aleatório, o modelo prevê o ruído que foi adicionado em cada passo e subtrai-o. Ao remover iterativamente o ruído, o modelo "remove o ruído" do sinal aleatório até surgir uma imagem coerente e de alta qualidade.

Este aperfeiçoamento iterativo permite um controlo excecional sobre os detalhes finos e as texturas, uma vantagem significativa em relação aos métodos de geração de passo único.

Aplicações no mundo real#

Os modelos de difusão passaram da investigação académica para ferramentas práticas, adequadas para ambientes de produção, em vários setores.

• Geração de Dados Sintéticos: Uma das aplicações mais valiosas para engenheiros de visão computacional é a criação de dados sintéticos para aumentar os conjuntos de dados de treino. Se um conjunto de dados não tiver diversidade — por exemplo, se não incluir imagens de carros em condições de neve — um modelo de difusão pode gerar variações realistas. Isto ajuda a melhorar a robustez de modelos de visão como o YOLO26 quando implementados em ambientes imprevisíveis.
• Preenchimento e Edição de Imagens: Os modelos de difusão alimentam ferramentas avançadas de edição que permitem aos utilizadores modificar regiões específicas de uma imagem. Esta técnica, conhecida como preenchimento, pode remover objetos indesejados ou preencher partes em falta de uma fotografia com base no contexto envolvente. Arquitetos e designers utilizam-na para a criação rápida de protótipos e para visualizar alterações a produtos ou ambientes sem precisarem de renderização 3D manual.

Distinção entre Termos Fundamentais#

É útil distinguir os modelos de difusão de outras arquiteturas generativas:

• Modelos de Difusão vs. GANs: Embora as GANs utilizem duas redes concorrentes (um gerador e um discriminador) e sejam conhecidas pela amostragem rápida, sofrem frequentemente de "colapso de modos", em que o modelo produz uma variedade limitada de resultados. Os modelos de difusão são geralmente mais estáveis durante o treino e abrangem a distribuição dos dados de forma mais abrangente, embora possam ser mais lentos durante a inferência.
• Modelos de Difusão vs. VAEs: Os Autoencoders Variacionais (VAEs) comprimem os dados num espaço latente e depois reconstroem-nos. Embora os VAEs sejam rápidos, as imagens que geram podem por vezes parecer desfocadas em comparação com os detalhes nítidos produzidos pelos processos de difusão.

Implementação prática#

Embora treinar um modelo de difusão de raiz exija recursos computacionais significativos, os engenheiros podem tirar partido de modelos pré-treinados ou integrá-los em fluxos de trabalho juntamente com detetores eficientes. Por exemplo, podes utilizar um modelo de difusão para gerar variações de fundo para um conjunto de dados e depois utilizar a Ultralytics Platform para anotar e treinar um modelo de deteção com esses dados melhorados.

Segue-se um exemplo conceptual que utiliza torch para simular um passo simples de difusão direta (adição de ruído), que constitui a base do treino destes sistemas.

import torch


def add_noise(image_tensor, noise_level=0.1):
    """Simulates a single step of the forward diffusion process by adding Gaussian noise."""
    # Generate Gaussian noise with the same shape as the input image
    noise = torch.randn_like(image_tensor) * noise_level

    # Add noise to the original image
    noisy_image = image_tensor + noise

    # Clamp values to ensure they remain valid image data (e.g., 0.0 to 1.0)
    return torch.clamp(noisy_image, 0.0, 1.0)


# Create a dummy image tensor (3 channels, 64x64 pixels)
dummy_image = torch.rand(1, 3, 64, 64)
noisy_result = add_noise(dummy_image)

print(f"Original shape: {dummy_image.shape}, Noisy shape: {noisy_result.shape}")

Direções futuras#

O campo está a evoluir rapidamente em direção aos modelos de difusão latente (LDMs), que operam num espaço latente comprimido em vez de no espaço de píxeis, para reduzir os custos computacionais. Esta eficiência torna viável executar modelos generativos avançados em hardware para consumidores. À medida que a investigação prossegue, esperamos uma integração mais estreita entre entradas generativas e tarefas discriminativas, como utilizar cenários gerados por difusão para validar a segurança de veículos autónomos ou melhorar a análise de imagens médicas através da simulação de patologias raras.