Stable Diffusion

Stable Diffusion é uma família de modelos de texto para imagem com pesos abertos, da Stability AI, que geram e editam imagens a partir de prompts em linguagem natural. A primeira versão, lançada em agosto de 2022, foi desenvolvida em colaboração com o grupo CompVis da LMU de Munique e a Runway, e aplicou as pesquisas sobre difusão latente a imagens de 512×512 de um subconjunto do conjunto de dados LAION-5B. Seu U-Net de 860 milhões de parâmetros e codificador de texto de 123 milhões de parâmetros eram executados em uma GPU para consumidores com pelo menos 10 GB de memória; como qualquer pessoa podia baixar os pesos, o modelo se tornou a base de um amplo ecossistema de modelos ajustados, adaptadores e ferramentas de edição. A versão atual, Stable Diffusion 3.5, de outubro de 2024, substitui o U-Net por um transformer de difusão multimodal treinado com fluxo retificado.

Como funciona Stable Diffusion#

Stable Diffusion é um modelo de difusão que remove o ruído de uma imagem comprimida, em vez de trabalhar diretamente com pixels, usando três redes:

• Autoencoder variacional (VAE): O codificador comprime uma imagem de 512×512×3 em uma representação latente de 64×64×4, com 48 vezes menos valores, e o decodificador transforma a representação latente final novamente em uma imagem. Toda a remoção de ruído ocorre na pequena representação latente, por isso o modelo funciona em hardware para consumidores.
• Codificador de texto: Converte o prompt, de até 77 tokens, em embeddings. Stable Diffusion 1.x usa o CLIP ViT-L/14 da OpenAI; a versão 2.x usa OpenCLIP ViT-H/14; SDXL combina dois codificadores CLIP; e Stable Diffusion 3 adiciona um modelo de linguagem T5-XXL aos dois codificadores CLIP para compreender melhor os prompts.
• Rede de remoção de ruído: Prevê o ruído a remover em cada etapa. As versões 1.x, 2.x e SDXL usam um U-Net cujas camadas de atenção cruzada permitem que os recursos da imagem atendam aos embeddings de texto, enquanto as versões 3 e 3.5 usam um MMDiT que processa juntos os tokens de imagem e texto.

A geração começa com uma representação latente aleatória de 64×64×4. Um agendador executa a rede de remoção de ruído normalmente de 20 a 50 vezes, removendo parte do ruído previsto em cada etapa, e a orientação sem classificador reforça a influência do prompt. Em seguida, o decodificador VAE produz a imagem:

Como a representação latente inicial é aleatória, o mesmo prompt com uma semente diferente gera uma imagem diferente, enquanto a mesma semente e as mesmas configurações reproduzem o resultado.

Versões do modelo#

• Stable Diffusion 1.x (2022): Geração de 512×512 com um U-Net de 860 milhões de parâmetros; a versão 1.5 tornou-se uma base comum para ajustes da comunidade, e o artigo sobre ControlNet foi baseado nela. Os pesos usam a licença CreativeML OpenRAIL-M.
• Stable Diffusion 2.x (final de 2022): Passou a usar o codificador de texto OpenCLIP e adicionou um modelo de 768×768.
• SDXL (julho de 2023): Geração nativa de 1024×1024 com um U-Net de cerca de 2,6 bilhões de parâmetros e dois codificadores de texto. O SDXL Turbo, lançado em novembro daquele ano, usa destilação de difusão adversarial para gerar uma imagem em uma única etapa.
• Stable Diffusion 3 e 3.5 (2024): Substituem o U-Net por um transformer de fluxo retificado com pesos separados para tokens de imagem e texto. O Stable Diffusion 3.5 Large tem 8,1 bilhões de parâmetros, e o 3.5 Medium tem 2,5 bilhões. A Licença Comunitária da Stability AI permite o uso comercial gratuito por organizações com receita anual inferior a US$ 1 milhão.

Edição de imagens com Stable Diffusion#

• Imagem para imagem: Codifica uma imagem existente, adiciona ruído até uma etapa intermediária definida por um valor de intensidade e remove o ruído com um novo prompt, de modo que o resultado mantém a composição e as cores originais, mas altera o estilo ou o conteúdo.
• Ajuste fino: DreamBooth e LoRA adaptam o modelo a um novo tema ou estilo usando algumas dezenas de imagens, e ControlNet adiciona mapas de bordas, profundidade ou pose como condições estruturais.
• Preenchimento de imagens: Regenera apenas uma região mascarada para corresponder a um prompt e ao que a rodeia. Os checkpoints de preenchimento de Stable Diffusion adicionam cinco canais de entrada ao U-Net: quatro para a imagem mascarada codificada e um para a própria máscara.

As máscaras de preenchimento são brancas onde a imagem deve mudar e pretas onde deve ser mantida. Os modelos de segmentação de instâncias Ultralytics YOLO26 produzem essas máscaras automaticamente, por exemplo, para substituir ou remover todos os veículos de uma classe em uma foto de rua:

import cv2
from ultralytics import YOLO

# Segmenta o ônibus (classe 5 do COCO) com um modelo YOLO26 de segmentação de instâncias
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[5], retina_masks=True)
result = results[0]

# O branco marca os pixels que Stable Diffusion deve repintar; o preto, os pixels que deve manter
mask = (result.masks.data.sum(dim=0) > 0).cpu().numpy().astype("uint8") * 255
cv2.imwrite("bus_inpaint_mask.png", mask)

O arquivo bus_inpaint_mask.png salvo tem a resolução total da foto porque retina_masks=True retorna máscaras no tamanho original da imagem. Com a foto, essa máscara e um prompt como “um ônibus de dois andares vermelho”, um pipeline de preenchimento regenera o ônibus e mantém a rua ao redor.

Aplicações no mundo real#

• Dados sintéticos para modelos de visão: As equipes geram imagens de defeitos raros, condições climáticas incomuns ou ângulos de visão pouco comuns para preencher lacunas nos conjuntos de dados de treinamento e usam o preenchimento para inserir novos objetos em fundos reais.
• Arte conceitual e design: Estúdios de jogos, arquitetos e designers de produtos exploram diversos estilos e composições em minutos durante as etapas iniciais do trabalho conceitual.
• Imagens para marketing e comércio eletrônico: Imagem para imagem e ControlNet mantêm fixa a forma de um produto enquanto o prompt altera o ambiente, a iluminação e o fundo.

Stable Diffusion e modelos relacionados#

• Modelos de difusão latente: Stable Diffusion é a implementação mais conhecida da arquitetura de difusão latente, então todo modelo Stable Diffusion é um modelo de difusão latente.
• GANs: Geram uma imagem em uma única passagem direta, mas são menos estáveis no treinamento e abrangem menos variedade. Stable Diffusion precisa de muitas etapas de remoção de ruído, a menos que seja destilado, como no SDXL Turbo.
• Geradores fechados: Serviços como os modelos de imagem da OpenAI e o Midjourney são executados apenas nos servidores de seus provedores. Os pesos de Stable Diffusion podem ser baixados, executados offline, inspecionados e ajustados.
• FLUX.1: A Black Forest Labs, fundada em 2024 por pesquisadores por trás do artigo original sobre difusão latente, incluindo Robin Rombach, Andreas Blattmann e Patrick Esser, lançou a família FLUX.1, com 12 bilhões de parâmetros, que usa a mesma abordagem de transformer de fluxo retificado do Stable Diffusion 3.