Text-to-Image

A geração de texto para imagem consiste em criar uma imagem nova a partir de uma descrição em linguagem natural, chamada prompt. Um modelo de texto para imagem aprende as relações entre palavras e conteúdo visual com centenas de milhões a bilhões de pares de imagem e legenda, depois transforma um prompt como "uma bicicleta vermelha encostada em uma parede de tijolos ao pôr do sol" em uma imagem que nunca existiu. É uma aplicação central de IA generativa que combina processamento de linguagem natural (NLP) e visão computacional. A maioria dos sistemas atuais, incluindo o Stable Diffusion, o FLUX e o Imagen do Google, são modelos de difusão ou de fluxo, enquanto outros, como o gerador de imagens que a OpenAI incorporou ao GPT-4o em 2025, produzem imagens autoregressivamente como sequências de tokens.

Como funcionam os modelos de texto para imagem#

Primeiro, um codificador de texto converte o prompt em embeddings. As primeiras versões do Stable Diffusion usavam o codificador de texto CLIP da OpenAI, e o Imagen do Google mostrou que ampliar seu codificador de linguagem congelado, até o modelo T5-XXL, melhorava tanto a qualidade da imagem quanto o alinhamento entre imagem e texto muito mais do que ampliar o gerador de imagens. Em seguida, o gerador parte de ruído aleatório e o remove ao longo de 20 a 50 etapas, geralmente no espaço comprimido de um modelo de difusão latente, com camadas de atenção cruzada ou atenção conjunta permitindo que cada parte da imagem considere o prompt. A orientação sem classificador compara a previsão do modelo com e sem o prompt e amplia a diferença, de modo que uma escala de orientação maior segue o prompt mais de perto, ao custo da variedade. Por fim, um decodificador converte o latente finalizado em pixels.

Os dados de treinamento moldam o que um modelo pode desenhar. Stable Diffusion foi treinado em subconjuntos de LAION-5B, com 5,85 bilhões de pares de imagens e textos coletados na Web, e o DALL-E 3 da OpenAI melhorou o seguimento de prompts ao treinar com legendas sintéticas detalhadas, em vez dos textos alternativos curtos que acompanham a maioria das imagens na Web. Dados em escala da Web também trazem problemas: LAION retirou o LAION-5B em dezembro de 2023, depois que um relatório do Stanford Internet Observatory encontrou links para material de abuso sexual infantil; em agosto de 2024, lançou o Re-LAION-5B higienizado.

Famílias de modelos#

• Modelos de difusão e de fluxo: Removem o ruído de uma imagem ou de um latente ao longo de muitas etapas. Essa família inclui DALL-E 2 e 3, Imagen, Stable Diffusion e FLUX, e seus integrantes mais recentes substituem o denoiser U-Net por um Transformer de difusão treinado com fluxo retificado.
• Modelos autorregressivos: Convertem imagens em tokens discretos e os preveem um de cada vez com um Transformer, abordagem do DALL-E original de 2021 e do Parti, do Google. A OpenAI descreve a geração de imagens do GPT-4o, lançada em março de 2025, como um modelo autorregressivo integrado nativamente ao ChatGPT, ao contrário do DALL-E baseado em difusão.
• Redes adversariais generativas: Geram uma imagem em uma única passagem direta. GANs condicionadas por texto, como AttnGAN, surgiram antes dos modelos de difusão e são mais rápidas para amostrar, mas seguem prompts complexos com menos confiabilidade.

Avaliação de imagens geradas#

A distância de Fréchet entre distribuições Inception (FID) compara as estatísticas de imagens geradas e reais para medir qualidade e diversidade, e a pontuação CLIP mede o quanto uma imagem corresponde ao seu prompt em um espaço compartilhado de embeddings. Nenhuma das duas verifica detalhes como quantos objetos aparecem ou onde; por isso, o GenEval executa um modelo de detecção de objetos em imagens geradas para verificar a coocorrência, a posição e a quantidade de objetos, e adiciona outros modelos de visão para verificar a cor. Arenas públicas classificam modelos comerciais e abertos com base em muitos milhares de votos humanos em comparações pareadas, que avaliam em conjunto a estética e a aderência aos prompts.

Texto para imagem e termos relacionados#

• Legenda de imagem: A direção inversa: gerar uma descrição textual de uma imagem existente.
• Texto para vídeo: Gera uma sequência de quadros que precisam manter a consistência ao longo do tempo, o que multiplica o volume de computação e dados necessário para um modelo de texto para imagem.
• Preenchimento de imagens e imagem para imagem: Partem de uma imagem existente e alteram parte ou toda ela de acordo com um prompt, usando os mesmos modelos com uma entrada de imagem adicional.
• Modelos de linguagem visual: Leem imagens e texto e respondem em texto. Modelos nativamente multimodais, como GPT-4o e Gemini, acrescentaram a geração de imagens à compreensão de imagens.

Aplicações e riscos#

Designers, estúdios de jogos e equipes de marketing usam modelos de texto para imagem para explorar conceitos e produzir imagens de produtos, e equipes de visão os usam para criar dados sintéticos de classes raras, defeitos e condições difíceis de fotografar. Na Ultralytics Platform, a ação Gerar imagens semelhantes descreve novas cenas inspiradas em uma imagem do conjunto de dados e gera uma imagem por descrição, com instruções opcionais sobre iluminação, ponto de vista, plano de fundo ou objetos; as imagens que o usuário mantém são adicionadas ao conjunto de dados sem rótulos, prontas para anotação. Imagens sintéticas só ajudam quando correspondem ao que falta ao modelo:

Esse mesmo realismo cria riscos. Os modelos reproduzem os vieses dos dados de treinamento e podem gerar deepfakes convincentes. Os provedores respondem com marcas-d'água de IA, como o SynthID do Google, e com Credenciais de conteúdo C2PA, metadados assinados que registram qual ferramenta criou ou editou uma imagem.