Diffusion Language Models

Os modelos de linguagem por difusão são modelos generativos que produzem ou editam texto através de remoção de ruído iterativa, em vez de gerarem cada token estritamente da esquerda para a direita. Eles começam com uma sequência corrompida — frequentemente contendo tokens mascarados, substituídos ou incertos — e refinam repetidamente múltiplas posições até que o texto se torne coerente. Esta abordagem combina ideias de modelagem de linguagem e modelos de difusão, oferecendo uma alternativa à geração convencional de próximo token.

Link to this sectionComo Funcionam os Modelos de Linguagem por Difusão#

O texto é primeiro dividido através de tokenização em palavras, subpalavras, caracteres ou outras unidades discretas. Durante o treinamento, um processo de corrupção progressiva remove gradualmente informações das sequências de tokens. Dependendo da implementação, os tokens podem ser substituídos por símbolos de máscara, alternativas amostradas ou representações contínuas ruidosas chamadas embeddings.

O modelo aprende o processo inverso: prever versões mais limpas de sequências corrompidas. No momento da inferência, ele começa com um bloco fortemente mascarado ou ruidoso e executa várias etapas de refinamento. As etapas iniciais estabelecem o significado geral e a estrutura, enquanto as etapas posteriores corrigem o vocabulário, a gramática, a formatação e a consistência local.

Muitos modelos de linguagem por difusão usam um transformer para processar a sequência. Os transformers são bem adequados para esta tarefa porque seu mecanismo de atenção pode relacionar cada token ao contexto circundante. A documentação do Transformer no PyTorch fornece uma visão geral útil desta arquitetura subjacente.

Ao contrário de um sistema fixo de preencher lacunas, a geração por difusão pode reconsiderar previsões repetidamente. Um token selecionado durante uma etapa não é necessariamente permanente; iterações posteriores podem revisá-lo quando o restante da sequência fornecer um contexto melhor. A visão geral sobre difusão de texto do Google DeepMind ilustra esse padrão de geração iterativa em nível de bloco.

Link to this sectionModelos de Difusão vs. Conceitos Relacionados#

Vários termos intimamente relacionados descrevem diferentes objetivos ou arquiteturas:

• Grandes modelos de linguagem autorregressivos geram tokens em sequência, com cada previsão condicionada à saída anterior. Esse processo causal é demonstrado no tutorial de geração de texto autorregressivo do TensorFlow. Os modelos de difusão podem, em vez disso, atualizar muitas posições durante cada etapa de refinamento.
• Modelos de linguagem mascarados preveem tokens deliberadamente ocultos usando o contexto em ambos os lados. O exemplo de modelagem de linguagem mascarada do Keras demonstra este objetivo de treinamento. Os modelos de linguagem por difusão estendem a ideia para um processo de geração completo com múltiplos níveis de corrupção e iterações de remoção de ruído.
• Stable Diffusion é um sistema de geração de imagens, não um grande modelo de linguagem. Os serviços de imagem Stable Diffusion da Stability AI geram e editam conteúdo visual, enquanto os modelos de linguagem por difusão operam em tokens de texto ou em suas representações.
• Diffusion Transformers descrevem o uso de transformers dentro de sistemas de difusão, comumente para geração de imagens ou vídeos. Um modelo de linguagem por difusão é definido pelo seu objetivo de geração de texto, e não exclusivamente pela sua arquitetura de rede neural.

Link to this sectionAplicações no Mundo Real#

Uma aplicação concreta é a edição de documentos e códigos. Em vez de acrescentar texto após um cursor, um modelo de linguagem por difusão pode refinar um rascunho inteiro ou um trecho selecionado. Por exemplo, ele pode reconstruir uma função ausente enquanto revisa nomes de variáveis, importações e comentários em todo o bloco. A capacidade de usar tanto o contexto anterior quanto o posterior é valiosa quando correções em um local afetam outro.

Uma segunda aplicação é a análise multimodal. Um sistema de visão pode extrair informações factuais de uma imagem, após o que um modelo de linguagem por difusão pode compor iterativamente um relatório, legenda ou resposta fundamentada nessas observações. Por exemplo, a detecção de objetos pode identificar veículos e pessoas em uma cena de trânsito antes que o componente de linguagem redija um resumo do incidente.

O fluxo de trabalho a seguir usa o Ultralytics YOLO26 para criar contexto visual estruturado para a geração de linguagem subsequente:

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

O fluxo de trabalho de previsão do YOLO retorna saídas estruturadas, enquanto o Results.summary() method converte detecções em dicionários que são mais fáceis de passar para um pipeline de linguagem. Essa separação permite que o modelo de visão forneça observações fundamentadas, enquanto o modelo de linguagem lida com a composição iterativa.

Link to this sectionBenefícios, Limitações e Orientações Práticas#

Os modelos de linguagem por difusão podem propor múltiplos tokens em paralelo, revisar escolhas anteriores e apoiar naturalmente o preenchimento ou a edição restrita. No entanto, a previsão paralela não garante menor latência de ponta a ponta: a geração ainda requer múltiplas etapas de remoção de ruído, e a velocidade depende do comprimento da sequência, do tamanho do modelo, do hardware e da estratégia de amostragem.

O texto também é discreto, o que torna a corrupção gradual menos natural do que adicionar ruído aos pixels contínuos de uma imagem. Sistemas mal configurados podem produzir repetição, omitir detalhes necessários, alterar o texto correto desnecessariamente ou ter dificuldades para determinar o comprimento da saída.

As equipes devem avaliar a precisão da tarefa, a veracidade, a estabilidade da edição, a latência e o uso de recursos em prompts representativos. A orientação do Google Cloud sobre avaliação de IA generativa recomenda combinar métricas automatizadas com avaliação humana, porque a qualidade da linguagem depende do contexto. Implantações de alto impacto também devem seguir um processo estruturado, como o NIST AI Risk Management Framework.

Para aplicações visuais, a Ultralytics Platform suporta anotação de datasets, treinamento de modelos, implantação e monitoramento, ajudando as equipes a construir o componente de percepção que pode fundamentar fluxos de trabalho de linguagem baseados em difusão subsequentes.