Diffusion Language Models

Диффузионные языковые модели — это генеративные модели, которые создают или редактируют текст посредством итеративного шумоподавления, а не генерируют каждый токен строго слева направо. Они начинают с поврежденной последовательности, которая часто содержит замаскированные, замененные или неопределенные токены, и многократно уточняют множество позиций до тех пор, пока текст не станет связным. Такой подход объединяет идеи из моделирования языка и диффузионных моделей, предлагая альтернативу традиционной генерации следующего токена.

Link to this sectionКак работают диффузионные языковые модели#

Сначала текст делится с помощью токенизации на слова, подсловесные элементы, символы или другие дискретные единицы. Во время обучения процесс прямого зашумления постепенно удаляет информацию из последовательностей токенов. В зависимости от реализации, токены могут заменяться символами маски, сэмплированными альтернативами или зашумленными непрерывными представлениями, которые называются эмбеддингами.

Модель изучает обратный процесс: предсказание более чистых версий поврежденных последовательностей. На этапе инференса она начинает с сильно замаскированного или зашумленного блока и выполняет несколько шагов уточнения. Ранние шаги задают общий смысл и структуру, а поздние шаги исправляют словарный запас, грамматику, форматирование и локальную согласованность.

Многие диффузионные языковые модели используют трансформер для обработки последовательности. Трансформеры хорошо подходят для этой задачи, так как их механизм внимания может связывать каждый токен с окружающим контекстом. Документация по PyTorch Transformer дает полезный обзор этой базовой архитектуры.

В отличие от фиксированной системы заполнения пропусков, генерация на основе диффузии может многократно пересматривать предсказания. Токен, выбранный на одном шаге, не обязательно является окончательным; более поздние итерации могут изменить его, когда остальная часть последовательности предоставит лучший контекст. Обзор текстовой диффузии от Google DeepMind иллюстрирует этот итеративный паттерн генерации на уровне блоков.

Link to this sectionДиффузионные модели в сравнении со смежными понятиями#

Несколько тесно связанных терминов описывают различные цели или архитектуры:

• Авторегрессионные большие языковые модели генерируют токены последовательно, причем каждое предсказание зависит от предыдущего вывода. Этот причинно-следственный процесс продемонстрирован в учебнике по авторегрессионной генерации текста от TensorFlow. Вместо этого диффузионные модели могут обновлять множество позиций на каждом шаге уточнения.
• Маскированные языковые модели предсказывают намеренно скрытые токены, используя контекст с обеих сторон. Пример маскированного языкового моделирования в Keras демонстрирует эту задачу обучения. Диффузионные языковые модели расширяют эту идею до полноценного процесса генерации с несколькими уровнями повреждения и итерациями шумоподавления.
• Stable Diffusion — это система генерации изображений, а не большая языковая модель. Сервисы изображений Stable Diffusion от Stability AI генерируют и редактируют визуальный контент, в то время как диффузионные языковые модели работают с текстовыми токенами или их представлениями.
• Диффузионные трансформеры описывают использование трансформеров внутри диффузионных систем, обычно для генерации изображений или видео. Диффузионная языковая модель определяется своей целью генерации текста, а не только архитектурой нейронной сети.

Link to this sectionРеальные приложения#

Одно из конкретных применений — редактирование документов и кода. Вместо добавления текста после курсора диффузионная языковая модель может уточнять весь черновик или выделенный фрагмент. Например, она может восстановить отсутствующую функцию, одновременно исправляя имена переменных, импорты и комментарии во всем блоке. Возможность использовать как предшествующий, так и последующий контекст полезна, когда исправления в одном месте влияют на другое.

Второе применение — мультимодальный анализ. Система компьютерного зрения может извлекать фактическую информацию из изображения, после чего диффузионная языковая модель может итеративно составлять отчет, подпись или ответ на основе этих наблюдений. Например, обнаружение объектов может идентифицировать транспортные средства и людей на дорожной сцене до того, как языковой компонент составит сводку происшествия.

Следующий рабочий процесс использует Ultralytics YOLO26 для создания структурированного визуального контекста для последующей генерации текста:

from ultralytics import YOLO

# Run object detection on a sample image
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detections into compact language-model context
detections = result.summary()
object_names = sorted({item["name"] for item in detections})

visual_context = ", ".join(object_names)
print(visual_context)

The YOLO prediction workflow returns structured outputs, while the Results.summary() method converts detections into dictionaries that are easier to pass into a language pipeline. This separation lets the vision model provide grounded observations while the language model handles iterative composition.

Link to this sectionПреимущества, ограничения и практические рекомендации#

Диффузионные языковые модели могут предлагать несколько токенов параллельно, пересматривать ранние варианты выбора и естественным образом поддерживать заполнение пропусков или ограниченное редактирование. Тем не менее, параллельное предсказание не гарантирует более низкую задержку «от конца до конца»: генерация по-прежнему требует нескольких шагов шумоподавления, а скорость зависит от длины последовательности, размера модели, оборудования и стратегии сэмплинга.

Текст также является дискретным, что делает постепенное зашумление менее естественным, чем добавление шума к непрерывным пикселям изображения. Плохо настроенные системы могут производить повторения, пропускать необходимые детали, без необходимости изменять правильный текст или испытывать трудности с определением длины вывода.

Командам следует оценивать точность решения задач, достоверность фактов, стабильность редактирования, задержку и использование ресурсов на репрезентативных промптах. Руководство Google Cloud по оценке генеративного ИИ рекомендует сочетать автоматизированные метрики с экспертной оценкой человека, поскольку качество языка зависит от контекста. Развертывания с высоким уровнем влияния также должны следовать структурированному процессу, такому как Фреймворк управления рисками ИИ NIST.

Для визуальных приложений платформа Ultralytics поддерживает аннотирование датасетов, обучение моделей, развертывание и мониторинг, помогая командам создавать компонент перцепции, способный послужить основой для последующих диффузионных языковых рабочих процессов.