Text-to-Image

Генерация изображений по тексту — это задача создания нового изображения по описанию на естественном языке, которое называют промптом. Модель генерации изображений по тексту учится понимать, как слова соотносятся с визуальным содержимым, на основе сотен миллионов и даже миллиардов пар «изображение — текстовое описание», а затем превращает промпт, например «красный велосипед, прислонённый к кирпичной стене на закате», в изображение, которого прежде не существовало. Это ключевое применение генеративного AI, объединяющее обработку естественного языка (NLP) и компьютерное зрение. Большинство современных систем, включая Stable Diffusion, FLUX и Imagen от Google, относятся к диффузионным или потоковым моделям, тогда как другие системы, например функция генерации изображений, которую OpenAI встроила в GPT-4o в 2025 году, создают изображения авторегрессионно в виде последовательностей токенов.

Как работают модели генерации изображений по тексту#

Сначала текстовый кодировщик преобразует запрос в эмбеддинги. В ранних версиях Stable Diffusion использовался текстовый кодировщик CLIP от OpenAI, а Imagen от Google показала, что увеличение замороженного языкового кодировщика вплоть до модели T5-XXL улучшает качество изображения и соответствие изображения тексту гораздо сильнее, чем увеличение генератора изображений. Затем генератор начинает со случайного шума и удаляет его за 20–50 шагов, обычно в сжатом пространстве латентной диффузионной модели. Слои перекрёстного внимания или совместного внимания позволяют каждой части изображения учитывать запрос. Безклассовая классификаторная направленность сопоставляет предсказание модели с запросом и без него и усиливает разницу. Поэтому при большем коэффициенте направленности изображение точнее соответствует запросу, но становится менее разнообразным. Наконец, декодер преобразует готовое латентное представление в пиксели.

Обучающие данные влияют на то, что модель может нарисовать. Stable Diffusion обучалась на поднаборах LAION-5B — 5,85 миллиарда пар изображений и текстов, собранных в интернете, — а OpenAI улучшила следование запросам в DALL-E 3, обучая модель на подробных синтетических подписях вместо короткого альтернативного текста, который сопровождает большинство веб-изображений. Данные масштаба всего интернета создают и проблемы: LAION изъяла LAION-5B в декабре 2023 года после того, как в отчёте Стэнфордской интернет-обсерватории были обнаружены ссылки на материалы о сексуальном насилии над детьми. В августе 2024 года организация выпустила очищенный набор Re-LAION-5B.

Семейства моделей#

• Диффузионные и потоковые модели: подавляют шум в изображении или латентном представлении за много шагов. К этому семейству относятся DALL-E 2 и 3, Imagen, Stable Diffusion и FLUX. В новых моделях вместо шумоподавителя U-Net используется диффузионный трансформер, обученный с помощью исправленного потока.
• Авторегрессионные модели: преобразуют изображения в дискретные токены и предсказывают их по одному с помощью трансформера. Этот подход использовали оригинальная DALL-E в 2021 году и Parti от Google. OpenAI описывает генерацию изображений в GPT-4o, запущенную в марте 2025 года, как авторегрессионную модель, изначально встроенную в ChatGPT, в отличие от DALL-E на основе диффузии.
• Генеративно-состязательные сети: создают изображение за один прямой проход. Текстово-условные GAN, например AttnGAN, появились до диффузионных моделей. Они быстрее генерируют изображения, но хуже следуют сложным запросам.

Оценка сгенерированных изображений#

Расстояние Фреше—Инсепшена (FID) сравнивает статистики сгенерированных и реальных изображений, чтобы оценить качество и разнообразие, а CLIP score измеряет соответствие изображения запросу в общем пространстве эмбеддингов. Ни одна из этих метрик не проверяет конкретные детали, например количество объектов и их расположение. Поэтому GenEval запускает модель обнаружения объектов на сгенерированных изображениях, чтобы проверить совместную встречаемость, положение и количество объектов, а другие модели компьютерного зрения используются для проверки цвета. В публичных рейтингах коммерческие модели и модели с открытым исходным кодом ранжируются по многим тысячам парных оценок людей, которые одновременно учитывают эстетику и соответствие запросу.

Преобразование текста в изображение и связанные понятия#

• Создание описаний изображений: обратная задача — генерация текстового описания существующего изображения.
• Преобразование текста в видео: генерирует последовательность кадров, которые должны сохранять временную согласованность. Из-за этого вычислительные затраты и объём данных, необходимые модели преобразования текста в изображение, возрастают многократно.
• Закрашивание изображений и преобразование изображения в изображение: начинают с существующего изображения и изменяют его часть или целиком в соответствии с запросом, используя те же модели с дополнительным входным изображением.
• Визуально-языковые модели: читают изображения и текст, а отвечают текстом. Изначально мультимодальные модели, такие как GPT-4o и Gemini, добавили генерацию изображений к пониманию изображений.

Применение и риски#

Дизайнеры, игровые студии и маркетинговые команды используют модели преобразования текста в изображение для поиска концепций и создания изображений продуктов, а команды компьютерного зрения — для создания синтетических данных для редких классов, дефектов и условий, которые сложно сфотографировать. На платформе Ultralytics действие «Создать похожие изображения» описывает новые сцены, вдохновлённые изображением из набора данных, и генерирует по одному изображению на каждое описание. Можно дополнительно задать инструкции по освещению, ракурсу, фону или объектам. Изображения, которые пользователь оставляет, добавляются в набор данных без разметки и готовы к аннотированию. Синтетические изображения полезны только тогда, когда они соответствуют тому, чего не хватает модели:

Та же реалистичность создаёт риски. Модели воспроизводят смещения из обучающих данных и могут создавать убедительные дипфейки. Разработчики отвечают на это маркировкой контента ИИ, например SynthID от Google, и учётными данными контента C2PA — подписанными метаданными, в которых записан инструмент, создавший или отредактировавший изображение.