Text-to-Image

La génération d’images à partir de texte consiste à créer une nouvelle image à partir d’une description en langage naturel, appelée instruction. Un modèle de génération texte-image apprend les relations entre les mots et le contenu visuel à partir de centaines de millions, voire de milliards, de paires image-légende, puis transforme une instruction comme « un vélo rouge appuyé contre un mur de briques au coucher du soleil » en une image qui n’a jamais existé. C’est une application centrale de l’IA générative, qui associe le traitement automatique du langage naturel (NLP) et la vision par ordinateur. La plupart des systèmes actuels, notamment Stable Diffusion, FLUX et Imagen de Google, sont des modèles de diffusion ou de flot. D’autres, comme la génération d’images intégrée par OpenAI à GPT-4o en 2025, produisent des images de façon autorégressive, sous forme de séquences de jetons.

Fonctionnement des modèles de génération de texte en image#

Un encodeur de texte convertit d’abord l’invite en représentations vectorielles. Les premières versions de Stable Diffusion utilisaient l’encodeur de texte CLIP d’OpenAI, et Imagen de Google a montré que l’agrandissement de son encodeur de langage gelé, jusqu’au modèle T5-XXL, améliorait la qualité de l’image et l’alignement entre image et texte bien davantage que l’agrandissement du générateur d’images. Le générateur part ensuite d’un bruit aléatoire qu’il élimine en 20 à 50 étapes, généralement dans l’espace compressé d’un modèle de diffusion latente. Des couches d’attention croisée ou d’attention conjointe permettent à chaque partie de l’image de porter son attention sur l’invite. Le guidage sans classificateur compare la prédiction du modèle avec et sans l’invite, puis amplifie la différence ; une échelle de guidage plus élevée suit donc l’invite de plus près, au détriment de la variété. Enfin, un décodeur convertit le latent final en pixels.

Les données d’entraînement déterminent ce qu’un modèle peut dessiner. Stable Diffusion a été entraîné sur des sous-ensembles de LAION-5B, qui contient 5,85 milliards de paires image-texte collectées sur le Web. DALL-E 3 d’OpenAI a amélioré le suivi des invites en s’entraînant sur des légendes synthétiques détaillées plutôt que sur les courts textes alternatifs qui accompagnent la plupart des images du Web. Les données à l’échelle du Web posent également des problèmes : LAION a retiré LAION-5B en décembre 2023 après qu’un rapport du Stanford Internet Observatory y a trouvé des liens vers des contenus d’abus sexuels sur des enfants, puis a publié Re-LAION-5B, nettoyé, en août 2024.

Familles de modèles#

• Modèles de diffusion et de flot : Débruitent une image ou un latent en de nombreuses étapes. Cette famille comprend DALL-E 2 et 3, Imagen, Stable Diffusion et FLUX ; ses membres les plus récents remplacent le débruiteur U-Net par un Transformer de diffusion entraîné avec un flot rectifié.
• Modèles autorégressifs : Convertissent les images en jetons discrets, puis les prédisent un à un avec un Transformer, comme le faisait le DALL-E original en 2021 et comme le fait Parti de Google. OpenAI décrit la génération d’images de GPT-4o, lancée en mars 2025, comme un modèle autorégressif intégré nativement à ChatGPT, contrairement au modèle DALL-E fondé sur la diffusion.
• Réseaux antagonistes génératifs : Génèrent une image en une seule passe avant. Les GAN conditionnés par le texte, comme AttnGAN, ont précédé les modèles de diffusion ; ils sont plus rapides à échantillonner, mais suivent moins fidèlement les invites complexes.

Évaluer les images générées#

La distance de Fréchet Inception (FID) compare les statistiques des images générées et réelles afin de mesurer leur qualité et leur diversité, tandis que le score CLIP mesure la correspondance entre une image et son invite dans un espace de représentation vectorielle partagé. Aucune de ces métriques ne vérifie des détails comme le nombre d’objets ou leur emplacement ; GenEval exécute donc un modèle de détection d’objets sur les images générées pour vérifier la cooccurrence, la position et le nombre d’objets, et fait appel à d’autres modèles de vision pour vérifier les couleurs. Les plateformes publiques classent les modèles commerciaux et ouverts à partir de plusieurs milliers de votes humains par paires, qui prennent en compte à la fois l’esthétique et le respect des invites.

Texte vers image et notions apparentées#

• Légendage d’images : La direction inverse : générer une description textuelle d’une image existante.
• Texte vers vidéo : Génère une séquence d’images qui doivent rester cohérentes dans le temps, ce qui multiplie les besoins en calcul et en données d’un modèle texte-image.
• Inpainting d’images et image vers image : Partent d’une image existante et en modifient une partie ou la totalité selon une invite, au moyen des mêmes modèles auxquels s’ajoute une image en entrée.
• Modèles de langage et de vision : interprètent les images et le texte, puis répondent sous forme de texte. Les modèles nativement multimodaux comme GPT-4o et Gemini ont ajouté la génération d’images à la compréhension des images.

Applications et risques#

Les designers, les studios de jeux vidéo et les équipes marketing utilisent les modèles texte-image pour explorer des concepts et produire des visuels de produits ; les équipes de vision les utilisent pour créer des données synthétiques représentant des classes, des défauts et des conditions rares difficiles à photographier. Sur l’Ultralytics Platform, l’action Générer des images similaires décrit de nouvelles scènes inspirées d’une image du jeu de données et génère une image par description, avec des instructions facultatives sur l’éclairage, le point de vue, l’arrière-plan ou les objets. Les images conservées par l’utilisateur rejoignent le jeu de données sans étiquette, prêtes à être annotées. Les images synthétiques ne sont utiles que si elles correspondent aux lacunes du modèle :

Ce même réalisme comporte des risques. Les modèles reproduisent les biais de leurs données d’entraînement et peuvent produire des hypertrucages convaincants. Les fournisseurs réagissent avec le filigranage par IA, notamment SynthID de Google, et les Content Credentials C2PA, des métadonnées signées qui indiquent quel outil a créé ou modifié une image.