Generative AI

L’IA générative est la branche de l’intelligence artificielle (IA) dont les modèles apprennent la distribution de probabilité de leurs données d’entraînement et en échantillonnent de nouvelles : texte, images, audio, vidéo, code, scènes 3D ou structures moléculaires. Un modèle discriminatif apprend p(label | input), la probabilité d’une étiquette sachant une entrée, tandis qu’un modèle génératif apprend p(input) elle-même ou p(input | prompt), et peut donc produire des entrées qui n’ont jamais existé. Le terme est entré dans l’usage courant après la sortie de ChatGPT par OpenAI le 30 novembre 2022, mais les méthodes sont plus anciennes : Diederik Kingma et Max Welling ont présenté l’autoencodeur variationnel en 2013, et Ian Goodfellow et ses collègues ont présenté les réseaux antagonistes génératifs en 2014.

Fonctionnement des modèles génératifs#

Quatre familles de modèles d’apprentissage profond produisent aujourd’hui l’essentiel de l’IA générative, et tous les grands modèles de langage (LLM) de type GPT appartiennent à la première :

• Transformers autorégressifs : Génèrent une séquence un jeton à la fois, chaque jeton étant conditionné par tout ce qui a été écrit jusque-là, pour le texte, le code, la parole et les images tokenisées.
• Modèles de diffusion : Ajoutent du bruit aux échantillons d’entraînement et apprennent à le supprimer étape par étape ; la génération commence ainsi par du bruit pur, qui est débruité pour produire un échantillon. Stable Diffusion, sorti en août 2022, exécute ce processus dans un espace latent compressé.
• Réseaux antagonistes génératifs (GAN) : Entraînent un générateur face à un discriminateur qui tente de distinguer les échantillons réels des échantillons générés, poussant ainsi le générateur à produire des résultats réalistes en une seule passe avant.
• Autoencodeurs variationnels (VAE) : Encodent les données dans un espace latent doté d’une distribution connue, puis décodent des échantillons tirés de cette distribution. Les modèles de diffusion latente utilisent un VAE pour compresser les images avant leur débruitage.

L’idée de base tient en quelques lignes. Un modèle de mélange gaussien apprend la distribution des 150 fleurs du jeu de données Iris et en échantillonne de nouvelles ; un classificateur discriminatif entraîné sur les mêmes données les étiquette :

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.mixture import GaussianMixture

iris = load_iris()  # 150 fleurs : longueur et largeur des sépales et des pétales, en cm

# Modèle discriminatif : apprend p(species | measurements) et peut donc uniquement étiqueter les fleurs
classifier = LogisticRegression(max_iter=1000).fit(iris.data, iris.target)

# Modèle génératif : apprend p(measurements) elle-même et peut donc échantillonner de nouvelles fleurs
generator = GaussianMixture(n_components=3, random_state=0).fit(iris.data)
new_flowers, _ = generator.sample(3)

# Le modèle discriminatif étiquette les échantillons générés
for flower, species in zip(new_flowers.round(1), classifier.predict(new_flowers)):
    print(flower, iris.target_names[species])

Les trois fleurs échantillonnées, dont l’une avec des sépales de 4,7 cm et des pétales de 1,4 cm, n’ont jamais été mesurées ; pourtant, le classificateur les attribue respectivement aux espèces versicolor, setosa et virginica, car les trois groupes du mélange correspondent aux trois espèces. Un générateur de texte ou d’images remplace les trois gaussiennes par un réseau neuronal de plusieurs milliards de paramètres et les mesures par des jetons ou des pixels.

Modèles génératifs et discriminatifs combinés#

La classification d’images et la détection d’objets sont des tâches discriminatives : YOLO26 associe une image à des boîtes et des classes, mais ne peut pas dessiner d’image. Les deux types de modèles sont souvent utilisés à la suite. L’annotation intelligente d’Ultralytics Platform guidée par les classes utilise des modèles génératifs de langage et de vision (VLM), avec Moondream 3.1 comme modèle par défaut, pour tracer des boîtes correspondant aux noms de classes d’un jeu de données. Les boîtes vérifiées deviennent ensuite les étiquettes servant à entraîner un détecteur YOLO26.

Les générateurs créent aussi des données synthétiques pour des événements rares difficiles ou dangereux à photographier, comme des défauts inhabituels ou des dangers routiers ; les pipelines de génération de données synthétiques mélangent ces images à des images réelles pour l’entraînement. Le processus inverse est également courant : les détecteurs et les classificateurs évaluent la qualité des images générées ou signalent les contenus dangereux.

Applications#

• Génération de texte : Les assistants conversationnels, la synthèse et la traduction reposent sur des LLM, tandis que les assistants de programmation rédigent et testent des logiciels à partir d’une description.
• Texte vers image : Des modèles comme Stable Diffusion créent des images à partir d’invites ; ces mêmes modèles remplissent ou remplacent les zones masquées d’une photo.
• Texte vers vidéo : Des modèles comme Sora d’OpenAI, présenté en avant-première en février 2024, génèrent des séquences vidéo à partir d’une description.
• Structure moléculaire : AlphaFold 3, créé par Google DeepMind et Isomorphic Labs et publié en mai 2024, prédit les structures de complexes protéiques à l’aide d’un module fondé sur la diffusion qui génère les coordonnées des atomes.

Risques et limites#

Les générateurs de langage hallucinent des affirmations fluides mais fausses, les générateurs d’images et de voix facilitent les hypertrucages, et l’entraînement sur des données du Web soulève des questions de droits d’auteur et de consentement. Le filigranage de l’IA et les informations d’identification de contenu C2PA marquent les médias générés afin qu’ils puissent être identifiés ultérieurement. Le contenu généré est aussi réinjecté dans les données d’entraînement : dans The Curse of Recursion, publié dans Nature en 2024, Ilia Shumailov et ses collègues ont montré que les modèles entraînés de façon récursive sur leurs propres résultats perdent les extrémités rares de la distribution d’origine, une défaillance qu’ils ont nommée effondrement des modèles.