Qu'est-ce qu'un modèle de diffusion ? Un guide rapide et complet

Prétraitement des données

Avant de nous plonger dans le cœur d'un modèle de diffusion, il est important de se rappeler que toutes les données sur lesquelles le modèle est entraîné doivent être prétraitées. Par exemple, si vous entraînez un modèle de diffusion à générer des images, l'ensemble de données d'entraînement doit d'abord être nettoyé. Le prétraitement des données d'images peut consister à supprimer toute valeur aberrante susceptible d'affecter les résultats, à normaliser les valeurs des pixels afin que toutes les images soient à la même échelle et à utiliser l'augmentation des données pour introduire une plus grande variété. Les étapes de prétraitement des données permettent de garantir la qualité des données d'apprentissage, et ce non seulement pour les modèles de diffusion, mais aussi pour tout modèle d'IA. 

‍

Processus de diffusion vers l'avant

Après le prétraitement des données, l'étape suivante est le processus de diffusion vers l'avant. Concentrons-nous sur l'entraînement d' un modèle de diffusion pour générer des images. Le processus commence par un échantillonnage à partir d'une distribution simple, comme une distribution gaussienne. En d'autres termes, un bruit aléatoire est sélectionné. Comme le montre l'image ci-dessous, le modèle transforme progressivement l'image en plusieurs étapes. L'image commence par être claire et devient de plus en plus bruyante au fur et à mesure qu'elle progresse dans chaque étape, pour finalement se transformer en un bruit presque complet à la fin.

‍

Chaque étape s'appuie sur la précédente et le bruit est ajouté de manière contrôlée et progressive à l'aide d'une chaîne de Markov. Une chaîne de Markov est un modèle mathématique dans lequel la probabilité de l'état suivant dépend uniquement de l'état actuel. Elle est utilisée pour prédire les résultats futurs sur la base des conditions actuelles. Comme chaque étape ajoute de la complexité aux données, nous pouvons capturer les motifs et les détails les plus complexes de la distribution des données de l'image originale. L'ajout de bruit gaussien génère également des échantillons variés et réalistes au fur et à mesure que la diffusion se déroule. 

Processus de diffusion inverse

Le processus de diffusion inverse commence une fois que le processus de diffusion directe a transformé un échantillon en un état complexe et bruyant. Il ramène progressivement l'échantillon bruité à son état d'origine à l'aide d'une série de transformations inverses. Les étapes qui inversent le processus d'ajout de bruit sont guidées par une chaîne de Markov inverse.

‍

Au cours du processus inverse, les modèles de diffusion apprennent à générer de nouvelles données en commençant par un échantillon de bruit aléatoire et en l'affinant progressivement pour obtenir un résultat clair et détaillé. Les données générées finissent par ressembler étroitement à l'ensemble de données d'origine. C'est cette capacité qui rend les modèles de diffusion particulièrement adaptés à des tâches telles que la synthèse d'images, la complétion de données et le débruitage. Dans la section suivante, nous explorerons d'autres applications des modèles de diffusion.

Conception graphique

Les modèles de diffusion peuvent être utilisés pour générer rapidement du contenu visuel graphique. Les concepteurs et artistes humains peuvent fournir des esquisses, des mises en page ou même de simples idées brutes de ce qu'ils veulent, et les modèles peuvent donner vie à ces idées. Cela permet d'accélérer l'ensemble du processus de conception, d'offrir un large éventail de nouvelles possibilités, du concept initial au produit final, et de faire gagner un temps précieux aux concepteurs humains.

‍

Musique et conception sonore

Les modèles de diffusion peuvent également être adaptés pour générer des paysages sonores ou des notes de musique uniques. Ils offrent aux musiciens et aux artistes de nouveaux moyens de visualiser et de créer des expériences auditives. Voici quelques exemples d'utilisation des modèles de diffusion dans le domaine de la création sonore et musicale: 

• Transfert de voix: Les modèles de diffusion peuvent être utilisés pour transformer un son en un autre, par exemple en convertissant un échantillon de grosse caisse en un son de caisse claire pour obtenir des combinaisons sonores uniques.
  ‍
• Variabilité du son et humanisation: La diffusion audio peut apporter de légères variations dans les sons afin d'ajouter un élément humain à l'audio numérique en simulant des performances d'instruments en direct.
  ‍
• Ajustements de la conception sonore: Ces modèles peuvent être utilisés pour modifier subtilement un son (par exemple en améliorant un échantillon de claquement de porte) afin de modifier ses caractéristiques à un niveau plus profond que l'égalisation ou le filtrage traditionnels.
  ‍
• Génération de mélodies: Ils peuvent également contribuer à générer de nouvelles mélodies et inspirer les artistes d'une manière similaire à la consultation de packs d'échantillons.

‍

Film et animation

Un autre cas d'utilisation intéressant des modèles de diffusion est la création de films et de clips d'animation. Ils peuvent être utilisés pour générer des personnages, des arrière-plans réalistes et même des éléments dynamiques dans les scènes. L'utilisation de modèles de diffusion peut présenter un grand avantage pour les sociétés de production. Elle rationalise le flux de travail global et laisse place à davantage d'expérimentation et de créativité dans la narration visuelle. Certains clips réalisés à l'aide de ces modèles sont comparables à de véritables clips animés ou cinématographiques. Il est même possible d'utiliser ces modèles pour créer des films entiers.

‍