Licence YOLO
Retour au glossaire Ultralytics

Consistency Models

Les modèles de cohérence mappent directement n’importe quel point bruité d’une trajectoire de diffusion vers des données propres, afin de générer des images en une ou deux étapes. Découvre leur entraînement.

Un modèle de cohérence est un modèle d’IA générative qui associe directement n’importe quel point de la trajectoire de débruitage d’un modèle de diffusion au point de départ sans bruit de cette trajectoire, ce qui lui permet de transformer du bruit pur en un échantillon avec une seule évaluation du réseau. Les modèles de diffusion obtiennent le même résultat en éliminant le bruit au fil de dizaines, voire de centaines de petites étapes, ce qui les rend lents pour l’inférence en temps réel. Yang Song, Prafulla Dhariwal, Mark Chen et Ilya Sutskever d’OpenAI ont présenté les modèles de cohérence en mars 2023 dans l’article Modèles de cohérence, où ils ont rapporté, en une seule étape, des scores de distance de Fréchet-Inception (FID) de 3.55 sur CIFAR-10 et de 6.20 sur ImageNet 64 x 64, les meilleurs résultats en une étape à l’époque.

La propriété de cohérence#

L’échantillonnage par diffusion peut s’écrire sous la forme d’une équation différentielle ordinaire de flux de probabilité (ODE), qui relie chaque échantillon de bruit à un seul échantillon de données par une trajectoire déterministe. Chaque point de cette trajectoire, du bruit léger au bruit pur, partage la même origine. Une fonction de cohérence f(x, t) prend un point x au niveau de bruit t et renvoie cette origine. L’auto-cohérence signifie qu’elle renvoie la même sortie pour tous les points d’une trajectoire. Au niveau de bruit le plus faible, la fonction doit renvoyer son entrée sans la modifier : cette condition limite est intégrée au réseau par une connexion de saut, dont le poids sur l’entrée vaut 1 à ce niveau et celui sur la sortie du réseau neuronal vaut 0.

Pour des données gaussiennes unidimensionnelles, la fonction de cohérence a une forme fermée qui illustre ces deux propriétés en quelques lignes de PyTorch :

import torch

torch.manual_seed(0)
mu, s, T = 2.0, 0.5, 80.0  # data distribution N(2, 0.5^2); noise levels run from 0 to T = 80


def consistency_fn(x, t):
    """Exact consistency function for Gaussian data: map x at noise level t to its trajectory's clean origin."""
    return mu + (x - mu) * s / (s**2 + t**2) ** 0.5


# Points on one probability-flow ODE trajectory, from the clean sample 2.6 out to pure noise
t = torch.tensor([0.0, 1.0, 10.0, 80.0])
x_t = mu + (2.6 - mu) * (s**2 + t**2) ** 0.5 / s
print("x_t:      ", x_t.numpy().round(2))
print("f(x_t, t):", consistency_fn(x_t, t).numpy().round(2))

# One-step generation: draw noise at t = T and map it to data with a single call
samples = consistency_fn(T * torch.randn(100_000), T)
print(f"One-step samples: mean {samples.mean():.2f}, std {samples.std():.2f}")

Les quatre points de la trajectoire, à 2.6, 3.34, 14.01 et 98.0, reviennent tous à 2.6. Un seul appel transforme 100 000 tirages de bruit pur en échantillons de moyenne 1.99 et d’écart type 0.50, conformes à la distribution des données. Les images n’ont pas de formule équivalente : un réseau apprend donc f à partir des données.

Entraînement par distillation ou à partir de zéro#

  • Distillation de cohérence : un modèle de diffusion préentraîné et un solveur ODE font passer un échantillon bruité d’un niveau de bruit à un niveau inférieur en une étape, et la fonction de perte rapproche les sorties du modèle aux deux points.
  • Entraînement par cohérence : ne nécessite aucun enseignant. Il crée deux points voisins en ajoutant le même tirage de bruit à une image propre à deux niveaux de bruit, ce qui estime la trajectoire sans résoudre l’ODE.

Dans l’article original, la sortie au point le moins bruité provenait d’une moyenne mobile exponentielle (EMA) des propres poids du modèle, une copie mise à jour lentement qui évite que la cible ne change à chaque étape. Ultralytics YOLO26 conserve le même type de moyenne pendant l’entraînement : il met à jour une copie EMA du modèle après chaque étape d’optimisation, avec un facteur de décroissance qui augmente jusqu’à 0.9999. La validation et les points de contrôle last.pt et best.pt enregistrés utilisent cette copie. En octobre 2023, l’entraînement par cohérence amélioré (iCT) de Song et Dhariwal a fixé à zéro le facteur de décroissance EMA de cette copie cible, remplacé la perte perceptuelle LPIPS par une perte Pseudo-Huber et atteint des FID en une étape de 2.51 sur CIFAR-10 et de 3.25 sur ImageNet 64 x 64, sans modèle de diffusion préentraîné. En octobre 2024, le sCM en temps continu de Cheng Lu et Yang Song a porté cette approche à 1,5 milliard de paramètres, avec un FID en deux étapes de 1.88 sur ImageNet 512 x 512.

Échantillonnage en plusieurs étapes et édition sans apprentissage préalable#

Une étape produit l’échantillon le plus rapidement, et quelques étapes supplémentaires en améliorent la qualité. L’échantillonnage en plusieurs étapes alterne un saut vers les données propres et une nouvelle injection de bruit à un niveau inférieur ; chaque passe affine ainsi l’estimation précédente :

La même boucle permet d’éditer des images sans entraînement spécifique à la tâche. Remplacer les pixels connus après chaque saut permet de réaliser du remplissage d’image, tandis que contraindre une version sous-échantillonnée ou en niveaux de gris permet d’effectuer du suréchantillonnage ou une colorisation, trois applications présentées dans l’article original.

  • Modèles de cohérence latente (LCM) : distillent Stable Diffusion en un modèle qui fonctionne dans son espace latent, rendant possible la génération texte-image en une à quatre étapes avec des modèles ouverts dès octobre 2023.
  • Politiques de diffusion : contrôleurs de robots qui débruitent des séquences d’actions. En 2024, Aaditya Prasad et ses collègues de Stanford et Princeton les ont distillées dans une politique de cohérence (Consistency Policy), accélérant l’inférence d’un ordre de grandeur par rapport à l’option la plus rapide et permettant son exécution sur un GPU d’ordinateur portable.
  • Flux rectifié : redresse les trajectoires bruit-données elles-mêmes, de sorte qu’un solveur ODE ordinaire nécessite peu d’étapes.
  • Distillation progressive : La méthode de Tim Salimans et Jonathan Ho, publiée en 2022, divise par deux le nombre d'étapes d'un modèle de diffusion à chaque cycle de distillation, jusqu'à atteindre 4 étapes après plusieurs cycles ; la distillation par cohérence, elle, entraîne directement un saut d'une seule étape.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique