Neural Cellular Automata (NCA)

Les automates cellulaires neuronaux (NCA) sont des modèles d’apprentissage automatique dans lesquels une grille de cellules se met à jour de manière répétée en appliquant une règle locale apprise et partagée. Chaque cellule stocke des informations numériques et interagit uniquement avec les cellules voisines. Ensemble, ces petites interactions peuvent produire des images, des motifs ou des prédictions complexes. L’idée intuitive consiste à apprendre aux cellules à coopérer : le comportement global souhaité émerge de nombreuses mises à jour locales.

Fonctionnement des automates cellulaires neuronaux#

Une cellule est une unité de calcul, souvent équivalente à un pixel ou à un voxel — l’équivalent tridimensionnel d’un pixel. Son état est un vecteur de nombres appelé canaux. Certains canaux représentent des sorties visibles, comme des couleurs ou des scores de segmentation ; d’autres contiennent des informations cachées qui favorisent la coordination.

À chaque étape, une cellule recueille des informations auprès de son voisinage, généralement une région de 3×3. Un petit réseau neuronal convertit ces informations en une mise à jour de l’état. Toutes les cellules utilisent les mêmes poids de réseau, même si leur état et leur environnement diffèrent. La perception du voisinage peut s’appuyer sur des filtres qui mesurent les changements locaux, tandis que le réseau appris détermine la réponse à apporter. Certaines implémentations sélectionnent aléatoirement les cellules à mettre à jour à chaque étape, réduisant ainsi la dépendance aux mises à jour synchronisées.

Les mises à jour répétées permettent aux informations de se propager au-delà du voisinage immédiat. Une cellule ne peut pas examiner directement toute la grille, mais elle peut recevoir des informations propagées par les cellules voisines. Ce champ réceptif grandissant aide à comprendre comment un calcul local produit un comportement coordonné à grande échelle.

Comment les NCA apprennent la croissance et la régénération#

L’entraînement apprend à la règle de mise à jour à produire le résultat souhaité après plusieurs étapes. Le processus commence à partir d’un état initial, par exemple une seule cellule graine active ou une image dotée de canaux cachés supplémentaires. Le modèle effectue une séquence de mises à jour, et une fonction de perte mesure l’écart entre sa sortie et la cible.

La rétropropagation transmet les informations d’erreur à rebours dans cette séquence, ce qui permet à un optimiseur d’ajuster les poids partagés. Il s’agit de la rétropropagation à travers le temps : chaque application de la règle de mise à jour devient une étape supplémentaire du calcul d’entraînement.

Apprendre à atteindre une cible n’enseigne pas automatiquement au système à la maintenir. Dans les automates cellulaires neuronaux en croissance, les motifs entraînés uniquement à correspondre à une image à un instant donné peuvent ensuite se détériorer. Réutiliser pendant l’entraînement des états précédemment générés favorise leur persistance. Effacer des régions de ces états enseigne la régénération : les cellules survivantes apprennent à reconstruire les parties manquantes. L’auto-réparation devient ainsi un comportement appris, dont la fiabilité dépend des conditions d’entraînement.

Applications aux images et à la vision par ordinateur#

La génération de textures est une application concrète des NCA. À partir de bruit, les cellules évoluent pour former un motif qui ressemble à une texture de référence. L’objectif peut comparer les statistiques des caractéristiques visuelles plutôt que d’exiger une copie exacte, pixel par pixel. Cela rapproche les NCA du transfert de style neuronal, qui utilise des caractéristiques d’image apprises pour représenter l’apparence.

Les NCA prennent également en charge des flux de travail pratiques de graphisme procédural. Les outils d’automates cellulaires neuronaux de Houdini génèrent des motifs répétables et proposent des commandes pour la rotation locale, l’échelle et la mise à jour. Ces commandes permettent aux artistes de guider un processus appris de génération de motifs sur une image ou une géométrie.

En segmentation d’images médicales, les cellules utilisent les informations de l’image et les états voisins pour produire des prédictions au niveau du pixel ou du voxel. Med-NCA illustre cette approche à l’aide de réseaux compacts de mise à jour appris. Ici, la sortie est un masque anatomique plutôt qu’une nouvelle image générée.

Pour les développeurs qui évaluent différentes approches de segmentation, Ultralytics YOLO propose un flux de travail alternatif pratique. YOLO26 prend en charge la segmentation d’instance, qui produit des masques distincts pour chaque objet, des étiquettes et des scores de confiance. Son flux de travail d’entraînement et de validation sert de référence pour évaluer la qualité des masques et le temps d’exécution, parallèlement à une implémentation de NCA.

Concepts associés et limites pratiques#

Les NCA étendent les automates cellulaires classiques en apprenant la règle de transition locale au lieu de la définir manuellement. Ils ressemblent également aux réseaux neuronaux récurrents : le même calcul appris met à jour de manière répétée un état persistant. Leur particularité est que cet état est réparti entre des cellules qui interagissent localement.

Un réseau de mise à jour compact ne garantit pas une inférence rapide. De nombreuses itérations peuvent être nécessaires avant que des cellules éloignées ne se coordonnent, et les grandes grilles augmentent le coût de calcul. L’entraînement doit également tenir compte de la mémoire nécessaire pour calculer les gradients à travers les mises à jour successives. Ces coûts deviennent particulièrement importants pour les sorties haute résolution.

L’orientation est une autre préoccupation pratique. Dans les NCA en croissance sensibles à la direction, la rotation d’un motif établi peut perturber son évolution ultérieure, car les filtres des cellules continuent d’interpréter des directions horizontales et verticales fixes. Les NCA isotropes répondent à ce problème en rendant la perception de chaque cellule indépendante de l’orientation de la grille. L’évaluation doit donc examiner la poursuite de l’évolution, la récupération après des dommages et le comportement sous diverses transformations, et pas seulement la qualité d’une image de sortie isolée.