Neural Ordinary Differential Equations (Neural ODEs)

Les équations différentielles ordinaires neuronales, ou Neural ODEs, sont des réseaux de neurones qui modélisent l'évolution continue d'un état caché au lieu de le faire passer par une séquence fixe de couches. Elles définissent un taux de variation apprennable, écrit sous la forme dh/dt = f(h, t, parameters), et utilisent un solveur d'équations différentielles numériques pour faire évoluer l'état d'une valeur initiale vers un temps demandé. Intuitivement, un réseau de neurones conventionnel apprend une pile de transformations, tandis qu'une Neural ODE apprend le chemin continu reliant son entrée et sa sortie.

Fonctionnement des Neural ODEs#

La fonction f est généralement un petit réseau de neurones appelé champ de vecteurs ou fonction de dynamique. Étant donné l'état actuel h et le temps optionnel t, elle prédit la direction et la vitesse à laquelle cet état doit se déplacer. Un solveur d'équations différentielles évalue cette fonction de manière répétée et intègre ces modifications pour estimer l'état ultérieur.

Trois composants définissent le flux de travail :

• État initial : L'entrée, l'observation encodée ou la condition connue du système au temps de départ.
• Dynamique apprise : Une fonction paramétrée qui renvoie la dérivée de l'état plutôt que l'état suivant directement.
• Intégration numérique : Un algorithme tel que Runge-Kutta qui approxime la trajectoire. L'solve_ivp interface d'équations différentielles ordinaires illustre la manière dont les problèmes à valeur initiale sont traités par les logiciels numériques conventionnels.

Les solveurs adaptatifs peuvent effectuer de petits pas là où la dynamique change rapidement et des pas plus grands dans les régions plus lisses. Par conséquent, le coût de calcul dépend de la dynamique apprise, de la méthode du solveur, de la longueur de l'intervalle et des tolérances d'erreur, et pas seulement d'un nombre de couches prédéterminé. L'exemple de Neural ODE DiffEqFlux démontre directement cette formulation en temps continu.

Différences avec les modèles apparentés#

• Réseaux résiduels : Un bloc résiduel effectue une mise à jour discrète telle que « l'état actuel plus un changement appris ». Une Neural ODE peut être considérée comme une extension à profondeur continue dans laquelle un solveur d'équations différentielles détermine les mises à jour intermédiaires.

• Réseaux de neurones récurrents : Les réseaux de neurones récurrents mettent à jour leur état caché à des étapes de séquence discrètes. Les Neural ODEs évoluent en continu et peuvent naturellement interroger des états à des horodatages arbitraires, bien qu'elles puissent nécessiter davantage de calculs.

• Modèles d'espace d'états : Les deux représentent des états cachés en évolution. Les modèles d'espace d'états utilisent souvent une dynamique structurée discrète ou continue pour un traitement efficace des séquences, tandis qu'une Neural ODE place spécifiquement un réseau de neurones à l'intérieur d'une résolution numérique d'équations différentielles ordinaires.

• Opérateurs neuronaux : Les opérateurs neuronaux apprennent des correspondances entre des fonctions ou des champs entiers, souvent à travers des résolutions spatiales variables. Les Neural ODEs apprennent généralement la trajectoire d'un état de dimension finie à partir d'une condition initiale.

Les Neural ODEs diffèrent également des réseaux de neurones informés par la physique. Un réseau informé par la physique approxime généralement la solution d'une équation différentielle tout en étant contraint par une équation connue ; une Neural ODE apprend généralement tout ou partie de la fonction dérivée elle-même.

Applications concrètes#

• Analyse de séries temporelles irrégulières : Les mesures hospitalières, la télémétrie des machines et les capteurs environnementaux peuvent arriver à des intervalles inégaux. Une Neural ODE peut faire évoluer l'état latent d'un patient ou d'une machine entre des horodatages réels, prenant en charge l'interpolation, la prévision et la gestion des observations manquantes sans forcer chaque échantillon sur une grille fixe.

• Suivi d'objets et prévision de mouvement : Un système de vision peut utiliser Ultralytics YOLO26 pour observer des objets ou des points clés dans une vidéo, puis transmettre les positions et les vitesses à une Neural ODE distincte qui modélise le mouvement continu. Cela peut aider à estimer les trajectoires entre les images ou pendant de brèves occlusions. YOLO lui-même n'est pas une Neural ODE ; l'équation différentielle ordinaire agit comme un modèle temporel en aval.

Pour la partie perception de ces systèmes, Ultralytics Platform prend en charge l'annotation de jeux de données dans le cloud, l'entraînement de modèles, le déploiement et la surveillance, tandis que la Neural ODE personnalisée reste un composant de dynamique distinct.

Exemple différentiable minimal#

The torchdiffeq package provides differentiable ODE solvers for PyTorch. After running pip install torch torchdiffeq, this example creates a neural vector field, integrates a two-dimensional state, and computes a training gradient:

import torch
from torch import nn
from torchdiffeq import odeint

torch.manual_seed(0)

dynamics = nn.Sequential(
    nn.Linear(2, 32),
    nn.Tanh(),
    nn.Linear(32, 2),
)

initial_state = torch.tensor([[1.0, 0.0]])
times = torch.linspace(0.0, 2.0, 21)

trajectory = odeint(lambda _time, state: dynamics(state), initial_state, times)
loss = trajectory[-1].square().mean()
loss.backward()

print(dynamics[0].weight.grad.norm())

La trajectoire de sortie contient l'état estimé à chaque temps demandé. Le gradient non nul montre que le solveur reste une partie du calcul entraînable. Cela s'appuie sur des concepts couverts par la différenciation automatique PyTorch ; des systèmes de gradient comparables sont disponibles dans TensorFlow et JAX.

Considérations pratiques#

Les Neural ODEs sont particulièrement utiles lorsque l'évolution continue, les horodatages irréguliers ou la structure dynamique connue comptent. Elles ne sont pas automatiquement plus rapides ou plus précises que les couches ordinaires.

Les tolérances du solveur doivent être validées car des tolérances lâches peuvent réduire la précision, tandis que des tolérances strictes peuvent déclencher de nombreuses évaluations de fonctions. Une dynamique rigide ou discontinue peut également rendre l'entraînement lent ou instable. Les équipes doivent comparer la différenciation directe avec les méthodes de sensibilité adjointe, surveiller les évaluations du solveur et le comportement du gradient, et comparer les performances avec des bases de référence récurrentes ou d'espace d'états plus simples. Les outils de production tels que la couche Neural ODE documentée de MATLAB exposent également les paramètres de solveur et de gradient, soulignant que la configuration numérique fait partie intégrante du modèle.