Hypernetworks

Un hyperréseau est un réseau neuronal dont la sortie correspond aux poids d’un autre réseau, appelé réseau cible ou réseau principal. Au lieu d’apprendre un ensemble fixe de poids du modèle, le réseau cible reçoit des poids calculés par l’hyperréseau à partir d’une entrée de conditionnement, telle qu’un identifiant de tâche, un profil utilisateur, une description textuelle ou une image d’exemple. Un seul hyperréseau entraîné peut ainsi produire un modèle spécialisé différent pour chaque entrée en une seule propagation avant. Dans l’article HyperNetworks publié par Google Brain en 2016, David Ha, Andrew Dai et Quoc Le ont utilisé de petits hyperréseaux pour générer les poids de réseaux convolutifs et récurrents profonds. L’idée apparaît aujourd’hui dans l’apprentissage continu, la personnalisation de modèles de diffusion et la recherche d’architecture neuronale.

Fonctionnement des hyperréseaux#

Pendant l’entraînement, seuls les paramètres propres à l’hyperréseau sont appris. L’entrée de conditionnement, souvent un plongement appris pour chaque tâche ou couche, traverse l’hyperréseau pour produire les poids du réseau cible. Celui-ci traite les données réelles avec ces poids, puis la rétropropagation transmet le gradient de perte à travers les poids générés jusqu’à l’hyperréseau :

Ha et ses collègues ont distingué les hyperréseaux statiques, qui génèrent une fois les poids de chaque couche à partir d’un plongement de couche, des hyperréseaux dynamiques, qui recalculent les poids pour chaque entrée ou pas de temps, comme le faisait leur HyperLSTM à chaque étape d’une séquence. À l’exécution, les poids générés sont des tenseurs ordinaires : le réseau cible peut donc avoir n’importe quelle architecture, y compris une couche de Transformer dont les projections d’attention proviennent de l’hyperréseau. Le principal défi d’ingénierie est la taille de sortie : une couche comptant des millions de poids nécessiterait des millions de sorties d’hyperréseau par couche. Les conceptions pratiques génèrent les poids par blocs, chacun à partir de son propre plongement de bloc, ne génèrent que de petits facteurs de faible rang pour chaque mise à jour de poids, ou ne génèrent qu’une échelle et un décalage par canal, comme dans la modulation linéaire par caractéristiques (FiLM).

Exemple d’hyperréseau avec PyTorch#

Cet exemple PyTorch entraîne un hyperréseau sur une famille de tâches : des ondes sinusoïdales d’amplitudes et de phases différentes. Pour chaque tâche, il génère les 97 poids d’un petit réseau cible, et seul l’hyperréseau est entraîné :

import math

import torch
from torch import nn

torch.manual_seed(0)
x = torch.linspace(-math.pi, math.pi, 64)

# Hypernetwork: maps a task (amplitude, phase) to all 97 weights of a 1-32-1 target network
hyper = nn.Sequential(nn.Linear(2, 128), nn.ReLU(), nn.Linear(128, 97))
optimizer = torch.optim.Adam(hyper.parameters(), lr=1e-3)


def target(x, w):
    """Run the target network with weights w produced by the hypernetwork."""
    return torch.relu(x[:, None] * w[:32] + w[32:64]) @ w[64:96] + w[96]


# Train only the hypernetwork, on a new random sine task at every step
for step in range(5000):
    task = torch.rand(2) * torch.tensor([2.0, math.pi])
    loss = ((target(x, hyper(task)) - task[0] * torch.sin(x + task[1])) ** 2).mean()
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Unseen task: one forward pass of the hypernetwork produces the target network's weights
y = 1.5 * torch.sin(x + 1.0)
with torch.no_grad():
    mse = ((target(x, hyper(torch.tensor([1.5, 1.0]))) - y) ** 2).mean()
print(f"Unseen task MSE: {mse:.3f} with generated weights, {(y**2).mean():.3f} predicting zero")

Il affiche Unseen task MSE: 0.010 with generated weights, 1.132 predicting zero. Le réseau cible pour une amplitude de 1.5 et une phase de 1.0 n’a jamais été entraîné ; ses poids proviennent d’un seul appel à l’hyperréseau, qui a appris comment les poids adéquats varient dans toute la famille de tâches.

Applications#

• Apprentissage continu : un hyperréseau conditionné par tâche stocke un petit plongement par tâche et régénère les poids de cette tâche à la demande. L’entraînement sur une nouvelle tâche inclut une pénalité qui maintient inchangées les sorties de l’hyperréseau pour les plongements des tâches précédentes, ce qui limite l’oubli catastrophique.
• Personnalisation des modèles génératifs : HyperDreamBooth prédit un petit ensemble de poids personnalisés pour un modèle de diffusion texte-image à partir d’une seule photo de visage, puis les affine brièvement. Il personnalise le modèle en une vingtaine de secondes, soit 25 fois plus vite que DreamBooth, avec des poids personnalisés 10 000 fois plus petits que ceux d’un modèle DreamBooth.
• Recherche d’architecture neuronale : les hyperréseaux à graphes lisent une architecture candidate sous forme de graphe et en prédisent les poids. Les candidates peuvent ainsi être classées selon leur précision de validation avec les poids prédits, au lieu d’être entraînées une par une.
• Classification sans apprentissage préalable : les auteurs de CLIP décrivent son encodeur de texte comme un hyperréseau qui génère les poids d’un classifieur linéaire à partir des noms de classes. CLIP peut ainsi classer des images dans des catégories qui ne figuraient jamais parmi les étiquettes d’entraînement.

Les détecteurs à vocabulaire ouvert appliquent la même idée à la détection. Ultralytics YOLOE-26, basé sur YOLO26, encode une seule fois chaque nom de classe transmis à set_classes() avec MobileCLIP2, un encodeur de texte compact de type CLIP, puis utilise les plongements obtenus comme poids pour évaluer chaque région candidate par rapport à chaque classe. L’export intègre ces plongements dans une convolution 1x1 ordinaire de la tête de détection.

Hyperréseaux et termes apparentés#

• Ajustement fin : adapte un ensemble fixe de poids à une nouvelle tâche en appliquant des étapes de gradient aux données de cette tâche. Un hyperréseau entraîné produit les poids d’une nouvelle tâche en une seule propagation avant, à partir de la seule entrée de conditionnement de la tâche.
• Méta-apprentissage : objectif plus général qui consiste à apprendre à s’adapter rapidement à de nouvelles tâches. Les hyperréseaux sont une façon de le mettre en œuvre : ils convertissent directement une description de tâche ou quelques exemples en poids.
• Mélange d’experts (MoE) : achemine chaque entrée vers quelques-uns parmi de nombreux sous-réseaux experts fixes. Un hyperréseau calcule de nouveaux poids pour chaque entrée ou tâche au lieu de sélectionner parmi des poids enregistrés.
• Réseaux à poids rapides : réseaux qui écrivent les poids à court terme d’un autre réseau au fil du traitement d’une séquence, une idée datant du début des années 1990. L’auto-attention linéarisée dans les Transformers est formellement équivalente à un tel réseau à poids rapides.