Neural Network (NN)

Un réseau neuronal (NN), également appelé réseau neuronal artificiel (ANN), est un modèle d’apprentissage automatique (ML) composé de couches d’unités simples connectées, appelées neurones. Chaque neurone multiplie ses entrées par des poids, ajoute un biais et fait passer la somme dans une fonction d’activation non linéaire. Le réseau apprend en ajustant ces poids et biais jusqu’à ce que ses sorties correspondent aux exemples des données d’entraînement ; son comportement est donc appris à partir des données. Sa conception s’inspire vaguement des neurones biologiques, mais les réseaux modernes se comprennent mieux comme de grandes fonctions mathématiques entraînables. Les réseaux comportant de nombreuses couches relèvent de l’apprentissage profond (DL) et alimentent la vision par ordinateur, la reconnaissance vocale et les grands modèles de langage (LLM).

Comment un réseau neuronal effectue ses calculs#

Les neurones sont organisés en couches. La couche d’entrée reçoit les données, par exemple des valeurs de pixels ou des mesures de capteurs ; une ou plusieurs couches cachées les transforment et la couche de sortie produit la prédiction, par exemple des scores de classe ou une valeur prédite. Dans une couche entièrement connectée, chaque neurone reçoit toutes les sorties de la couche précédente ; la couche entière correspond donc à une multiplication matricielle suivie d’une activation élément par élément. Le passage des données dans toutes les couches, dans l’ordre, constitue la passe avant. L’activation rend la profondeur utile : sans elle, les couches empilées se réduisent à une seule fonction linéaire. Avec elle, un réseau doté d’une seule couche cachée suffisamment large peut approximer toute fonction continue avec une précision arbitraire, résultat connu sous le nom de théorème d’approximation universelle.

L’extrait PyTorch ci-dessous calcule manuellement un neurone, puis calcule simultanément toute une couche de quatre neurones :

import torch
from torch import nn

torch.manual_seed(1)
x = torch.tensor([0.5, -1.0, 2.0])  # one example with three input features

# A layer of four neurons: each has three weights and one bias
layer = nn.Linear(in_features=3, out_features=4)

# Neuron 0 by hand: weighted sum of inputs plus bias, then a ReLU activation
z = (layer.weight[0] * x).sum() + layer.bias[0]
print(f"Neuron 0 by hand: {torch.relu(z).item():.4f}")

# The layer computes all four neurons at once as one matrix multiplication
outputs = torch.relu(layer(x))
print(f"All four neurons: {[round(v, 4) for v in outputs.tolist()]}")

Il affiche Neuron 0 by hand: 0.3906 et All four neurons: [0.3906, 1.1465, 0.0, 0.0]. Le calcul manuel correspond au premier neurone de la couche, et l’activation ReLU met à zéro les deux neurones dont les sommes pondérées sont négatives. La couche stocke 16 valeurs entraînables, soit 12 poids et 4 biais ; les réseaux réels empilent de telles couches jusqu’à atteindre des millions ou des milliards de paramètres.

Comment les réseaux neuronaux apprennent#

L’entraînement commence avec des poids aléatoires et répète une boucle simple. Un lot d’exemples étiquetés traverse le réseau en passe avant, une fonction de perte mesure l’écart entre les prédictions et les étiquettes, la rétropropagation applique la règle de la chaîne pour calculer la contribution de chaque poids à l’erreur, puis un optimiseur tel que la descente de gradient stochastique (SGD) ou Adam ajuste légèrement chaque poids dans le sens qui réduit la perte. Un passage complet sur le jeu d’entraînement constitue une époque, et l’entraînement s’arrête généralement lorsque la perte sur les données de validation mises de côté cesse de s’améliorer, car un réseau qui continue ensuite à ajuster le jeu d’entraînement commence à faire du surapprentissage.

L’entraînement depuis zéro nécessite généralement de grands jeux de données étiquetées, et l’apprentissage par transfert réduit ce besoin en partant de poids préentraînés sur un grand jeu de données. Leurs millions de poids appris sont également difficiles à interpréter, ce qui motive la recherche en IA explicable (XAI).

Principaux types de réseaux neuronaux#

La manière dont les neurones sont connectés, appelée architecture, détermine les types de données qu’un réseau peut traiter efficacement :

• Réseaux à propagation avant : des couches entièrement connectées qui transmettent les données dans une seule direction, également appelées perceptrons multicouches (MLPs). Ils conviennent aux données tabulaires et servent de blocs de construction dans des modèles plus vastes.
• Réseaux neuronaux convolutifs (CNNs) : font glisser de petits filtres partagés sur une image à l’aide de la convolution, l’architecture standard pour la vision. Les connexions résiduelles leur permettent d’atteindre des centaines de couches.
• Réseaux neuronaux récurrents (RNNs) : traitent les séquences étape par étape tout en conservant un état caché, avec des variantes à portes comme le LSTM et le GRU pour une mémoire plus longue.
• Transformers : utilisent l’auto-attention pour relier chaque élément d’une séquence à tous les autres en parallèle. Ils sont au cœur des LLMs et des Transformers de vision.
• Réseaux neuronaux à impulsions (SNNs) : communiquent au moyen d’impulsions discrètes au fil du temps, à la manière des neurones biologiques, et fonctionnent efficacement sur des puces neuromorphiques.

La plupart des modèles actuels combinent ces architectures. YOLO26 est un réseau convolutif avec des blocs d’auto-attention sur ses cartes de caractéristiques de plus faible résolution, et son modèle de détection nano utilise environ 2,4 millions de paramètres pour localiser et classer des objets dans une image de 640×640 en une seule propagation avant.

Réseaux neuronaux et termes associés#

• Apprentissage profond : un réseau neuronal avec une ou deux couches cachées est peu profond, et l’apprentissage profond consiste à entraîner des réseaux comportant de nombreuses couches, qui apprennent leur propre hiérarchie de caractéristiques à partir de données brutes. Tout modèle d’apprentissage profond est un réseau neuronal.
• Apprentissage automatique : les réseaux neuronaux constituent une famille de modèles d’apprentissage automatique, aux côtés des arbres de décision, des machines à vecteurs de support et des arbres boostés par gradient, qui restent très compétitifs sur les données tabulaires.
• Réseaux neuronaux biologiques : les neurones réels communiquent au moyen d’impulsions électriques temporisées et s’adaptent grâce à des processus chimiques que les neurones artificiels ne modélisent pas. Les réseaux neuronaux à impulsions reproduisent davantage ces comportements que les réseaux classiques.

Un bref historique#

Warren McCulloch et Walter Pitts ont décrit un modèle mathématique du neurone en 1943 : une unité qui s’active lorsque la somme de ses entrées binaires dépasse un seuil. Le perceptron de Frank Rosenblatt, en 1958, apprenait les poids de telles unités à partir d’exemples, mais en 1969, Marvin Minsky et Seymour Papert ont montré qu’un perceptron à une seule couche ne pouvait même pas calculer la fonction XOR, et l’intérêt pour le sujet s’est estompé. Les réseaux multicouches résolvent XOR, et en 1986, David Rumelhart, Geoffrey Hinton et Ronald Williams ont montré que la rétropropagation entraîne leurs couches cachées à apprendre des représentations internes utiles. Les réseaux profonds ont pris le dessus en vision par ordinateur en 2012, quand AlexNet, entraîné sur deux GPUs, a remporté le défi ImageNet avec un taux d’erreur top-5 de 15,3 %, contre 26,2 % pour le deuxième meilleur résultat.