Deep Learning (DL)

L’apprentissage profond (DL) est une branche de l’apprentissage automatique (ML) qui entraîne des réseaux de neurones composés de nombreuses couches empilées à apprendre directement à partir de données brutes, comme les pixels, les formes d’onde audio et le texte. Le terme « profond » fait référence à cette profondeur : chaque couche transforme la sortie de la précédente, de sorte que le réseau construit sa propre hiérarchie de caractéristiques, des contours aux textures, puis aux objets entiers d’une image, sans que des ingénieurs aient à concevoir ces caractéristiques à la main. L’apprentissage profond alimente la vision par ordinateur moderne, la reconnaissance vocale, les grands modèles de langage (LLM) et l’IA générative.

Fonctionnement de l’apprentissage profond#

Un réseau de neurones est une chaîne de couches. Chaque couche multiplie son entrée par une matrice de poids appris, ajoute un biais et transmet le résultat à une fonction d’activation non linéaire comme ReLU. La non-linéarité rend la profondeur utile : sans elle, toute pile de couches se réduit à une seule transformation linéaire.

L’entraînement ajuste les poids afin que les sorties du réseau correspondent aux étiquettes d’entraînement. À chaque étape, un lot de données traverse le réseau, une fonction de perte mesure l’erreur, la rétropropagation calcule la contribution de chaque poids à cette erreur, et un optimiseur comme la descente de gradient stochastique (SGD) ou Adam ajuste chaque poids dans le sens qui la réduit. La répétition de ce processus pendant de nombreuses époques transforme des poids aléatoires en caractéristiques utiles. L’exemple PyTorch ci-dessous entraîne une seule couche linéaire et un réseau à trois couches sur des points étiquetés selon qu’ils se trouvent ou non à l’intérieur d’un cercle :

import torch
from torch import nn

torch.manual_seed(0)

# Points inside a circle are class 1: no straight line separates the classes
x = torch.rand(1000, 2) * 2 - 1
y = (x.pow(2).sum(dim=1) < 0.5).float().unsqueeze(1)

# A single linear layer versus stacked layers with nonlinear activations
models = {
    "linear": nn.Linear(2, 1),
    "deep": nn.Sequential(nn.Linear(2, 16), nn.ReLU(), nn.Linear(16, 16), nn.ReLU(), nn.Linear(16, 1)),
}
for name, model in models.items():
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    for step in range(500):
        loss = nn.functional.binary_cross_entropy_with_logits(model(x), y)
        optimizer.zero_grad()
        loss.backward()  # backpropagation computes gradients for every layer
        optimizer.step()
    accuracy = ((model(x) > 0) == y).float().mean()
    print(f"{name}: {accuracy:.1%} accuracy")

Le modèle linéaire atteint 60,8 %, soit à peu près la proportion de points situés à l’extérieur du cercle, car une frontière droite ne peut pas délimiter une région. Le modèle profond atteint 99,9 % : ses couches cachées incurvent la frontière de décision en fonction des données. Ultralytics YOLO26 est entraîné de la même manière, mais à une échelle bien plus grande, et model.train() exécute les passes avant, le calcul de la perte et la rétropropagation sur des images étiquetées, sur un GPU si disponible.

Apprentissage profond et apprentissage automatique#

L’apprentissage profond est un sous-ensemble de l’apprentissage automatique ; la principale différence entre les deux tient à l’origine des caractéristiques. Les algorithmes classiques, comme les arbres de décision, les machines à vecteurs de support et les arbres à gradient boosté, apprennent à partir de caractéristiques définies par des personnes, comme le montant d’une transaction ou le nombre d’occurrences d’un mot. Les réseaux profonds apprennent eux-mêmes les caractéristiques, ce qui explique leur prédominance sur les données non structurées comme les images, l’audio et le texte. Cette capacité a un coût : les modèles profonds ont généralement besoin de bien plus de données étiquetées, s’entraînent sur des GPU ou d’autres accélérateurs, et rendent leur raisonnement moins transparent. Pour les données tabulaires, les arbres à gradient boosté comme XGBoost restent des concurrents redoutables, et l’apprentissage par transfert réduit le déficit de données des modèles profonds en partant d’un réseau préentraîné sur un vaste jeu de données.

Principales architectures#

• Réseaux de neurones convolutifs (CNN) : Font glisser de petits filtres appris sur une image, afin qu’un même motif soit reconnu partout dans l’image. Les CNN sont à la base de la détection d’objets et de la segmentation d’images en temps réel.
• Réseaux de neurones récurrents (RNN) : Traitent les séquences étape par étape tout en conservant un état caché. Les variantes comme les LSTM dominaient la reconnaissance vocale et la traduction avant les Transformers.
• Transformers : Utilisent l’auto-attention pour relier en parallèle chaque élément d’une séquence à tous les autres. Introduits en 2017, ils alimentent les LLM et les Vision Transformers (ViT).
• Modèles de diffusion : Apprennent à supprimer le bruit étape par étape, ce qui leur permet de générer des images, des vidéos et de l’audio à partir de bruit aléatoire.

Bref historique#

Les idées à l'origine de l'apprentissage profond remontent à plusieurs décennies. La rétropropagation a été popularisée par un article de 1986 de David Rumelhart, Geoffrey Hinton et Ronald Williams, mais les réseaux sont restés peu profonds jusqu'à la conjonction de trois éléments : de grands jeux de données annotés comme ImageNet, des GPU assez rapides pour les exploiter et des techniques telles que les activations ReLU et le dropout. En 2012, AlexNet a ramené le taux d'erreur top-5 sur ImageNet à 15,3 %, contre 26,2 % pour le deuxième meilleur résultat, et presque du jour au lendemain, le domaine s'est tourné vers les réseaux profonds. Hinton, Yann LeCun et Yoshua Bengio ont reçu le prix Turing 2018 pour ces travaux, et le prix Nobel de physique 2024 a été décerné à Hinton et John Hopfield pour leurs découvertes qui rendent possible l'apprentissage automatique avec des réseaux de neurones artificiels. La profondeur des réseaux n'a cessé d'augmenter : les connexions résiduelles ont permis à ResNet d'entraîner des réseaux de 152 couches, et un ensemble de ces réseaux a remporté le défi de classification ImageNet 2015 avec un taux d'erreur top-5 de 3,57 %.