Logistic Regression

La régression logistique est une méthode d’apprentissage supervisé pour la classification qui estime la probabilité qu’une entrée appartienne à une classe en faisant passer une somme pondérée de ses caractéristiques par la fonction logistique, ou sigmoïde. Son nom contient « régression » parce que le modèle régresse le log-rapport de chances de la classe sur les caractéristiques, mais elle sert à classifier : un filtre anti-spam, un modèle de crédit ou un test de dépistage transforme la probabilité en décision oui/non à l’aide d’un seuil. Joseph Berkson l’a développée comme modèle statistique général à partir de 1944, année où il a créé le terme « logit », et elle reste la référence pour classifier les données tabulaires, car son entraînement ne prend que quelques secondes, elle produit des probabilités et ses poids s’interprètent directement comme des effets sur les chances.

Fonctionnement de la régression logistique#

Le modèle calcule un score, z = w·x + b, exactement comme la régression linéaire, puis le convertit en probabilité, p = 1 / (1 + e⁻ᶻ). La sigmoïde ramène tout score dans l’intervalle de 0 à 1, renvoie 0,5 lorsque z = 0 et tend vers 1 ou 0 lorsque z augmente fortement dans un sens ou dans l’autre. L’opération inverse montre ce que signifie le score : z est égal au log-rapport de chances, log(p / (1 − p)) ; le modèle suppose donc que le log-rapport de chances de la classe positive varie linéairement avec chaque caractéristique, et sa frontière de décision est une droite, un plan ou un hyperplan. Une augmentation d’une unité d’une caractéristique multiplie les chances par eʷ, où w est le poids de cette caractéristique ; c’est pourquoi les études médicales et financières présentent les résultats de la régression logistique sous forme de rapports de cotes.

L’entraînement définit les poids par maximum de vraisemblance, ce qui revient à minimiser la perte logarithmique, également appelée entropie croisée binaire : −[y·log(p) + (1 − y)·log(1 − p)], moyennée sur les données d’entraînement. La fonction de perte est convexe et possède donc un minimum unique, mais aucune solution en forme fermée ; les solveurs comme L-BFGS, la méthode de Newton ou la descente de gradient l’atteignent donc par itérations. Sans pénalité, les classes qu’un hyperplan sépare parfaitement poussent les poids vers l’infini ; les bibliothèques ajoutent donc une régularisation par défaut : LogisticRegression de scikit-learn applique une pénalité L2 avec C = 1.0, et les valeurs de C plus faibles renforcent la régularisation. Comme la perte logarithmique récompense la précision des probabilités, une régression logistique bien spécifiée et convenablement régularisée tend à renvoyer des probabilités bien calibrées, propriété mesurée par des scores comme le score de Brier.

Seuils de décision#

Un seuil transforme chaque probabilité en étiquette, et 0,5 n’est que la valeur par défaut. Le déplacer crée un compromis entre précision et rappel : un modèle de dépistage du cancer l’abaisse pour manquer moins de tumeurs, tandis qu’un filtre anti-spam le relève pour éviter de masquer des courriels légitimes. La courbe ROC représente ce compromis pour chaque seuil, et l’aire sous la courbe mesure la capacité du modèle à classer les positifs devant les négatifs. Cet exemple entraîne une régression logistique sur le jeu de données du cancer du sein du Wisconsin fourni avec scikit-learn et compare deux seuils :

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

Avec le seuil par défaut de 0,5, toutes les tumeurs signalées par le modèle sont malignes (précision 1.000), et il manque 2 des 53 tumeurs malignes de l’ensemble de test (rappel 0.962). À 0,1, il détecte les 53 (rappel 1.000) et signale aussi 11 des 90 tumeurs bénignes (précision 0.828).

Classificateurs multiclasse et réseaux de neurones#

Pour plus de deux classes mutuellement exclusives, la régression logistique multinomiale calcule un score par classe et convertit les scores en probabilités dont la somme vaut 1 avec la fonction softmax, entraînée avec une perte d’entropie croisée ; l’approche un contre tous entraîne plutôt un modèle binaire distinct par classe. Les problèmes multi-étiquettes, où une entrée peut porter plusieurs étiquettes à la fois, utilisent une fonction sigmoïde indépendante par classe.

La couche de sortie de la plupart des réseaux de neurones de classification correspond à l’un de ces modèles appliqué aux caractéristiques apprises par les couches précédentes, comme dans les réseaux de classification d’images qui se terminent par une couche linéaire et une fonction softmax. La tête de détection de YOLO26 termine chaque branche de classification par une convolution 1×1 qui produit un logit par classe à chaque emplacement de la grille ; une sigmoïde convertit chaque logit en score de classe indépendant, entraîné avec une entropie croisée binaire, de sorte que chaque score de classe correspond à une régression logistique sur les caractéristiques à cet emplacement. L’argument conf du mode predict, fixé à 0.25 par défaut, est le seuil de décision appliqué à ces scores.

Applications#

• Scores de risque clinique : Les modèles estiment la probabilité d’une maladie, d’une complication ou d’une réhospitalisation à partir de l’âge, de la tension artérielle et des résultats d’analyses ; les rapports de cotes indiquent aux cliniciens dans quelle mesure chaque facteur augmente le risque.
• Évaluation du risque de crédit : Les prêteurs construisent des grilles de scores de crédit fondées sur la régression logistique, car la contribution de chaque caractéristique au score peut être expliquée aux demandeurs et aux organismes de réglementation.
• Prédiction des clics sur les publicités : L’article de Google de 2013 sur son système de taux de clics en production décrivait une régression logistique entraînée en ligne avec l’algorithme FTRL-Proximal, qui maintient le modèle parcimonieux, afin d’estimer la probabilité qu’un utilisateur clique sur une publicité.
• Prédiction du désabonnement : Les entreprises par abonnement estiment la probabilité que chaque client résilie au cours de la période suivante et ciblent les offres de fidélisation sur les comptes les plus à risque.

Régression logistique et méthodes apparentées#

• Régression linéaire sur des étiquettes 0/1 : L’ajustement de l’erreur quadratique aux étiquettes de classe produit des prédictions inférieures à 0 et supérieures à 1 ; les points éloignés de la frontière, même correctement classés, influencent l’ajustement, ce que la sigmoïde et la perte logarithmique évitent.
• Machines à vecteurs de support (SVM) : Une SVM linéaire apprend également un hyperplan, mais minimise la perte hinge pour maximiser la marge et produit des distances à la frontière plutôt que des probabilités.
• Naive Bayes : Classificateur génératif qui modélise la façon dont les caractéristiques sont produites par chaque classe ; il forme un duo classique avec la régression logistique, son équivalent discriminatif. Ng et Jordan (2001) ont montré que l’erreur asymptotique plus élevée de Naive Bayes est atteinte avec moins d’exemples d’entraînement, tandis que la régression logistique atteint une erreur plus faible lorsque les données sont abondantes.
• Perceptron : Applique une fonction échelon à la même somme pondérée, renvoie uniquement 0 ou 1 et ne met à jour ses poids que lorsqu’il classe mal un exemple d’entraînement.