Logistic Regression

La régression logistique est une méthode statistique fondamentale et un algorithme d’apprentissage automatique principalement utilisés pour les tâches de classification binaire. Malgré son nom qui contient le terme « régression », lequel implique généralement la prédiction de valeurs continues (comme la température ou le cours d’une action), la régression logistique est conçue pour prédire la probabilité qu’une entrée donnée appartienne à une catégorie spécifique. Cela en fait un outil essentiel pour les problèmes dont le résultat est dichotomique, comme déterminer si un e-mail est un « spam » ou un « non-spam », ou si une tumeur est « bénigne » ou « maligne ». Elle fait le lien entre les statistiques traditionnelles et l’apprentissage supervisé, en offrant un équilibre entre simplicité et interprétabilité, et est souvent utilisée comme référence avant la mise en œuvre de modèles plus complexes tels que les réseaux neuronaux.

Mécanismes fondamentaux et probabilités#

Contrairement à la régression linéaire, qui ajuste une droite aux points de données pour prédire une sortie continue, la régression logistique ajuste une courbe en forme de « S » aux données. Cette courbe est générée à l’aide de la fonction sigmoïde, une transformation mathématique qui convertit tout nombre réel en une valeur comprise entre 0 et 1. Cette sortie représente un score de probabilité indiquant le degré de confiance selon lequel une instance appartient à la classe positive.

Au cours de l’entraînement, l’algorithme apprend les poids et biais optimaux afin de minimiser l’erreur. Cela est généralement réalisé à l’aide d’un algorithme d’optimisation, tel que la descente de gradient, qui ajuste itérativement les paramètres du modèle afin de réduire l’écart entre les probabilités prédites et les étiquettes de classe réelles. Les performances sont souvent évaluées à l’aide d’une fonction de perte spécifique appelée log loss ou entropie croisée binaire. Une fois que le modèle a produit une probabilité, une frontière de décision (souvent fixée à 0,5) classe l’entrée : les valeurs supérieures au seuil deviennent la classe positive et les valeurs inférieures deviennent la classe négative.

Distinction avec les termes associés#

Il est important de distinguer la régression logistique de concepts similaires afin d’éviter toute confusion :

• Régression linéaire et régression logistique : tandis que la régression linéaire prédit des sorties numériques continues (par exemple, le prix d’un logement), la régression logistique prédit des résultats catégoriels au moyen de probabilités.
• Classification et régression : en apprentissage automatique, les tâches de classification consistent à prédire des étiquettes discrètes, tandis que les tâches de régression prédisent des quantités continues. La régression logistique est un algorithme de classification malgré son nom.
• Perceptron : un Perceptron simple utilise une fonction seuil pour produire directement une valeur binaire 0 ou 1, tandis que la régression logistique utilise la fonction sigmoïde lisse pour produire une probabilité, offrant ainsi davantage de nuances.

Applications concrètes#

La régression logistique reste largement utilisée dans divers secteurs grâce à son efficacité et à la facilité d’interprétation de ses résultats.

• Soins de santé et diagnostic médical : les professionnels de santé utilisent ces modèles pour prédire la probabilité qu’un patient développe une maladie spécifique, comme le diabète ou une maladie cardiaque, en fonction de facteurs tels que l’âge, l’IMC et la pression artérielle. Cela facilite l’analyse des images médicales et la prise de décision précoces.
• Évaluation du risque de crédit et finance : les banques déploient la régression logistique pour évaluer le risque lié à l’octroi d’un prêt à un client. En analysant des caractéristiques telles que l’historique de crédit et les revenus, le modèle prédit la probabilité qu’un emprunteur fasse défaut sur un prêt, automatisant ainsi la modélisation prédictive pour renforcer la sécurité financière.
• Marketing et prédiction de l’attrition : les entreprises analysent le comportement des clients pour prédire si un utilisateur s’abonnera à un service ou cessera d’utiliser un produit (attrition). Ces informations contribuent à affiner les stratégies de fidélisation des clients et à cibler efficacement les campagnes marketing.

Mise en œuvre moderne#

Alors que les modèles d’apprentissage profond tels que YOLO26 sont privilégiés pour les tâches complexes comme la détection d’objets, la régression logistique constitue souvent la couche finale des réseaux de classification binaire d’images. Par exemple, un réseau neuronal convolutif peut extraire des caractéristiques, tandis que la couche finale agit comme un classifieur de régression logistique pour déterminer si une image contient un « chat » ou un « chien ».

Des outils tels que l’Ultralytics Platform simplifient le workflow d’entraînement de modèles de classification complexes qui reposent sur ces principes fondamentaux. Toutefois, pour comprendre le concept de base, des bibliothèques simples peuvent en illustrer les mécanismes.

Voici un exemple de base utilisant torch pour définir la structure d’un modèle de régression logistique à une seule couche :

import torch
import torch.nn as nn


# Define a simple Logistic Regression model class
class LogisticRegression(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        # A single linear layer maps input features to a single output
        self.linear = nn.Linear(input_dim, 1)

    def forward(self, x):
        # The sigmoid function transforms the linear output to a probability (0 to 1)
        return torch.sigmoid(self.linear(x))


# Example usage: Initialize model for 10 input features
model = LogisticRegression(input_dim=10)
print(model)

Avantages et limites#

Comprendre les points forts et les faiblesses de cet algorithme aide à sélectionner l’outil adapté à la tâche.

• Interprétabilité : les coefficients du modèle (poids) indiquent directement la relation entre les caractéristiques d’entrée et la variable cible. Un poids positif implique que lorsque la caractéristique augmente, la probabilité du résultat positif augmente. Cette transparence est essentielle pour l’éthique de l’IA et pour expliquer les décisions aux parties prenantes.
• Efficacité : il nécessite moins de puissance de calcul que les architectures d’apprentissage profond complexes, ce qui le rend adapté aux applications nécessitant une faible latence ou fonctionnant sur du matériel limité.
• Linéarité des données : une limitation majeure est qu’il suppose une relation linéaire entre les variables d’entrée et le logarithme des rapports de chances du résultat. Il peut rencontrer des difficultés avec des structures de données très complexes et non linéaires, pour lesquelles des techniques avancées telles que les machines à vecteurs de support (SVM) ou les forêts aléatoires peuvent être plus performantes.
• Surapprentissage : sur des jeux de données de grande dimension comportant peu d’exemples d’entraînement, la régression logistique peut être sujette au surapprentissage, bien que ce problème puisse être atténué à l’aide de techniques de régularisation.