Logistic Regression

La régression logistique est une méthode statistique fondamentale et un algorithme d'apprentissage automatique principalement utilisé pour les tâches de classification binaire. Malgré son nom contenant « régression », qui implique généralement la prédiction de valeurs continues (comme la température ou le cours des actions), la régression logistique est conçue pour prédire la probabilité qu'une donnée d'entrée appartienne à une catégorie spécifique. Cela en fait un outil crucial pour les problèmes où le résultat est dichotomique, comme déterminer si un e-mail est « spam » ou « non spam », ou si une tumeur médicale est « bénigne » ou « maligne ». Elle sert de pont entre les statistiques traditionnelles et l'apprentissage supervisé moderne, offrant un équilibre entre simplicité et interprétabilité, souvent utilisé comme référence avant de mettre en œuvre des modèles plus complexes comme les réseaux de neurones.

Link to this sectionMécanismes fondamentaux et probabilité#

Contrairement à la régression linéaire, qui ajuste une ligne droite aux points de données pour prédire une sortie continue, la régression logistique ajuste une courbe en « S » aux données. Cette courbe est générée à l'aide de la fonction sigmoïde, une transformation mathématique qui mappe n'importe quel nombre réel vers une valeur comprise entre 0 et 1. Cette sortie représente un score de probabilité, indiquant le degré de confiance qu'une instance appartient à la classe positive.

Pendant le processus d'entraînement, l'algorithme apprend les poids et biais optimaux pour minimiser l'erreur. Cela est généralement réalisé à l'aide d'un algorithme d'optimisation tel que la descente de gradient, qui ajuste de manière itérative les paramètres du modèle pour réduire la différence entre les probabilités prédites et les étiquettes de classe réelles. La performance est souvent évaluée à l'aide d'une fonction de perte spécifique appelée Log Loss ou entropie croisée binaire. Une fois que le modèle produit une probabilité, une frontière de décision (souvent fixée à 0,5) classifie l'entrée : les valeurs au-dessus du seuil deviennent la classe positive, et les valeurs en dessous deviennent la classe négative.

Link to this sectionDistinction avec les termes associés#

Il est important de distinguer la régression logistique de concepts similaires pour éviter toute confusion :

• Régression linéaire vs régression logistique : Alors que la régression linéaire prédit des sorties numériques continues (par exemple, les prix des maisons), la régression logistique prédit des résultats catégoriels via des probabilités.
• Classification vs régression : En apprentissage automatique, les tâches de classification impliquent la prédiction d'étiquettes discrètes, tandis que les tâches de régression prédisent des quantités continues. La régression logistique est un algorithme de classification malgré son nom.
• Perceptron : Un perceptron simple utilise une fonction échelon pour produire directement un 0 ou 1 binaire, tandis que la régression logistique utilise la fonction sigmoïde lisse pour produire une probabilité, offrant plus de nuance.

Link to this sectionApplications concrètes#

La régression logistique reste largement utilisée dans divers secteurs en raison de son efficacité et de la facilité avec laquelle ses résultats peuvent être interprétés.

• Santé et diagnostic médical : Les professionnels de la santé utilisent ces modèles pour prédire la probabilité qu'un patient développe une maladie spécifique, telle que le diabète ou une maladie cardiaque, en fonction de facteurs comme l'âge, l'IMC et la tension artérielle. Cela aide à l'analyse d'images médicales précoce et à la prise de décision.
• Notation de crédit et finance : Les banques déploient la régression logistique pour évaluer le risque de prêt à un client. En analysant des caractéristiques comme l'historique de crédit et les revenus, le modèle prédit la probabilité qu'un emprunteur fasse défaut sur un prêt, automatisant la modélisation prédictive pour la sécurité financière.
• Marketing et prédiction de désabonnement (churn) : Les entreprises analysent le comportement des clients pour prédire si un utilisateur s'abonnera à un service ou cessera d'utiliser un produit. Cette compréhension aide à affiner les stratégies de rétention client et à cibler efficacement les campagnes marketing.

Link to this sectionMise en œuvre moderne#

Alors que les modèles d'apprentissage profond comme YOLO26 sont préférés pour des tâches complexes comme la détection d'objets, la régression logistique est souvent la couche finale dans les réseaux de classification d'images binaires. Par exemple, un réseau de neurones convolutif pourrait extraire des caractéristiques, et la couche finale agit comme un classificateur de régression logistique pour déterminer si une image contient un « chat » ou un « chien ».

Des outils comme la plateforme Ultralytics simplifient le flux de travail pour l'entraînement de modèles de classification complexes qui utilisent ces principes sous-jacents. Cependant, pour comprendre le concept brut, des bibliothèques simples peuvent démontrer les mécanismes.

Voici un exemple de base utilisant torch pour définir une structure de modèle de régression logistique à une seule couche :

import torch
import torch.nn as nn


# Define a simple Logistic Regression model class
class LogisticRegression(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        # A single linear layer maps input features to a single output
        self.linear = nn.Linear(input_dim, 1)

    def forward(self, x):
        # The sigmoid function transforms the linear output to a probability (0 to 1)
        return torch.sigmoid(self.linear(x))


# Example usage: Initialize model for 10 input features
model = LogisticRegression(input_dim=10)
print(model)

Link to this sectionAvantages et limites#

Comprendre les forces et les faiblesses de cet algorithme aide à sélectionner le bon outil pour le travail.

• Interprétabilité : Les coefficients (poids) du modèle indiquent directement la relation entre les caractéristiques d'entrée et la variable cible. Un poids positif implique qu'à mesure que la caractéristique augmente, la probabilité du résultat positif augmente. Cette transparence est essentielle pour l'éthique de l'IA et l'explication des décisions aux parties prenantes.
• Efficacité : Elle nécessite moins de puissance de calcul par rapport aux architectures complexes d'apprentissage profond, ce qui la rend adaptée aux applications avec des exigences de faible latence ou un matériel limité.
• Linéarité des données : Une limitation clé est qu'elle suppose une relation linéaire entre les variables d'entrée et les log-cotes du résultat. Elle peut avoir des difficultés avec des modèles de données hautement complexes et non linéaires où des techniques avancées comme les machines à vecteurs de support (SVM) ou les forêts aléatoires pourraient exceller.
• Surapprentissage (overfitting) : Sur des jeux de données à haute dimension avec peu d'exemples d'entraînement, la régression logistique peut être sujette au surapprentissage, bien que cela puisse être atténué en utilisant des techniques de régularisation.