Logistic Regression

La regressione logistica è un metodo statistico fondamentale e un algoritmo di machine learning utilizzato principalmente per le attività di classificazione binaria. Nonostante il nome contenga "regressione", che in genere implica la previsione di valori continui (come la temperatura o i prezzi delle azioni), la regressione logistica è progettata per prevedere la probabilità che un determinato input appartenga a una categoria specifica. Questo la rende uno strumento cruciale per i problemi in cui il risultato è dicotomico, come determinare se un'email è "spam" o "non spam", oppure se un tumore è "benigno" o "maligno". Funge da ponte tra la statistica tradizionale e l'apprendimento supervisionato, offrendo un equilibrio tra semplicità e interpretabilità che viene spesso utilizzato come modello di riferimento prima di implementare modelli più complessi, come le reti neurali.

Meccanismi fondamentali e probabilità#

A differenza della regressione lineare, che adatta una linea retta ai punti dati per prevedere un output continuo, la regressione logistica adatta ai dati una curva a forma di "S". Questa curva viene generata utilizzando la funzione sigmoide, una trasformazione matematica che mappa qualsiasi numero reale in un valore compreso tra 0 e 1. Questo output rappresenta un punteggio di probabilità, indicando il livello di confidenza che un'istanza appartenga alla classe positiva.

Durante il processo di addestramento, l'algoritmo apprende pesi e bias ottimali per ridurre al minimo l'errore. Questo risultato viene generalmente ottenuto utilizzando un algoritmo di ottimizzazione, come la discesa del gradiente, che modifica iterativamente i parametri del modello per ridurre la differenza tra le probabilità previste e le etichette di classe effettive. Le prestazioni vengono spesso valutate utilizzando una specifica funzione di perdita chiamata Log Loss o entropia incrociata binaria. Una volta che il modello restituisce una probabilità, una soglia decisionale (spesso impostata su 0,5) classifica l'input: i valori superiori alla soglia diventano la classe positiva, mentre quelli inferiori diventano la classe negativa.

Distinzione dai termini correlati#

È importante distinguere la regressione logistica da concetti simili per evitare confusione:

• Regressione lineare vs. regressione logistica: mentre la regressione lineare prevede output numerici continui (ad esempio, i prezzi delle case), la regressione logistica prevede risultati categorici tramite probabilità.
• Classificazione vs. regressione: nel machine learning, le attività di classificazione prevedono etichette discrete, mentre le attività di regressione prevedono quantità continue. La regressione logistica è un algoritmo di classificazione, nonostante il suo nome.
• Percettrone: un semplice percettrone utilizza una funzione a gradino per restituire direttamente un valore binario 0 o 1, mentre la regressione logistica utilizza la funzione sigmoide, più uniforme, per restituire una probabilità, offrendo maggiore granularità.

Applicazioni nel mondo reale#

La regressione logistica continua a essere ampiamente utilizzata in diversi settori grazie alla sua efficienza e alla facilità con cui è possibile interpretarne i risultati.

• Sanità e diagnosi medica: i professionisti sanitari utilizzano questi modelli per prevedere la probabilità che un paziente sviluppi una determinata malattia, come il diabete o una cardiopatia, sulla base di fattori quali età, BMI e pressione sanguigna. Questo aiuta nell'analisi delle immagini mediche e nel processo decisionale precoce.
• Valutazione del merito creditizio e finanza: le banche utilizzano la regressione logistica per valutare il rischio di concedere un prestito a un cliente. Analizzando caratteristiche come la storia creditizia e il reddito, il modello prevede la probabilità che un mutuatario non rimborsi un prestito, automatizzando la modellazione predittiva per la sicurezza finanziaria.
• Marketing e previsione dell'abbandono: le aziende analizzano il comportamento dei clienti per prevedere se un utente si abbonerà a un servizio o smetterà di utilizzare un prodotto (abbandono). Questa informazione aiuta a perfezionare le strategie di fidelizzazione dei clienti e a indirizzare efficacemente le campagne di marketing.

Implementazione moderna#

Sebbene i modelli di deep learning come YOLO26 siano preferiti per attività complesse come il rilevamento degli oggetti, la regressione logistica è spesso l'ultimo livello nelle reti di classificazione binaria delle immagini. Ad esempio, una rete neurale convoluzionale può estrarre le caratteristiche, mentre l'ultimo livello funge da classificatore di regressione logistica per determinare se un'immagine contiene un "gatto" o un "cane".

Strumenti come la Ultralytics Platform semplificano il flusso di lavoro per l'addestramento di modelli di classificazione complessi che utilizzano questi principi fondamentali. Tuttavia, per comprendere il concetto di base, semplici librerie possono illustrarne i meccanismi.

Ecco un esempio di base che utilizza torch per definire la struttura di un modello di regressione logistica a singolo livello:

import torch
import torch.nn as nn


# Define a simple Logistic Regression model class
class LogisticRegression(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        # A single linear layer maps input features to a single output
        self.linear = nn.Linear(input_dim, 1)

    def forward(self, x):
        # The sigmoid function transforms the linear output to a probability (0 to 1)
        return torch.sigmoid(self.linear(x))


# Example usage: Initialize model for 10 input features
model = LogisticRegression(input_dim=10)
print(model)

Vantaggi e limitazioni#

Comprendere i punti di forza e di debolezza di questo algoritmo aiuta a selezionare lo strumento più adatto per il lavoro.

• Interpretabilità: i coefficienti del modello (pesi) indicano direttamente la relazione tra le caratteristiche di input e la variabile target. Un peso positivo implica che, all'aumentare della caratteristica, aumenta la probabilità del risultato positivo. Questa trasparenza è fondamentale per l'etica dell'AI e per spiegare le decisioni agli stakeholder.
• Efficienza: richiede una potenza di calcolo inferiore rispetto alle architetture di deep learning complesse, rendendola adatta alle applicazioni che richiedono una bassa latenza o che dispongono di hardware limitato.
• Linearità dei dati: una limitazione fondamentale è che presuppone una relazione lineare tra le variabili di input e i log-odds del risultato. Potrebbe avere difficoltà con modelli di dati altamente complessi e non lineari, nei quali tecniche avanzate come le macchine a vettori di supporto (SVM) o le foreste casuali potrebbero rivelarsi più efficaci.
• Overfitting: nei dataset ad alta dimensionalità con pochi esempi di addestramento, la regressione logistica può essere soggetta all'overfitting, sebbene questo problema possa essere mitigato utilizzando tecniche di regolarizzazione.