Logistic Regression

La regresión logística es un método de aprendizaje supervisado para clasificación que estima la probabilidad de que una entrada pertenezca a una clase pasando una suma ponderada de sus características por la función logística o sigmoide. El nombre incluye «regresión» porque el modelo aplica regresión a los logaritmos de las probabilidades relativas de la clase en función de las características, pero se utiliza para clasificar: un filtro de spam, un modelo de crédito o una prueba de cribado convierte la probabilidad en una decisión de sí o no mediante un umbral. Joseph Berkson lo desarrolló como modelo estadístico general a partir de 1944, año en que acuñó el término «logit», y sigue siendo la referencia habitual para clasificar datos tabulares porque se entrena en segundos, genera probabilidades y sus pesos se interpretan directamente como efectos sobre las probabilidades relativas.

Cómo funciona la regresión logística#

El modelo calcula una puntuación, z = w·x + b, exactamente igual que la regresión lineal, y después la convierte en una probabilidad, p = 1 / (1 + e⁻ᶻ). La sigmoide comprime cualquier puntuación en el intervalo de 0 a 1, devuelve 0,5 cuando z = 0 y se aproxima a 1 o 0 cuando z crece mucho en cualquiera de las dos direcciones. Al invertirla se ve qué significa la puntuación: z equivale al logaritmo de las probabilidades relativas, log(p / (1 − p)), por lo que el modelo presupone que el logaritmo de las probabilidades relativas de la clase positiva cambia linealmente con cada característica y que su frontera de decisión es una recta, un plano o un hiperplano. Un aumento de una unidad en una característica multiplica las probabilidades relativas por eʷ, donde w es el peso de esa característica; por eso los estudios médicos y de crédito presentan los resultados de la regresión logística como razones de probabilidades.

El entrenamiento establece los pesos mediante máxima verosimilitud, lo que equivale a minimizar la pérdida logarítmica, también llamada entropía cruzada binaria: −[y·log(p) + (1 − y)·log(1 − p)], promediada sobre los datos de entrenamiento. La función de pérdida es convexa, por lo que tiene un único mínimo, pero no existe una solución de forma cerrada; por eso, los solucionadores como L-BFGS, el método de Newton o el descenso del gradiente llegan a él de forma iterativa. Sin una penalización, las clases que un hiperplano separa perfectamente hacen que los pesos tiendan a infinito, por lo que las bibliotecas añaden regularización de forma predeterminada: LogisticRegression de scikit-learn aplica una penalización L2 con C = 1.0, y los valores más pequeños de C regularizan con más intensidad. Como la pérdida logarítmica recompensa las probabilidades precisas, una regresión logística bien especificada y adecuadamente regularizada suele devolver probabilidades bien calibradas, una propiedad que miden puntuaciones como la puntuación de Brier.

Umbrales de decisión#

Un umbral convierte cada probabilidad en una etiqueta, y 0,5 es solo el valor predeterminado. Al moverlo, se intercambian precisión y exhaustividad: un modelo de cribado del cáncer lo reduce para no pasar por alto tantos tumores, y un filtro de spam lo aumenta para evitar ocultar mensajes legítimos. La curva ROC representa este equilibrio para todos los umbrales, y el área bajo la curva mide hasta qué punto el modelo ordena los positivos por encima de los negativos. Este ejemplo entrena una regresión logística con el conjunto de datos sobre cáncer de mama de Wisconsin incluido en scikit-learn y compara dos umbrales:

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

Con el umbral predeterminado de 0,5, todos los tumores que señala el modelo son malignos (precisión 1.000), y no detecta 2 de los 53 tumores malignos del conjunto de prueba (exhaustividad 0.962). Con 0,1 detecta los 53 (exhaustividad 1.000) y también señala 11 de los 90 tumores benignos (precisión 0.828).

Clasificadores multiclase y de redes neuronales#

Para más de dos clases mutuamente excluyentes, la regresión logística multinomial calcula una puntuación por clase y convierte las puntuaciones en probabilidades cuya suma es 1 mediante la función softmax; se entrena con una función de pérdida de entropía cruzada. La estrategia de uno contra el resto, en cambio, entrena un modelo binario independiente por clase. Los problemas multietiqueta, en los que una entrada puede tener varias etiquetas a la vez, utilizan una sigmoide independiente por clase.

La capa de salida de la mayoría de las redes neuronales de clasificación es uno de estos modelos aplicado a las características aprendidas por las capas anteriores, como en las redes de clasificación de imágenes que terminan con una capa lineal y una softmax. La cabeza de detección de YOLO26 termina cada rama de clasificación con una convolución 1×1 que genera un logit por clase en cada posición de la cuadrícula; una sigmoide convierte cada logit en una puntuación de clase independiente que se entrena con entropía cruzada binaria, por lo que cada puntuación de clase es una regresión logística sobre las características de esa posición. El argumento conf del modo de predicción, cuyo valor predeterminado es 0.25, es el umbral de decisión aplicado a esas puntuaciones.

Aplicaciones#

• Puntuaciones de riesgo clínico: Los modelos estiman la probabilidad de una enfermedad, una complicación o un reingreso hospitalario a partir de la edad, la presión arterial y los valores analíticos; las razones de probabilidades muestran a los profesionales sanitarios cuánto aumenta el riesgo con cada factor.
• Puntuación crediticia: Los prestamistas crean cuadros de puntuación crediticia basados en la regresión logística porque pueden explicar a los solicitantes y a los organismos reguladores cómo contribuye cada característica a la puntuación.
• Predicción de clics en anuncios: El artículo de Google de 2013 sobre su sistema de producción para predecir clics describía una regresión logística entrenada en línea con el algoritmo FTRL-Proximal, que mantiene el modelo disperso, para estimar la probabilidad de que un usuario haga clic en un anuncio.
• Predicción de abandono: Las empresas de suscripción estiman la probabilidad de que cada cliente cancele en el siguiente periodo y dirigen ofertas de fidelización a las cuentas con mayor riesgo.

Regresión logística frente a métodos relacionados#

• Regresión lineal sobre etiquetas 0/1: Ajustar el error cuadrático a etiquetas de clase produce predicciones inferiores a 0 y superiores a 1, y los puntos alejados de la frontera, incluso los clasificados correctamente, distorsionan el ajuste; la sigmoide y la pérdida logarítmica evitan este problema.
• Máquinas de vectores de soporte (SVM): Una SVM lineal también aprende un hiperplano, pero minimiza la pérdida hinge para maximizar el margen y genera distancias desde la frontera en lugar de probabilidades.
• Naive Bayes: Clasificador generativo que modela cómo surgen las características en cada clase y que forma una pareja clásica con la regresión logística, su equivalente discriminativo. Ng y Jordan (2001) demostraron que naive Bayes se aproxima a su mayor error asintótico con menos ejemplos de entrenamiento, mientras que la regresión logística alcanza un error menor cuando hay muchos datos.
• Perceptrón: Aplica una función escalón a la misma suma ponderada, solo genera 0 o 1 y actualiza sus pesos únicamente cuando clasifica mal un ejemplo de entrenamiento.