Logistic Regression

로지스틱 회귀는 입력이 특정 클래스에 속할 확률을 추정하여 분류하는 지도 학습 기법입니다. 특징의 가중합에 로지스틱 함수, 즉 시그모이드 함수를 적용합니다. 모델이 특징에 대해 클래스의 로그 오즈를 회귀하기 때문에 이름에 "회귀"가 포함되지만, 이 모델은 분류에 사용됩니다. 스팸 필터, 신용 평가 모델 또는 선별 검사는 확률에 임계값을 적용해 예 또는 아니요로 판정합니다. Joseph Berkson은 1944년부터 이를 일반 통계 모델로 개발했으며, 이때 "logit"이라는 용어를 만들었습니다. 로지스틱 회귀는 몇 초 만에 학습되고 확률을 출력하며 가중치를 오즈에 대한 효과로 직접 해석할 수 있으므로, 테이블 형식 데이터 분류의 표준 기준선으로 여전히 널리 쓰입니다.

로지스틱 회귀의 작동 방식#

모델은 선형 회귀와 정확히 같이 z = w·x + b 점수를 계산한 다음 p = 1 / (1 + e⁻ᶻ)로 확률에 매핑합니다. 시그모이드는 모든 점수를 0~1 범위로 압축하고, z = 0일 때 0.5를 반환하며, z가 어느 방향으로든 큰 값이 되면 각각 1 또는 0에 가까워집니다. 이 함수를 역변환하면 점수의 의미를 알 수 있습니다. z는 로그 오즈 log(p / (1 − p))와 같으므로, 모델은 양성 클래스의 로그 오즈가 각 특징에 따라 선형적으로 변한다고 가정하며 결정 경계는 직선, 평면 또는 초평면입니다. 특징이 한 단위 증가하면 해당 특징의 가중치 w에 대해 오즈는 eʷ배가 됩니다. 따라서 의료 및 신용 연구에서는 로지스틱 회귀 결과를 오즈비로 보고합니다.

학습은 최대 우도법으로 가중치를 설정하며, 이는 로그 손실, 즉 이진 교차 엔트로피를 최소화하는 것과 같습니다. 로그 손실은 −[y·log(p) + (1 − y)·log(1 − p)]이며 학습 데이터 전체에 대해 평균을 계산합니다. 손실 함수는 볼록하므로 최솟값이 하나지만 닫힌 형태의 해가 없으므로, L-BFGS, 뉴턴 방법 또는 경사 하강법 같은 솔버가 반복적으로 최솟값에 도달합니다. 초평면이 클래스를 완벽하게 분리하면 페널티가 없는 경우 가중치가 무한대로 커지므로, 라이브러리는 기본적으로 정규화를 추가합니다. scikit-learn의 LogisticRegression은 C = 1.0인 L2 페널티를 적용하며, C가 작을수록 정규화가 강해집니다. 로그 손실은 정확한 확률 예측에 보상을 주므로, 적절하게 명세되고 정규화된 로지스틱 회귀는 대체로 잘 보정된 확률을 반환합니다. Brier 점수와 같은 지표는 이 특성을 측정합니다.

결정 임계값#

임계값은 각 확률을 레이블로 변환하며, 0.5는 기본값일 뿐입니다. 임계값을 조정하면 정밀도와 재현율 사이에 절충이 생깁니다. 암 선별 검사 모델은 종양을 놓치는 경우를 줄이기 위해 임계값을 낮추고, 스팸 필터는 정상 메일을 숨기지 않도록 임계값을 높입니다. ROC 곡선은 모든 임계값에서 이러한 절충을 나타내며, 곡선 아래 면적은 모델이 양성을 음성보다 얼마나 잘 순위화하는지 측정합니다. 다음 예제는 scikit-learn에 포함된 위스콘신 유방암 데이터셋으로 로지스틱 회귀를 학습하고 두 임계값을 비교합니다.

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import precision_score, recall_score
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

X, y = load_breast_cancer(return_X_y=True)
y = 1 - y  # make malignant (originally 0) the positive class
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=0)

# Standardize the 30 features, then fit weights by minimizing log loss
model = make_pipeline(StandardScaler(), LogisticRegression())
model.fit(X_train, y_train)

# Predicted probability of malignancy, turned into labels at two thresholds
proba = model.predict_proba(X_test)[:, 1]
for threshold in (0.5, 0.1):
    pred = (proba >= threshold).astype(int)
    print(
        f"Threshold {threshold}: precision {precision_score(y_test, pred):.3f}, recall {recall_score(y_test, pred):.3f}"
    )

기본 임계값 0.5에서는 모델이 표시한 종양이 모두 악성입니다(정밀도 1.000). 테스트 세트에 있는 악성 종양 53개 중 2개를 놓칩니다(재현율 0.962). 임계값 0.1에서는 악성 종양 53개를 모두 찾아내며(재현율 1.000), 양성 종양 90개 중 11개도 표시합니다(정밀도 0.828).

다중 클래스 및 신경망 분류기#

서로 배타적인 클래스가 두 개보다 많을 때 다항 로지스틱 회귀는 클래스마다 점수를 하나씩 계산하고, 소프트맥스 함수로 점수를 합이 1인 확률로 변환한 뒤 교차 엔트로피 손실로 학습합니다. 반면 일대나머지 방식은 클래스마다 별도의 이진 모델을 학습합니다. 하나의 입력에 여러 레이블을 동시에 부여할 수 있는 다중 레이블 문제에서는 클래스마다 독립적인 시그모이드를 사용합니다.

대부분의 분류 신경망은 출력 레이어에서 이러한 모델 중 하나를 앞선 레이어가 학습한 특징에 적용합니다. 예를 들어 이미지 분류 네트워크는 선형 레이어와 소프트맥스로 끝납니다. YOLO26 탐지 헤드는 각 분류 브랜치의 끝에 1×1 컨볼루션을 두어 모든 그리드 위치에서 클래스별 로짓 하나를 출력합니다. 시그모이드는 각 로짓을 독립적인 클래스 점수로 변환하고, 이 점수는 이진 교차 엔트로피로 학습되므로 각 클래스 점수는 해당 위치의 특징에 대한 로지스틱 회귀입니다. 기본값이 0.25인 예측 모드의 conf 인수는 이 점수에 적용되는 결정 임계값입니다.

응용 분야#

• 임상 위험 점수: 모델은 연령, 혈압, 검사실 수치로 질병, 합병증 또는 병원 재입원 확률을 추정하며, 오즈비는 각 요인이 위험을 얼마나 높이는지 임상의에게 보여 줍니다.
• 신용 평가: 대출 기관은 각 특징이 점수에 기여하는 방식을 신청자와 규제 기관에 설명할 수 있으므로 로지스틱 회귀를 사용해 신용 점수표를 만듭니다.
• 광고 클릭 예측: Google이 2013년에 발표한 실제 운영 클릭률 시스템 관련 논문은 사용자가 광고를 클릭할 확률을 추정하기 위해 모델의 희소성을 유지하는 FTRL-Proximal 알고리즘으로 온라인 학습한 로지스틱 회귀를 설명했습니다.
• 고객 이탈 예측: 구독 서비스 기업은 각 고객이 다음 기간에 구독을 취소할 확률을 추정하고, 이탈 위험이 가장 높은 계정에 유지 프로모션을 제공합니다.

로지스틱 회귀와 관련 기법 비교#

• 0/1 레이블에 대한 선형 회귀: 클래스 레이블에 제곱 오차를 적합하면 예측값이 0보다 작거나 1보다 커질 수 있으며, 경계에서 멀리 떨어진 점은 올바르게 분류되었더라도 적합 결과에 영향을 줍니다. 시그모이드와 로그 손실은 이를 방지합니다.
• 서포트 벡터 머신(SVM): 선형 SVM도 초평면을 학습하지만, 마진을 최대화하기 위해 힌지 손실을 최소화하며 확률 대신 경계까지의 거리를 출력합니다.
• 나이브 베이즈: 특징이 각 클래스에서 어떻게 생성되는지 모델링하는 생성형 분류기로, 판별형 분류기인 로지스틱 회귀와 함께 고전적인 비교 대상입니다. Ng와 Jordan(2001)은 나이브 베이즈가 적은 학습 예제로 더 높은 점근적 오류에 도달하는 반면, 로지스틱 회귀는 데이터가 충분해지면 더 낮은 오류를 달성한다는 점을 보였습니다.
• 퍼셉트론: 동일한 가중합에 계단 함수를 적용해 0 또는 1만 출력하며, 학습 예제를 오분류한 경우에만 가중치를 업데이트합니다.