Logistic Regression

ロジスティック回帰は、主に二値分類タスクに使用される基本的な統計手法であり、機械学習アルゴリズムです。「回帰」という言葉が含まれているため、一般的には（気温や株価のような）連続値を予測するものと思われがちですが、ロジスティック回帰は、特定の入力が特定のカテゴリに属する確率を予測するように設計されています。そのため、電子メールが「スパム」か「スパムではない」か、医療診断で腫瘍が「良性」か「悪性」かといった、結果が二者択一となる問題において重要なツールとなります。これは従来の統計学と現代の教師あり学習の架け橋となる存在であり、ニューラルネットワークのような複雑なモデルを実装する前のベースラインとして、シンプルさと解釈性のバランスを提供します。

Link to this section中心となるメカニズムと確率#

データ点に直線を当てはめて連続的な出力を予測する線形回帰とは異なり、ロジスティック回帰はデータに「S」字型の曲線を当てはめます。この曲線はシグモイド関数を使用して生成されます。これは、あらゆる実数を0から1の間の値にマッピングする数学的な変換です。この出力は確率スコアを表し、インスタンスがポジティブクラスに属する確信度を示します。

During the training process, the algorithm learns optimal weights and biases to minimize error. This is typically achieved using an optimization algorithm such as gradient descent, which iteratively adjusts the model parameters to reduce the difference between the predicted probabilities and the actual class labels. The performance is often evaluated using a specific loss function called Log Loss or Binary Cross-Entropy. Once the model outputs a probability, a decision boundary (often set at 0.5) classifies the input: values above the threshold become the positive class, and values below become the negative class.

Link to this section関連用語との違い#

混乱を避けるため、ロジスティック回帰を類似の概念と区別することが重要です。

• 線形回帰とロジスティック回帰： 線形回帰は連続的な数値出力（例：住宅価格）を予測しますが、ロジスティック回帰は確率を通じてカテゴリ別の結果を予測します。
• 分類と回帰： 機械学習において、分類タスクは離散的なラベルを予測するのに対し、回帰タスクは連続的な量を予測します。ロジスティック回帰は、その名称にもかかわらず分類アルゴリズムです。
• パーセプトロン： シンプルなパーセプトロンはステップ関数を使用してバイナリの0または1を直接出力しますが、ロジスティック回帰は滑らかなシグモイド関数を使用して確率を出力するため、よりニュアンスのある結果を提供します。

Link to this section実社会での応用#

ロジスティック回帰は、その効率性と結果の解釈のしやすさから、さまざまな業界で広く使用され続けています。

• ヘルスケアおよび医療診断： 医療専門家は、年齢、BMI、血圧などの要因に基づいて、糖尿病や心臓病などの特定の疾患を発症する可能性を予測するためにこれらのモデルを使用します。これは、早期の医療画像解析や意思決定を支援します。
• クレジットスコアリングと金融： 銀行は、顧客への融資リスクを評価するためにロジスティック回帰を展開しています。クレジット履歴や所得などの特徴量を分析することで、モデルは借り手がローンをデフォルトする確率を予測し、金融セキュリティのための予測モデリングを自動化します。
• マーケティングと解約予測： 企業は顧客行動を分析し、ユーザーがサービスをサブスクライブするか、製品の使用を停止するか（解約）を予測します。この知見は、顧客維持戦略の洗練や、効果的なマーケティングキャンペーンのターゲット選定に役立ちます。

Link to this section現代の実装#

YOLO26のようなディープラーニングモデルが物体検出のような複雑なタスクに優先される一方で、ロジスティック回帰は二値画像分類ネットワークの最終層としてよく使用されます。例えば、畳み込みニューラルネットワークが特徴量を抽出し、最終層がロジスティック回帰分類器として機能して、画像に「猫」か「犬」が含まれているかを判定します。

Ultralytics Platformのようなツールは、これらの根底にある原則を活用する複雑な分類モデルのトレーニングワークフローを簡素化します。ただし、基本的な概念を理解するには、シンプルなライブラリでメカニズムを実証することができます。

以下は、torchを使用して単層のロジスティック回帰モデル構造を定義する基本的な例です。

import torch
import torch.nn as nn


# Define a simple Logistic Regression model class
class LogisticRegression(nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        # A single linear layer maps input features to a single output
        self.linear = nn.Linear(input_dim, 1)

    def forward(self, x):
        # The sigmoid function transforms the linear output to a probability (0 to 1)
        return torch.sigmoid(self.linear(x))


# Example usage: Initialize model for 10 input features
model = LogisticRegression(input_dim=10)
print(model)

Link to this section利点と制限#

このアルゴリズムの長所と短所を理解することは、目的に合った適切なツールを選択するのに役立ちます。

• 解釈性： モデルの係数（重み）は、入力特徴量とターゲット変数の関係を直接示します。重みが正であれば、特徴量が増加するにつれてポジティブな結果が得られる確率が増加することを意味します。この透明性は、AI倫理および関係者への意思決定の説明において非常に重要です。
• 効率性： 複雑なディープラーニングアーキテクチャと比較して計算能力を必要としないため、低レイテンシ要件やハードウェアの制限があるアプリケーションに適しています。
• データの線形性： 大きな制限として、入力変数と結果の対数オッズの間に線形関係を想定している点が挙げられます。そのため、サポートベクターマシン (SVM)やランダムフォレストといった高度な手法が優れているような、非常に複雑で非線形なデータパターンには苦戦する可能性があります。
• 過学習： トレーニング例が少ない高次元データセットでは、ロジスティック回帰は過学習を起こしやすい傾向がありますが、これは正則化手法を使用して軽減可能です。