Softmax

探索 AI 中的 Softmax 函数。了解它如何使用 Ultralytics YOLO26 和神经网络将逻辑值转换为多类分类的概率。

Softmax 是人工智能领域中至关重要的一项数学函数，专门用作许多分类算法中的最后一步。它将通常称为 logits 的原始数字向量转换为概率向量。这种转换确保了输出值全部为正数且总和精确等于一，从而有效地创建了一个有效的 probability distribution。正是由于这一特性，Softmax 成为了专为多分类任务设计的 neural networks 输出层中的标准 activation function，在此类任务中，系统必须从两个以上的互斥选项中选择一个类别。

Softmax 的工作原理#

在一个典型的 deep learning (DL) 工作流中，网络的各层会执行复杂的矩阵乘法和加法。激活前最后一层的输出由被称为 logits 的原始分数组成。这些值的范围可以从负无穷到正无穷，这使得它们很难被直接解释为置信度水平。

Softmax 通过执行两个主要操作来解决这个问题：

指数化： 它计算每个输入数字的指数。这一步确保所有值都是非负的（因为 $e^x$ 总是正的），并对远低于最大值的值进行惩罚，同时突出显示最大的分数。
归一化： 它对这些指数化的值进行求和，并将每个单独的指数除以这个总和。这个 normalization process 会缩放这些数字，使它们代表整体的一部分，从而允许开发者将它们解释为百分比置信度分数。

实际应用#

输出清晰概率的能力使得 Softmax 在各种行业和 machine learning (ML) 任务中不可或缺。

图像分类： 在计算机视觉中，模型使用 Softmax 来对图像进行分类。例如，当 Ultralytics YOLO26 分类模型分析一张照片时，它可能会为“金毛寻回犬”、“德国牧羊犬”和“贵宾犬”等类别生成分数。Softmax 将这些分数转换为概率（例如 0.85、0.10、0.05），表明模型高度确信图像中包含金毛寻回犬。这对于从自动照片整理到 AI in Healthcare 中的医疗诊断等各种应用都至关重要。
自然语言处理 (NLP)： Softmax 是 Large Language Models (LLMs) 中文本生成的引擎。当像 Transformer 这样的模型生成一个句子时，它会通过计算词汇表中每个词的分数来预测下一个词（token）。Softmax 将这些分数转化为概率，使模型能够选择最有可能的下一个词，从而实现流畅的 machine translation 和对话式 AI。
强化学习： reinforcement learning 中的智能体通常使用 Softmax 来选择动作。智能体可能不会总是选择价值最高的动作，而是利用概率来探索不同的策略，在机器人控制或游戏对战等环境中平衡探索与利用。

Python 代码示例#

以下示例演示了如何加载预训练的 YOLO26 分类模型并访问通过 Softmax 生成的概率分数。

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference on a sample image
results = model("https://ultralytics.com/images/bus.jpg")

# The model applies Softmax internally. Access the top prediction:
# The 'probs' attribute contains the probability distribution.
top_prob = results[0].probs.top1conf.item()
top_class = results[0].names[results[0].probs.top1]

print(f"Predicted Class: {top_class}")
print(f"Confidence (Softmax Output): {top_prob:.4f}")

区分 Softmax 与相关概念#

虽然 Softmax 在多分类场景中占主导地位，但必须将它与 model training 和架构设计中使用的其他数学函数区分开来：

Sigmoid： Sigmoid 函数同样将值缩放到 0 和 1 之间，但它独立对待每个输出。这使得 Sigmoid 非常适合 binary classification（是/否）或类别并非互斥的多标签分类（例如，图像可以同时包含“人”和“背包”）。Softmax 则强制概率总和为一，从而使各个类别相互竞争。
ReLU (Rectified Linear Unit)： ReLU 主要用于网络的隐藏层以引入非线性。与 Softmax 不同，ReLU 不会将输出限制在特定范围内（对于负输入它简单输出零，对于正输入输出输入本身），并且不会生成概率分布。
Argmax： 虽然 Softmax 为所有类别提供概率，但通常会结合使用 Argmax function 来选择具有最高概率的单个索引。Softmax 提供“软”置信度，而 Argmax 提供“硬”最终决策。

高级集成#

在现代 ML 管道中，Softmax 通常在损失函数内部隐式计算。例如，Cross-Entropy Loss 将 Softmax 和负对数似然结合到一个数学步骤中，以提高训练过程中的数值稳定性。诸如 Ultralytics Platform 之类的平台会自动处理这些复杂性，允许用户在不手动实现这些数学运算的情况下训练鲁棒的模型。