GELU (Gaussian Error Linear Unit)
探索高斯误差线性单元（GELU）激活函数。了解其平滑的概率非线性如何为 Transformer、BERT 和现代 AI 提供动力。
高斯误差线性单元（GELU）是一种复杂的激活函数，在现代人工智能（AI）系统的性能中发挥着关键作用，尤其是在基于 Transformer 架构的系统中。不同于对神经元输入应用严格确定性阈值的传统函数，GELU 引入了受高斯分布属性启发的概率性因素。GELU 根据输入的幅度对其进行加权，而不是简单地进行门控，从而提供更平滑的非线性，有助于优化深度学习（DL）模型。这一独特特性使网络能够更有效地对复杂数据模式进行建模，为大型基础模型的成功作出了重要贡献。
GELU 的工作原理#
在任何神经网络中，激活函数都会根据输入信号决定神经元是否“触发”。较早的函数，如修正线性单元（ReLU），运行方式类似于开关：对于任何负输入输出零，对于正输入则输出输入值本身。虽然这种方式效率较高，但这种尖锐的截断可能会阻碍训练动态。
GELU 通过将输入乘以高斯分布的累积分布函数来改进这一点。直观地说，这意味着随着输入值减小，神经元失活的概率会增加，但这一过程是逐渐发生的，而不是突然发生的。这种曲率形成了一个平滑的非单调函数，并且在所有点都可微。这种平滑性有助于更好地进行反向传播梯度，从而缓解可能导致深度网络训练停滞的梯度消失问题等问题。
实际应用#
GELU 提供的更平滑优化曲面使其成为机器学习（ML）中一些最先进应用的默认选择。
- 大型语言模型（LLMs）： GELU 随着 Google 研究人员推出BERT（来自 Transformer 的双向编码器表示）而崭露头角。如今，它已成为GPT 系列及其他生成式文本模型的标准组件。在文本摘要或情感分析等任务中，GELU 能帮助模型捕捉语言表示中的细微差异，而严格的激活函数可能会遗漏这些差异。
- 视觉 Transformer（ViT）： 在计算机视觉领域，采用 Transformer 架构进行图像分类的模型高度依赖 GELU。通过将图像处理为图像块序列，这些模型利用 GELU 在深层网络中保持丰富的特征信息，从而在ImageNet等基准测试中实现高准确率。
与相关术语的比较#
要理解 GELU，通常需要将其与Ultralytics 术语表中的其他常用激活函数区分开来。
- GELU 与 ReLU 的比较： ReLU 在计算上更简单，并且能够产生稀疏性（精确的零值），因此效率较高。然而，零点处的“尖角”可能会减慢收敛速度。GELU 提供了平滑的近似，通常能在复杂任务中获得更高的准确率，但计算成本会略高。
- GELU 与 SiLU（Swish） 的比较： Sigmoid 线性单元（SiLU）在结构上与 GELU 非常相似，并且同样具有平滑、非单调的特性。GELU 在自然语言处理（NLP）领域占据主导地位，而 SiLU 则常用于高度优化的目标检测器（如YOLO26），因为它在边缘硬件上的效率较高，并且在检测任务中表现出色。
- GELU 与 Leaky ReLU 的比较： Leaky ReLU 通过允许负输入具有一个较小的恒定线性斜率，试图解决标准 ReLU 的“神经元死亡”问题。相比之下，GELU 在负值上也是非线性的，能够提供更复杂且更具自适应性的响应，这通常会在非常深的网络中带来更好的表示学习效果。
实现示例#
使用现代深度学习库（如 PyTorch）实现 GELU 非常简单。下面的示例演示了如何将该函数应用于输入数据张量。
import torch
import torch.nn as nn
# Initialize the GELU activation function
gelu_activation = nn.GELU()
# Create sample input data including negative and positive values
input_data = torch.tensor([-3.0, -1.0, 0.0, 1.0, 3.0])
# Apply GELU to the inputs
output = gelu_activation(input_data)
# Print results to see the smoothing effect on negative values
print(f"Input: {input_data}")
print(f"Output: {output}")对于希望在自己的计算机视觉项目中利用这些先进激活函数的开发者，Ultralytics Platform 简化了整个工作流程。它提供统一的接口，用于标注数据、使用 YOLO26 等架构训练模型（YOLO26 采用了 SiLU 等经过优化的激活函数），并将模型高效部署到云端或边缘设备。
