Statistical AI

统计 AI 是一种构建人工智能系统的方法，它通过从数据中估计模式和概率来构建系统，而不是编码手写规则。统计系统会明确表示不确定性，根据样本拟合参数，并依据其在未见过的数据上的表现进行评估。从垃圾邮件过滤器和语音识别器，到目标检测器和大语言模型（LLM），几乎所有现代 AI 都采用这种方法；大语言模型会为每个可能的下一个词元分配概率。这个术语主要用于与符号 AI对比；符号 AI 是基于规则和逻辑的传统方法，在该领域发展的最初几十年里占据主导地位。

从规则到概率#

从 20 世纪 50 年代到 80 年代，大多数 AI 研究都采用符号方法：逻辑、搜索和专家系统；知识工程师会将知识写成 if-then 规则。这些系统在范围狭窄、定义明确的领域内表现良好，但面对噪声或模糊输入时就会失效，而且每遇到一种新情况都需要新增规则。20 世纪 80 年代和 90 年代，概率方法逐一取代了其他方法。隐马尔可夫模型成为语音识别的基础；Judea Pearl 于 1988 年出版的贝叶斯网络著作让概率推理变得实用，这项工作后来获得了 2011 年图灵奖的认可；IBM 研究人员于 1990 年发表了机器翻译的统计方法；支持向量机则于 1995 年问世。自 2012 年以来，深度学习将同一方法从手工设计的特征扩展到原始像素、音频和文本。

核心理念#

• 概率模型：信念以概率分布表示，而贝叶斯定理会将新证据的似然与先验信念结合，得到后验信念。同一种更新方式也用于垃圾邮件过滤器、诊断模型和目标跟踪器。
• 将学习视为估计：训练会选择使观测数据最有可能出现的参数；对于大多数模型，这等同于最小化损失函数，通常使用梯度下降实现。
• 泛化能力：灵活的模型可能会拟合训练集中的噪声，因此要在留出数据上衡量性能；偏差-方差权衡描述了模型过于简单或过于灵活时，两者之间的平衡。
• 分级置信度：预测会附带概率，下游系统可以对其设定阈值、排序，或将其与其他证据结合。

朴素贝叶斯垃圾邮件过滤器用几行代码就展示了这些理念。它会估计每个单词在垃圾邮件和正常邮件中的出现频率，然后结合贝叶斯定理为新邮件评分：

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# Labeled examples replace hand-written rules: 1 = spam, 0 = not spam
messages = ["win a free prize now", "claim your free cash reward", "limited offer, click now to win"]
messages += ["meeting moved to monday", "can you review my draft today", "lunch with the team on friday"]
labels = [1, 1, 1, 0, 0, 0]

# Count words, then estimate each word's probability under each class
vectorizer = CountVectorizer()
model = MultinomialNB()
model.fit(vectorizer.fit_transform(messages), labels)

for text in ["free prize inside", "draft for monday", "free lunch on friday"]:
    spam_probability = model.predict_proba(vectorizer.transform([text]))[0, 1]
    print(f"{text!r}: P(spam) = {spam_probability:.2f}")

“free prize inside”的垃圾邮件概率得分为 0.86，“draft for monday”为 0.21，而混合了两个类别单词的“free lunch on friday”得分为 0.29。模型仅凭六封带标签的邮件就学会了“free”表示垃圾邮件。

统计方法类别#

统计 AI 涵盖了从小型概率模型到拥有数十亿参数的深度网络，各类方法以不同方式权衡内置结构和数据需求。图模型会明确编码依赖关系，因此只需少量数据即可运行；k 近邻等经典方法，以及 XGBoost和 LightGBM等梯度提升树，会从特征表中学习；深度网络则会从原始输入中学习自己的特征：

统计 AI 与相关术语的比较#

• 符号 AI：将知识表示为明确的符号和规则，例如专家系统中的 if-then 语句，并通过逻辑推理得出结论。其推理过程可以逐步追溯，不需要训练数据，但遇到规则未覆盖的输入时就会失效。
• 机器学习：统计 AI 的主要实践领域。两个术语几乎完全重合；“统计 AI”主要用于对比数据驱动方法与符号方法。
• 神经符号 AI：将学习型模型与符号推理结合起来，例如让 LLM 调用计算器、数据库查询或定理证明器。
• 模糊逻辑：为“房间很暖和”等模糊陈述赋予 0 到 1 之间的真值程度；这衡量的是模糊程度，与事件发生的概率不同。

实际应用#

• 垃圾邮件过滤：Paul Graham 2002 年发表的文章 A Plan for Spam推广了贝叶斯过滤器；这类过滤器会从每位用户的邮件中学习单词概率，而如今的过滤器将同一理念应用于更多信号。
• 机器翻译：Google Translate 于 2006 年推出，采用统计机器翻译技术，从平行文本中学习短语翻译概率；2016 年，它转向了神经机器翻译。
• 文本生成：LLM 在每一步都会从其词表上的概率分布中采样来生成文本；温度设置会在每次采样前使分布变得更尖锐或更平坦。
• 视觉感知：目标检测器从头到尾都是统计模型。Ultralytics YOLO26通过最小化带标签图像上的损失来学习权重，为每个框报告置信度分数，并在预测模式下丢弃低于 conf阈值的框，默认阈值为 0.25。