Singularity

技术奇点是假设中的未来时刻：届时，人工智能 (AI)将能够以人类无法跟上的速度自我改进，引发机器智能失控式增长，并带来无法从该时刻之前预测的文明变化。这个名称借自数学和物理学，其中奇点是函数或物理理论失效的点，例如黑洞中心。目前还没有 AI 系统能够在无人类指导的情况下提升自身智能，因此奇点仍然是假设；但这一概念影响着研究人员和政策制定者对通用人工智能 (AGI)和AI 安全的思考。

思想的起源#

• John von Neumann（20 世纪 50 年代）：数学家 Stanislaw Ulam 回忆了一次谈话：von Neumann 将技术加速进步描述为接近“人类历史中的某种根本性奇点，越过这个奇点后，人类事务将无法像我们所知的那样继续发展”。
• I. J. Good（1965 年）：统计学家在《Speculations Concerning the First Ultraintelligent Machine》中描述了“智能爆炸”：比任何人都聪明的机器会设计出更优秀的机器，因此第一台这样的机器将成为“人类最后需要发明的东西”。
• Vernor Vinge（1993 年）：这位数学家和科幻小说作家在为 NASA 研讨会撰写的《The Coming Technological Singularity》中推广了这一术语，文章开篇写道：“三十年内，我们将拥有创造超人类智能的技术手段。”
• Ray Kurzweil（2005 年）：这位未来学家的著作 The Singularity Is Near 根据计算领域的指数趋势推断奇点将在 2045 年到来；其 2024 年续作 The Singularity Is Nearer 保留了这一年份，并将 2029 年定为达到人类水平 AI 的时间。

智能爆炸如何发生#

这一假设背后的机制是递归式自我改进。如今，人类工程师设计神经网络架构、整理训练数据并编写训练代码。能够自行完成这些研究的系统可以构建能力更强的继任者，而后者会更出色、更快速地开展研究，如此循环往复。这个循环究竟会加速还是趋于平稳，取决于每轮循环带来的收益：如果每次能力提升都能带来更大的研究速度提升，增长就会失控；如果算力、数据、能源或现实世界实验成为瓶颈，增长就会放缓并趋于平稳。

研究人员将这一转变的速度称为起飞速度。快速起飞（也称硬起飞）会在数小时或数天内从人类水平发展到远超人类的 AI，几乎没有时间纠正错误；缓慢起飞（也称软起飞）则会历时数年或数十年。深度学习中观察到的缩放定律描述了随着算力、数据和参数增加而稳定获得的幂律收益，因此仅靠规模扩展带来的进步会跟随硬件和投资的增长。

奇点、AGI 与超智能的区别#

• AGI：一种能力水平，指系统几乎能胜任所有认知任务，达到人类水平。如果 AGI 的自我改进速度缓慢或受到限制，那么即使不存在奇点，AGI 也可能出现。
• 人工超智能 (ASI)：能力水平高于 AGI。哲学家 Nick Bostrom 将超智能定义为：在几乎所有感兴趣的领域中，智力都远超人类认知表现的智能。
• 奇点：一个事件，即自我改进的 AI 从通用人工智能（AGI）水平跃升至超级智能的转变；此后，人类将无法再预测其发展。

如何让比其监管者更聪明的系统始终与人类目标保持一致，是一项名为超级对齐的研究课题。

当今 AI 中的先兆#

AI 已经能自动化自身开发中的一些特定环节。自动化机器学习 (AutoML) 和神经架构搜索 (NAS)会搜索人们过去需要手动选择的模型设计。Ultralytics YOLO 中的超参数调优是同一理念的小规模实践：遗传算法会对学习率和数据增强强度等训练设置进行变异，重新训练模型，并保留得分最高的一组设置。在更大规模上，Google DeepMind 的 AlphaEvolve 编程智能体找到了一种更快地拆分矩阵乘法的方法，使 Gemini 架构中的一个关键内核提速 23%，并将 Gemini 的训练时间缩短了 1%。

批评与争论#

怀疑者认为，智能的增长方式并不像处理器晶体管数量那样。微软联合创始人 Paul Allen 和 Mark Greaves 在《奇点并不近》（2011）一书中提出了“复杂性刹车”：每一次对认知的理解取得进展，都会揭示更多复杂性，因此进步会放缓。另一些人则指出芯片和能源的物理极限，以及需要通过缓慢的真实世界实验开展的研究。认真看待这一情景的研究人员主张，应在此类系统出现之前解决对齐问题。2023 年 5 月，数百名 AI 科学家和高管签署了一份一句话声明，指出减轻 AI 带来的灭绝风险应与应对疫情和核战争并列，成为全球优先事项。Vinge 本人的预测设定了一个期限：“如果这一事件发生在 2005 年之前或 2030 年之后，我会感到惊讶。”