2024 年以生成式 AI 浪潮开局

AI 社区似乎几乎每天都会成为新闻焦点。2024 年的前几个月令人振奋，涌现出大量 AI 创新成果。从强大的新型大型语言模型到人脑植入物，2024 年注定会成为 AI 领域的重要一年。

我们正在见证 AI 改变各行各业、让信息更易获取，甚至迈出人脑与机器融合的第一步。让我们回顾 2024 年第一季度，深入了解短短几个月里 AI 领域取得的进展。

大型语言模型正受关注#

大型语言模型 (LLMs)旨在利用海量文本数据理解、生成和处理人类语言，并在 2024 年第一季度成为焦点。许多大型科技公司都发布了各自的 LLMs，每款模型都具备独特能力。GPT-3 等早期 LLMs 的成功推动了这一趋势。以下是 2024 年初最值得关注的几款 LLM。

Anthropic 的 Claude 3#

Anthropic 于 2024 年 3 月 4 日发布了 Claude 3。Claude 3 有三个版本：Opus、Sonnet 和 Haiku，分别面向不同市场，满足不同需求。Haiku 是响应最快的模型，针对快速、基础的回答进行了优化。Sonnet 在速度和智能水平之间取得平衡，面向企业应用。能力最强的 Opus 则专为复杂推理任务设计，发布时在许多基准测试中名列前茅。

正如我们在Claude 3 模型卡的介绍中所述，Claude 3 带来了多项功能和改进：

• 增强多语言对话能力：提升了西班牙语、日语和法语等语言的处理能力。
• 先进的视觉功能：能够处理多种视觉格式。
• 减少不必要的拒答：展现出更强的理解能力，减少了不必要的拒答，体现出对上下文的把握有所提升。
• 扩展上下文窗口：上下文窗口为 200K，但可根据客户需求处理超过 100 万个 token 的输入。

图 1. Claude 3 对上下文的理解比先前版本更强。

Databricks 的 DBRX#

Databricks DBRX是一款开放的通用 LLM，由 Databricks 于 2024 年 3 月 27 日发布。DBRX 在语言理解、编程和数学等多种基准测试中表现出色。它的表现超过了其他成熟模型，体积却比类似模型小约 40%。

图 2. DBRX 与其他模型的比较。

DBRX 使用下一词元预测进行训练，并采用细粒度混合专家 (MoE) 架构，大幅提升了训练和推理效率。该架构让模型能够通过参考一组多样化的专业子模型（即“专家”），更准确地预测序列中的下一个词。这些子模型擅长处理不同类型的信息或任务。

Google 的 Gemini 1.5#

Google 于 2024 年 2 月 15 日推出 Gemini 1.5。这是一款计算效率高的多模态 AI 模型，可分析大量文本、视频和音频数据。最新模型在性能、效率和能力方面都更加先进。Gemini 1.5 的一项关键特性是长上下文理解能力取得突破。该模型能够稳定处理多达 100 万个词元。Gemini 1.5 的能力也得益于全新的 MoE 架构。

图 3. 热门 LLM 的上下文长度对比

以下是 Gemini 1.5一些最值得关注的特性：

• 改进的数据处理：可直接上传大型 PDF、代码仓库或较长的视频作为提示。该模型能够跨模态推理并输出文本。
• 上传和查询多个文件：开发者现在可以上传多个文件并提问。
• 可用于不同任务：该模型经过优化，可扩展到多种任务，并在数学、科学、推理、多语言处理、视频理解和代码等方面有所提升。

AI 生成的惊艳视觉效果#

2024 年第一季度涌现出一些生成式 AI 模型，它们能够生成极其逼真的视觉内容，引发了人们对社交媒体未来和 AI 发展进程的讨论。以下是推动这场讨论的几款模型。

OpenAI 的 Sora#

ChatGPT 的创造者 OpenAI 于 2024 年 2 月 15 日宣布推出名为 Sora 的先进文本转视频深度学习模型。Sora 是一款文本转视频生成器，能够根据用户的文本提示生成时长达一分钟、视觉质量出色的视频。

例如，看看下面这个提示。

“一个精美呈现的珊瑚礁纸艺世界，里面满是色彩斑斓的鱼类和海洋生物。”

下面是生成视频中的一帧。

图 4. Sora 生成的视频中的一帧。

Sora 通过融合用于生成纹理的扩散模型和用于保证结构连贯性的 Transformer 模型，构建了实现这一效果的架构。目前，Sora 仅向红队测试人员以及一小部分视觉艺术家、设计师和电影制作人开放，以了解其风险并收集反馈。

Stability AI 的 Stable Diffusion 3#

Stability AI 于 2024 年 2 月 22 日宣布推出文本生成图像模型 Stable Diffusion 3。该模型将扩散 Transformer 架构与流匹配结合起来。该公司尚未发布技术论文，但有几个关键特性值得关注。

图 5. 根据提示生成的图像：“史诗般的动漫艺术作品：一位巫师站在夜晚的山顶，将宇宙咒语施向黑暗的天空，咒语由彩色能量构成，写着 "Stable Diffusion 3"” (来源)

Stable Diffusion 的最新模型在性能、图像质量以及生成包含多个主体的图像时的准确性方面均有所提升。Stable Diffusion 3 还将提供多种模型，参数规模从 8 亿到 80 亿不等。用户可以根据可扩展性和细节方面的具体需求进行选择。

Google 的 Lumiere#

2024 年 1 月 23 日，Google 研究人员推出了 Lumiere，这是一种文本生成视频的扩散模型。Lumiere 使用了一种名为 Space-Time-U-Net 的架构，简称 STUNet。该架构帮助 Lumiere 理解物体在视频中的位置和运动方式，从而生成流畅逼真的视频。

图 6. 根据提示“熊猫在家弹尤克里里”生成的视频中的一帧。

Lumiere 每段视频最多可生成 80 帧，是 AI 视频质量的一项重要进展。以下是 Lumiere 的一些特性：

• 图像转视频：Lumiere 可以从一张图像和一个提示出发，将图像制作成动态视频。
• 风格化生成：Lumiere 可以使用单张参考图像，按照特定风格生成视频。
• 动态照片：Lumiere 可以让图像中的特定区域动起来，创建动态场景，例如让某个物体移动，同时保持场景的其余部分静止。
• 视频修复：Lumiere 可以修改视频中的部分内容，例如更换人物的服装或调整背景细节。

未来仿佛已然到来#

2024 年初还带来了许多宛如科幻电影场景的 AI 创新。过去我们认为不可能实现的事情，如今已经有人开始着手研发。以下这些新发现让未来不再遥不可及。

Elon Musk 的 Neuralink#

Elon Musk 的 Neuralink 于 2024 年 1 月 29 日成功为一名人体植入无线脑芯片。这是将人脑连接到计算机的重要一步。Elon Musk 分享说，Neuralink 的首款产品“Telepathy”正在筹备中。

图 7. Neuralink 植入物

该项目旨在让用户，尤其是肢体功能受损的人，能够仅凭意念轻松控制设备。其潜在应用远不止于提升便利性。Elon Musk 展望了这样一个未来：瘫痪人士也能轻松交流。

Disney 的 HoloTile 地板#

2024 年 1 月 18 日，Walt Disney Imagineering 展示了 HoloTile Floor。它被称为全球首款可供多人使用的全向跑步机地板。

图 8. Disney Imagineer Lanny Smoot 站在自己的最新创新成果 HoloTile 地板上。

它可以像念力一样在任何人或物体下方移动，带来沉浸式虚拟现实和增强现实体验。你可以朝任何方向行走，同时避免碰撞。Disney 的 HoloTile 地板还可以铺设在剧院舞台上，用于以富有创意的方式跳舞和移动。

Apple 的 Vision Pro#

2024 年 2 月 2 日，备受期待的 Apple Vision Pro 头显正式上市。它配备了丰富的功能和应用，旨在重新定义虚拟现实和增强现实体验。Vision Pro 头显融合了娱乐、生产力和空间计算，面向多元化受众。Apple 自豪地宣布，在 Vision Pro 上市时，已有 600 多款应用针对该设备进行了优化，涵盖生产力工具、游戏和娱乐服务等。

Cognition 的 Devin#

2024 年 3 月 12 日，Cognition 发布了一款名为 Devin 的软件工程助手。Devin 是全球首次尝试打造自主 AI 软件工程师。与提供建议或完成特定任务的传统编程助手不同，Devin 旨在处理完整的软件开发项目，从最初构想到最终完成。

它可以学习新技术、构建并部署完整应用、查找并修复错误、训练自己的模型、为开源代码库和生产代码库做贡献，甚至承接 Upwork 等网站上的实际开发工作。

图 9. Devin 与其他模型的对比。

Devin 在 SWE-bench 上接受了评估。这是一项具有挑战性的基准测试，要求智能体解决 Django 和 scikit-learn 等开源项目中真实存在的 GitHub 问题。Devin 从头到尾正确解决了 13.86% 的问题，而此前最先进的水平为 1.96%。

值得一提的成果#

最近发生了很多事情，无法在本文中一一介绍，不过这里还有几项值得一提。

• NVIDIA 于 2024 年 3 月 21 日公布的 LATTE3D 是一款文本转 3D AI 模型，可以根据文本提示即时创建 3D 表示。
• Midjourney 的新款文本转视频生成器由 CEO David Holz 预告，已于 1 月启动训练，预计很快发布。
• 为推动 AI PC 革命，Lenovo 于 2024 年 1 月 8 日发布了搭载 E Ink Prism 技术的 ThinkBook 13x，以及高性能 AI 笔记本电脑。

和我们一起关注 AI 趋势！#

2024 年初，AI 领域取得了重大进展，也实现了多项技术里程碑。但这只是 AI 能力的开端。如果你想进一步了解 AI 的最新进展，Ultralytics 都能为你提供帮助。

查看我们的 GitHub 仓库，了解我们在计算机视觉和 AI 领域的最新贡献。你还可以浏览我们的解决方案页面，了解 AI 如何应用于制造业和医疗保健等行业。