认识 Meta 的 Llama 3

在回顾2024 年第一季度人工智能 (AI) 创新时，我们看到不同组织接连发布了 LLM，也就是大语言模型。延续这一趋势，Meta 于 2024 年 4 月 18 日发布了新一代先进开源 LLM Llama 3。

你可能会想：这不过是又一个 LLM。AI 社区为什么这么兴奋？

虽然你可以微调 GPT-3 或 Gemini 等模型来生成定制化回复，但这些模型不会完全公开其内部运作机制，例如训练数据、模型参数或算法。相比之下，Meta 的 Llama 3 更加透明，其架构和权重都可以下载。对 AI 社区来说，这意味着有更大的实验自由。

本文将介绍 Llama 3 能做什么、它是如何诞生的，以及它对 AI 领域的影响。我们马上开始！

Meta Llama 模型的演进#

深入了解 Llama 3 之前，我们先回顾一下它的早期版本。

Meta 于 2023 年 2 月推出了 Llama 1，该模型有四种变体，参数量从 70 亿到 650 亿不等。在机器学习中，“参数”指模型从训练数据中学习得到的元素。由于参数量较少，Llama 1 有时难以理解细微差别，回答也不够稳定。

Llama 1 发布后不久，Meta 于 2023 年 7 月推出了 Llama 2。它使用 2 万亿个 token 进行训练。token 是一段文本，例如一个词或词的一部分，是模型处理数据时使用的基本单位。该模型还进行了改进，例如将上下文窗口扩大一倍至 4096 个 token，以便理解更长的文本，并采用了超过 100 万条人工标注来减少错误。尽管有这些改进，Llama 2 仍需要大量计算资源，Meta 希望通过 Llama 3 解决这一问题。

认识 Meta 的 Llama 3#

Llama 3 有四种变体，使用多达 15 万亿个 token 进行训练。超过 5% 的训练数据（约 8 亿个 token）是 30 种不同语言的数据。所有 Llama 3 变体都能在多种消费级硬件上运行，上下文长度为 8k 个 token。

图 1. Llama 3 与 Llama 2 的比较。

这些模型变体有两种规模：8B 和 70B，分别表示 80 亿和 700 亿个参数。此外还有两个版本：base 和 instruct。“Base”指标准预训练版本。“Instruct”则是经过微调的版本，通过使用相关数据进行额外训练，针对特定应用或领域进行了优化。

以下是 Llama 3 的模型变体：

• Meta-Llama-3-8b：基础版 8B 模型提供基本的 AI 能力，适合开发客服聊天机器人等通用任务。
• Meta-Llama-3-8b-instruct：这是经过指令微调的 8B 模型，针对特定任务进行了优化。例如，它可以用于创建能够讲解复杂主题的教育工具。
• Meta-Llama-3-70b：基础版 70B 模型专为高性能 AI 应用打造。它适用于处理大量生物医学文献等应用，助力药物研发。
• Meta-Llama-3-70b-instruct：该版本基于 70B 模型进行微调，适用于需要高度精确的应用，例如分析法律或医疗文档，在这些场景中，准确性至关重要。

Meta 的 Llama 3 模型架构#

与 Meta 的其他 AI 进展一样，Llama 3 的开发过程实施了严格的质量控制措施，以维护数据完整性并尽量减少偏见。因此，最终打造出了一个强大的模型，并且其开发过程秉持负责任的原则。

Llama 3 模型架构的突出特点，是在自然语言处理任务中兼顾效率与性能。它基于 Transformer 架构，采用仅解码器架构，尤其注重提升文本生成过程中的计算效率。

该模型只根据前文上下文生成输出，无需编码器对输入进行编码，因此速度快得多。

图 2. Llama 3 负责任的模型架构。

Llama 3 模型采用词表包含 128K 个 token 的分词器。词表越大，模型就越能理解和处理文本。此外，模型现在还采用了分组查询注意力（GQA），以提升推理效率。你可以把 GQA 想象成聚光灯：它能帮助模型聚焦于输入数据中相关的部分，从而更快、更准确地生成回答。

以下是 Llama 3 模型架构的其他一些有趣细节：

• 边界感知文档处理：Llama 3 能够在不同文档的边界处保持清晰区分，这对摘要生成等任务至关重要。
• 更强的代码理解能力：Llama 3 的训练数据中包含的代码样本是之前的四倍，提升了模型的编程能力。
• 严格的质量控制：通过启发式过滤和 NSFW 内容移除等严格措施，确保数据完整性并尽量减少偏见。

Llama 3 正在改变我们的模型训练方式#

为了训练规模最大的 Llama 3 模型，团队结合了三种并行化方式：数据并行、模型并行和流水线并行。

数据并行会将训练数据分配到多块 GPU 上；模型并行则会划分模型架构，以利用每块 GPU 的计算能力。流水线并行会将训练过程划分为按顺序执行的阶段，从而优化计算和通信。

最高效的实现取得了出色的计算利用率：在 16,000 块 GPU 上同时训练时，每块 GPU 的性能超过 400 TFLOPS。这些训练任务在两个定制 GPU 集群上执行，每个集群由 24,000 块 GPU 组成。这套规模庞大的计算基础设施为高效训练大规模 Llama 3 模型提供了必要的算力。

为了最大限度地提高 GPU 利用率，团队开发了全新的高级训练技术栈，自动处理错误检测、故障处理和维护。团队还大幅改进了硬件可靠性和检测机制，以降低静默数据损坏的风险。此外，团队还开发了新的可扩展存储系统，以减少检查点保存和回滚的开销。

这些改进使整体训练时间的有效利用率超过 95%。综合来看，与 Llama 2 相比，这些改进将 Llama 3 的训练效率提高了约三倍。这种效率不仅令人印象深刻，也为 AI 训练方法开辟了新的可能性。

借助 Llama 3 开启新可能#

由于 Llama 3 是开源的，研究人员和学生可以研究其代码、开展实验，并围绕伦理问题和偏见展开讨论。不过，Llama 3 并非只服务于学术界，它在实际应用中也引起了广泛关注。它正成为 Meta AI 聊天界面的核心，并无缝集成到 Facebook、Instagram、WhatsApp 和 Messenger 等平台中。借助 Meta AI，用户可以进行自然语言对话、获取个性化推荐、执行任务，还能轻松与他人联系。

图 3. Meta AI：由 Llama 3 驱动。

将 Llama 3 与其他 LLM 进行比较#

Llama 3 在多个关键基准测试中表现出色，这些测试用于评估复杂的语言理解和推理能力。以下是一些用于测试 Llama 3 各项能力的基准测试：

• 大规模多任务语言理解（MMLU）——衡量模型在不同领域的知识水平。
• 通用问题回答（GPQA）——评估模型针对各种常识问题生成连贯且正确回答的能力。
• HumanEval——专注于编程和问题解决任务，测试模型生成可运行代码和解决算法挑战的能力。

Llama 3 在这些测试中的出色成绩，使其明显优于 Google 的 Gemma 7B、Mistral 的 Mistral 7B 和 Anthropic 的 Claude 3 Sonnet 等竞争模型。根据已发布的数据，尤其是 70B 模型，Llama 3 在上述所有基准测试中的表现都超过了这些模型。

图 4. Llama 3 与其他 LLM 的比较。

Meta 正在让更多人使用 Llama 3#

Meta 正在将 Llama 3 推向更多平台，面向普通用户和开发者提供服务。对于日常用户，Llama 3 已集成到 WhatsApp、Instagram、Facebook 和 Messenger 等 Meta 热门平台中。用户可以直接在这些应用中使用实时搜索和创意内容生成等高级功能。

Llama 3 还将集成到 Ray-Ban Meta 智能眼镜和 Meta Quest VR 头显等可穿戴技术产品中，带来交互式体验。

开发者可以在多个平台上使用 Llama 3，包括 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake。你也可以直接从 Meta 获取这些模型。丰富的平台选择让开发者可以轻松地将这些先进 AI 模型的能力集成到自己的项目中，无论是直接使用 Meta 的服务，还是通过其他热门平台。

要点总结#

机器学习的进步持续改变着我们每天与技术互动的方式。Meta 的 Llama 3 表明，LLM 不再只是生成文本。LLM 正在解决复杂问题并处理多种语言。总体而言，Llama 3 让 AI 的适应性和可访问性都达到前所未有的水平。展望未来，Llama 3 的计划升级将带来更多能力，例如处理多个模型和理解更长的上下文。

查看我们的 GitHub 代码库，加入我们的社区，了解更多 AI 相关信息。访问我们的解决方案页面，了解 AI 如何应用于制造业和农业等领域。