深入了解 OpenAI GPT-4o Mini 的能力

2024 年 5 月，OpenAI 发布了 GPT-4o，仅仅两个月后又推出了另一个模型：GPT-4o Mini。2024 年 7 月 18 日，OpenAI 发布了 GPT-4o Mini，并称其为“最具成本效益的小型模型”。GPT-4o Mini 是一款紧凑型模型，在早期模型的能力基础上进行了改进，旨在让先进 AI 更易获取、更加实惠。

GPT-4o Mini 目前支持文本和视觉交互，预计未来更新会增加处理图像、视频和音频的能力。本文将介绍 GPT-4o Mini 是什么、它的突出功能、使用方式、GPT-4o 与 GPT-4o Mini 的差异，以及它在各种计算机视觉用例中的应用。

什么是 GPT-4o Mini？#

GPT-4o Mini 是 OpenAI AI 模型系列的最新成员，旨在降低成本并提高可及性。这是一种多模态大型语言模型（LLM），也就是说，它可以处理多种数据类型，例如文本和图像。该模型在 GPT-4 和 GPT-4o 等早期模型优势的基础上，为用户提供了强大的能力，同时保持紧凑的规模。

GPT-4o Mini 的价格比 GPT-3.5 Turbo 低 60%，每百万输入 token（模型处理的文本或数据单位）收费 15 美分，每百万输出 token（模型生成的响应单位）收费 60 美分。作为参考，处理 100 万个 token 大致相当于处理 2,500 页文本。GPT-4o Mini 的上下文窗口为 128K token，每次请求最多可处理 16K 个输出 token，力求兼顾效率与实惠。

图 1. GPT-4o Mini 的价格比 GPT-3.5 Turbo 低 60%。

GPT-4o Mini 的主要特性#

GPT-4o Mini 支持多种任务，是各类应用的理想选择。它可以用于同时执行多项操作的场景，例如调用多个 API、处理大量数据（如完整代码库或对话历史），以及在客户支持聊天机器人中提供快速的实时回复。

以下是其他一些主要特性：

• 知识库更新：该模型的知识截止日期为 2023 年 10 月。
• 改进的分词器：GPT-4o Mini 能以更低成本处理非英语文本。
• 稳健的安全措施：这些措施包括过滤有害内容，以及防范提示注入和系统操纵等安全问题。

开始使用 GPT-4o Mini#

你可以通过 ChatGPT 界面试用 GPT-4o Mini。免费版、Plus 和 Team 用户都可以使用它；如下所示，它已取代 GPT-3.5。Enterprise 用户也很快就能使用，这符合 OpenAI 让所有人受益于 AI 的目标。开发者还可以通过 API 使用 GPT-4o Mini，将其功能集成到自己的应用中。目前，视觉功能只能通过 API 使用。

图 2。 ChatGPT 中的模型选项。

GPT-4o 与 GPT-4o Mini 的区别#

GPT-4o Mini 和 GPT-4o 在各种基准测试中都表现出色。GPT-4o 通常优于 GPT-4o Mini，但 GPT-4o Mini 对日常任务来说仍是经济实惠的选择。基准测试涵盖推理任务、数学和编程能力，以及多模态推理。如下面的图像所示，与其他热门模型相比，GPT-4o Mini 的基准测试成绩相当高。

图 3. GPT-4o Mini 与其他热门模型的对比。

亲自体验 GPT-4o 和 GPT-4o Mini#

网上有一个颇受讨论的有趣提示，涉及热门 LLM 错误比较小数。我们测试 GPT-4o 和 GPT-4o Mini 时，发现它们的推理能力存在明显差异。如下图所示，我们询问两个模型 9.11 和 9.9 哪个更大，并让它们解释推理过程。

图 4. 测试 GPT-4o 和 GPT-4o Mini。

两个模型最初都给出了错误回答，声称 9.11 更大。不过，GPT-4o 能够通过推理得出正确答案，并指出 9.9 更大。它提供了详细解释，并准确比较了这两个小数。相比之下，GPT-4o Mini 即使正确理解了 9.9 更大的推理过程，仍固执地坚持最初的错误答案。

两个模型都展现了出色的推理能力。GPT-4o 能够自我纠正，因此更胜一筹，也更适合复杂任务。GPT-4o Mini 的适应能力稍弱，但仍能为简单任务提供清晰准确的推理。

将 GPT-4o Mini 用于各种计算机视觉应用场景#

如果你想探索 GPT-4o Mini 的视觉能力，但又不想深入研究代码，可以轻松地在 OpenAI Playground 中测试 API。我们亲自试用了一番，看看 GPT-4o Mini 处理各种计算机视觉相关应用场景的效果如何。

使用 GPT-4o Mini 进行图像分类#

我们让 GPT-4o Mini 对两张图像进行分类：一张是蝴蝶，另一张是地图。该 AI 模型成功识别出了蝴蝶和地图。由于这两张图像差异很大，这项任务相当简单。

图 5. 借助 GPT-4o Mini 对图像进行分类。

接着，我们又让模型处理了两张图像：一张显示蝴蝶停在植物上，另一张显示蝴蝶停在地面上。AI 再次表现出色，正确识别出停在植物上的蝴蝶和停在地面上的蝴蝶。于是，我们又进一步进行了测试。

图 6. 借助 GPT-4o Mini 对相似图像进行分类。

随后，我们让 GPT-4o Mini 对另外两张图像进行分类：一张展示蝴蝶在沼泽马利筋花上取食，另一张展示蝴蝶在百日菊上取食。值得注意的是，无需进一步微调，模型就能给出如此具体的标签。这些快速示例表明，无需自定义训练，GPT-4o Mini 也可能用于图像分类任务。

图 7. 借助 GPT-4o Mini 对细节丰富的图像进行分类。

使用 GPT-4o Mini 理解姿势#

截至本文撰写时，GPT-4o Mini 无法处理目标检测和实例分割等计算机视觉任务。GPT-4o 可以尝试执行这些任务，但准确性有限。同样，在姿态理解方面，该模型无法检测关键点或估计图像中的姿态，但可以对姿态进行分类和描述。

图 8. 使用 GPT-4o Mini 理解图像中的姿势。

上图展示了 GPT-4o Mini 如何对姿态进行分类和理解，尽管它无法检测或估计姿态的精确坐标。这在不同应用中都很有帮助。例如，在体育分析中，它可以大致评估运动员的动作，帮助预防受伤。同样，在物理治疗中，它可以协助监测锻炼，确保患者在康复期间做出正确动作。在监控中，它可以通过分析整体肢体语言来帮助识别可疑活动。虽然 GPT-4o Mini 无法检测特定关键点，但它对一般姿态进行分类的能力使其在这些领域以及其他领域都很有用。较新的 OpenAI 模型，如 GPT-6 Luna 和 GPT-6.1 Sol，能够绘制边界框，而 Ultralytics VLM Leaderboard 则比较它们在真实世界数据集上的目标检测准确性。

GPT-4o Mini 适用的应用场景#

我们已经了解了 GPT-4o Mini 的功能。接下来，我们来讨论 GPT-4o Mini 最适合哪些应用。

GPT-4o Mini 非常适合需要先进自然语言理解能力、同时又要求计算资源占用较小的应用。它让 AI 能够集成到以往因成本过高而无法采用 AI 的应用中。事实上，Artificial Analysis 的详细分析显示，与大多数其他模型相比，GPT-4o Mini 能以更快的输出速度提供高质量回复。

图 9. GPT-4o Mini 的输出质量与速度。

以下是一些可能适用的主要领域：

• 虚拟助手和聊天机器人：GPT-4o Mini 可以快速、智能地响应，从而改善用户交互体验。
• 教育工具：该模型可用于构建提供个性化辅导和内容生成功能的工具。
• 效率工具：它可以改进任务处理，例如总结文档、起草电子邮件和翻译语言，从而提高效率。
• 语言翻译：GPT-4o Mini 可用于开发翻译工具，提供准确的实时机器翻译，帮助不同语言的使用者更好地沟通。

GPT-4o Mini 开启新机遇#

GPT-4o Mini 为多模态 AI 的未来创造了新机遇。处理每段文本或数据的费用称为每个 token 的成本；自 2022 年发布 GPT-3 模型 text-davinci-003 以来，这项成本已大幅下降，降幅接近 99%。成本下降清楚地表明，先进 AI 正变得更加经济实惠。随着 AI 模型持续改进，将 AI 集成到每个应用和网站中，在经济上也越来越可行。

想亲自体验 AI 吗？访问我们的 GitHub 仓库，了解我们的创新成果，并加入活跃的社区。你还可以在我们的解决方案页面了解 AI 在制造业和农业中的更多应用。