OpenAI 的 GPT-4o 展现 AI 的潜力

2024 年 5 月 13 日星期一，OpenAI 宣布推出其全新的旗舰模型 GPT-4o，其中“o”代表“omni”。GPT-4o 是一款先进的多模态 AI 模型，可实时处理文本、音频和视觉交互，提供更快的处理速度、多语言支持和更强的安全性。

它带来了新的生成式 AI 能力。GPT-4o 在 ChatGPT 对话能力的基础上进一步发展，其功能标志着人们对 AI 的认知迈出了重要一步。现在，我们可以像与真人交谈一样和 GPT-4o 对话。让我们来看看 GPT-4o 能做些什么！

了解 GPT-4o#

在 OpenAI 春季更新中，官方宣布 GPT-4o 虽然与 GPT-4 一样智能，但处理数据的速度更快，也更擅长处理文本、视觉和音频。以往的版本侧重于让模型变得更聪明，而此次发布则考虑到让大众更容易使用 AI 的需求。

图 1. OpenAI 春季更新发布会

ChatGPT 的语音模式于去年年底发布，它通过三个不同的模型协同工作：转录语音输入、理解并生成书面回复，以及将文本转换为语音，让用户听到回复。这种模式存在延迟问题，体验也不太自然。GPT-4o 可以一次性原生处理文本、视觉和音频，让用户感觉自己正在进行自然对话。

此外，与语音模式不同，现在你可以在 GPT-4o 说话时打断它，它也会像真人一样作出反应。它会停下来倾听，然后根据你说的话实时回应。它还可以通过语音表达情绪，并理解你的语气。

GPT-4o 的精彩功能#

GPT-4o 的模型评估充分展现了它的先进程度。最引人注目的结果之一是，与 Whisper-v3 相比，GPT-4o 在所有语言上的语音识别能力都有显著提升，尤其是使用人数较少的语言。

音频自动语音识别（ASR）性能用于衡量模型将口语准确转录为文本的能力。GPT-4o 的性能通过词错误率（WER）来衡量，该指标表示转录错误的词语所占的比例（WER 越低，质量越好）。下图展示了 GPT-4o 在不同地区的 WER 较低，证明它在提升资源较少语言的语音识别能力方面表现出色。

图 2. GPT-4o 在多种语言上具有更强的语音识别能力。

下面再来看看 GPT-4o 的一些独特功能：

• 速度更快——速度是 GPT-4 Turbo 的两倍。它只需 232 毫秒就能响应音频输入，响应时间与人类对话相近。
• 成本效益高——GPT-4o 的 API 版本比 GPT-4 Turbo 便宜 50%。
• 记忆能力——GPT-4o 能够在不同对话中保持上下文意识。它可以记住你在不同聊天中谈论的内容。
• 多语言能力——GPT-4o 经过训练，能够以更快的速度和更高的质量处理 50 种不同语言。

GPT-4o 的功能示例#

现在，你可以在手机上打开 GPT-4o，开启摄像头，像问朋友一样让 GPT-4o 根据你的面部表情猜测你的心情。GPT-4o 可以通过摄像头看到你并作出回答。

图 3. GPT-4o 通过视频理解人的心情。

你甚至可以通过视频向 GPT-4o 展示你写的内容，让它帮你解数学题。或者，你可以分享屏幕，让它成为一位得力的 Khan Academy 辅导老师，比如让它引导你指出几何图形中三角形的不同部分，如下图所示。

图 4. GPT-4o 在 Khan Academy 上担任辅导老师。

除了帮助孩子学习数学，开发者还可以与 GPT-4o 对话来调试代码。这得益于 ChatGPT 桌面应用的推出。在使用 GPT-4o 桌面语音应用交谈时，如果按 Ctrl+C 高亮并复制代码，它就能读取代码。你也可以用它来翻译使用不同语言交流的开发者之间的对话。

可能的用途非常广泛。OpenAI 最有趣的一项演示使用两部手机，展示 GPT-4o 与不同实例的自己对话并一起唱歌。

图 5. AI 与 AI 对话并一起唱歌。

GPT-4o 的应用#

演示表明，GPT-4o 可以让视障人士更轻松地接触周围世界。它能帮助他们更安全、更独立地与环境互动并四处行动。例如，用户可以开启视频，将街景展示给 GPT-4o。随后，GPT-4o 可以实时描述周围环境，例如识别障碍物、读取街道标志，或引导用户前往特定地点。它甚至可以在出租车驶近时提醒用户，帮助用户拦车。

图 6. GPT-4o 提醒用户出租车正在驶近。

GPT-4o 也能应用于各行各业。在零售业，它可以提供实时帮助、回答问题，并协助顾客在线上和实体店寻找商品，从而改善客户服务。比如，你在货架前找不到想要的商品时，GPT-4o 可以帮你找到它。

在医疗保健领域，GPT-4o 可以通过分析患者数据、根据症状提出可能的病症并提供治疗方案建议，协助进行诊断。它还可以为医疗专业人员提供支持，例如总结患者病历、快速查阅医学文献，甚至实时翻译语言，帮助他们与使用不同语言的患者沟通。这些只是其中几个例子。GPT-4o 的应用能够提供量身定制、结合上下文的帮助，并消除信息和沟通方面的障碍，让日常生活更加轻松。

GPT-4o 与模型安全#

与此前的 GPT 版本一样，GPT-4o 可能会影响数亿人的生活，并在全球范围内与用户进行实时音频和视频交互，因此安全是这些应用中的关键因素。OpenAI 在构建 GPT-4o 时非常谨慎，重点关注降低潜在风险。

为了确保安全可靠，OpenAI 实施了严格的安全措施，包括筛选训练数据、在训练后调整模型行为，以及加入新的安全系统来管理语音输出。此外，OpenAI 还邀请了 70 多位来自社会心理学、偏见与公平以及错误信息等领域的外部专家，对 GPT-4o 进行了广泛测试。外部测试有助于确保识别并解决新功能引入或放大的任何风险。

为了维持高标准的安全性，OpenAI 将在接下来的几周内逐步推出 GPT-4o 的功能。分阶段推出有助于 OpenAI 监控性能、解决问题并收集用户反馈。谨慎的做法能确保 GPT-4o 在提供先进能力的同时，达到最高标准的安全性和合乎道德的使用要求。

亲自试用 GPT-4o#

GPT-4o 可供免费使用。要体验上文提到的实时对话功能，你可以直接在手机上从 Google Play 商店或 Apple App Store 下载 ChatGPT 应用。

登录后，点击屏幕右上角的三个点，就能从显示的列表中选择 GPT-4o。进入已启用 GPT-4o 的聊天后，点击屏幕左下角的加号，就会看到多个输入选项。屏幕右下角有一个耳机图标。点击耳机图标后，系统会询问你是否要体验 GPT-4o 的免持版本。确认后，你就可以试用 GPT-4o，如下图所示。

图 7. 在 ChatGPT 移动应用上试用 GPT-4o。

如果你想将 GPT-4o 的先进能力集成到自己的项目中，开发者可以通过 API 使用它。借助 API，你可以在应用中集成 GPT-4o 强大的语音识别、多语言支持和实时对话能力。通过使用 API，你可以提升用户体验、构建更智能的应用，并将尖端 AI 技术应用于不同领域。

GPT-4o：还不完全像人类#

尽管 GPT-4o 比以前的 AI 模型先进得多，但要记住，GPT-4o 也有自身的局限。OpenAI 提到，它有时会在交谈中随机切换语言，例如从英语切换到法语。他们还发现 GPT-4o 有时会错误地在不同语言之间翻译。随着更多人试用该模型，我们会逐渐了解 GPT-4o 擅长什么，以及哪些方面仍需改进。对于目标检测等视觉任务，VLM Leaderboard 会将较新的 OpenAI 模型（如 GPT-6.1 Sol 和 GPT-6 Astra）与其他视觉语言模型进行比较。

归根结底#

OpenAI 的 GPT-4o 凭借先进的文本、视觉和音频处理能力，为 AI 开辟了新的可能，带来流畅、近似人类的交互体验。它在速度、成本效益和多语言支持方面表现出色。GPT-4o 是适用于教育、无障碍服务和实时协助的多功能工具。随着用户不断探索 GPT-4o 的能力，反馈将推动它持续发展。GPT-4o 展现了 AI 如何逐渐融入我们的日常生活。

探索我们的 GitHub 仓库，加入我们的社区，深入了解 AI。访问我们的解决方案页面，看看 AI 如何改变制造业和农业等行业。