OpenAI 最新更新：Canvas、视觉微调等

我们上次在 9 月查看 OpenAI 的 o1 模型时，这些模型旨在提升推理能力。此后，ChatGPT 新增了许多令人振奋的功能。其中一些更新面向开发者，另一些则旨在优化用户体验。总体而言，每次升级都有助于让 ChatGPT 的交互更加直观、高效。

Canvas 等更新旨在促进协作写作和编码，而针对视觉能力的微调则改善了 ChatGPT 处理图像的方式。这些更新引发了广泛关注，鼓励用户探索更多创意可能性。与此同时，新 API 和公平性测试报告等技术升级，则关注模型集成和负责任的 AI实践等方面。接下来，我们深入了解 OpenAI 最新推出的 ChatGPT 功能！

OpenAI Canvas 功能概览#

Canvas 是 ChatGPT 发布以来首次重大用户界面（UI）更新。它采用全新界面和双屏布局：提示词位于左侧边栏，回复显示在右侧窗口。新 UI 摒弃了常见的聊天式单屏结构，改用适合多任务处理的双屏布局，以提高工作效率。

图 1. Canvas 为 ChatGPT 带来 UI 更新。

Canvas 推出之前，在 ChatGPT 上处理长篇文档时，往往需要频繁上下滚动。在新布局中，提示词显示在左侧边栏，代码片段或文本文档占据屏幕的大部分区域。你还可以根据需要调整左侧边栏和输出窗口的大小。此外，你可以选中文本的一部分或一段代码，并编辑指定部分，而不必改动整个文档。

图 2. 使用 Canvas 编辑文本的特定部分。

使用 Canvas 时，你会发现 ChatGPT 界面上没有专门的按钮或开关可以打开 Canvas。相反，当你使用 GPT-4o 模型并且系统检测到你正在编辑、写作或编写代码时，Canvas 就会自动打开。对于简单的提示词，Canvas 会保持关闭。如果你想手动打开，可以使用“打开 Canvas”或“调出 Canvas 布局”之类的提示词。

目前，Canvas 仍处于测试阶段，且仅适用于 GPT-4o。不过，OpenAI 表示，Canvas 结束测试阶段后将面向所有免费用户开放。

ChatGPT 的 API 更新#

OpenAI 发布了三项全新的 ChatGPT API 更新，旨在提升效率、可扩展性和多功能性。下面我们逐一了解这些更新。

模型蒸馏#

开发者可以通过 OpenAI API 使用模型蒸馏功能，利用 GPT-4o 或 o1-preview 等先进模型的输出，提升更小且成本效益更高的模型的性能；GPT-4o mini便是这类模型之一。模型蒸馏是一种训练较小模型以模仿更先进模型行为的过程，从而使这些模型能够更高效地完成特定任务。

在这项功能推出之前，开发者必须手动使用不同工具协调各种任务。这些任务包括生成数据集、衡量模型性能以及对模型进行微调，整个过程往往复杂且容易出错。模型蒸馏更新允许开发者使用 Stored Completions，这是一种能够通过 API 捕获和存储高级模型生成的输入输出对，从而自动生成数据集的工具。

模型蒸馏的另一项功能 Evals（目前处于测试阶段）有助于衡量模型在特定任务上的表现，无需编写自定义评估脚本，也不必使用独立工具。开发者可以使用 Stored Completions 生成数据集，再通过 Evals 评估性能，从而微调自己的定制 GPT 模型。

图 3. 你可以使用 Evals 衡量模型性能。

提示词缓存#

构建 AI 应用时，尤其是构建聊天机器人时，常常需要在多次 API 调用中重复使用相同的上下文（理解当前请求所需的背景信息或先前的对话记录）。提示词缓存让开发者可以重复使用近期处理过的输入令牌（模型为理解提示词并生成回复而处理的文本片段），从而降低成本和延迟。

从 10 月 1 日起，OpenAI 已为 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 等模型自动启用提示词缓存。这意味着，开发者通过 API 与模型交互时，如果使用较长的提示词（超过 1,024 个令牌），系统就会保存已处理过的部分。

这样一来，如果再次使用相同或相似的提示词，系统就可以跳过这些部分的重新计算。系统会自动缓存此前遇到的最长提示词片段，从 1,024 个令牌开始，并随着提示词变长，每次增加 128 个令牌。

Realtime API#

创建语音助手通常需要先将音频转成文本，再处理文本，最后将回复转换成可播放的音频。OpenAI 的 Realtime API 旨在通过一次 API 请求完成整个流程。简化这一流程后，API 就能支持与 AI 进行实时对话。

例如，集成 Realtime API 的语音助手可以根据用户请求执行特定操作，例如下单或查找信息。该 API 让语音助手响应更迅速，也能快速适应用户需求。Realtime API 于 10 月 1 日通过公开测试版开放，提供六种语音。10 月 30 日又新增五种语音，总数达到十一种。

图 4. 使用 Realtime API 练习新语言对话的示例。

针对视觉任务微调 ChatGPT#

最初，GPT-4o 视觉语言模型只能使用纯文本数据集进行微调和定制。如今，随着视觉微调 API 的发布，开发者可以使用图像数据集训练和定制 GPT-4o。自发布以来，视觉微调已成为开发者和计算机视觉工程师关注的热点。

为了微调 GPT-4o 的视觉能力，开发者可以使用包含 100 到 50,000 张图像的数据集。确认数据集符合 OpenAI 要求的格式后，就可以将其上传至 OpenAI 平台，并针对特定应用微调模型。

例如，自动化公司 Automat 使用截图数据集来训练 GPT-4o，使其能够根据描述识别屏幕上的 UI 元素。这有助于简化机器人流程自动化（RPA），让机器人更轻松地与用户界面交互。模型无需依赖固定坐标或复杂的选择器规则，而是可以根据简单描述识别 UI 元素，因此自动化配置更灵活，也更容易在界面变化时维护。

图 5. 使用微调后的 GPT-4o 模型检测 UI 元素。

ChatGPT 的公平性与偏见检测#

随着 AI 日益先进，围绕 AI 应用的伦理问题已成为热门话题。由于 ChatGPT 的回复基于用户提供的提示词和互联网上的数据，因此很难始终确保其语言表达恰当负责。有报告称，ChatGPT 的回答会因姓名、性别和种族而产生偏见。为解决这一问题，OpenAI 内部团队开展了首项第一人称公平性测试。

姓名往往会隐含有关我们文化和地域因素的线索。在大多数情况下，ChatGPT 会忽略姓名中的细微线索。不过，有些情况下，反映种族或文化背景的姓名会导致 ChatGPT 给出不同的回复，其中约 1% 包含有害语言。消除偏见和有害语言是语言模型面临的一项艰巨任务。不过，OpenAI 公开分享这些发现并承认模型的局限性，有助于用户改进提示词，从而获得更加中立、无偏见的回答。

图 6. 因用户姓名不同而产生不同回复的示例。

了解 ChatGPT 搜索#

ChatGPT 刚推出时，AI 社区曾讨论它能否取代传统网页浏览。如今，许多用户都在用 ChatGPT 替代 Google 搜索。

OpenAI 推出的全新搜索功能让这一发展更进一步。借助搜索功能，ChatGPT 可以生成最新回复，并附上相关来源的链接。截至 10 月 31 日，所有 ChatGPT Plus 和 Team 用户都可以使用搜索功能，让 ChatGPT 更像一个由 AI 驱动的搜索引擎。

图 7. 使用 ChatGPT 全新搜索功能的示例。

未来展望#

ChatGPT 最近的更新着重于让 AI 更实用、更灵活、更公平。全新的 Canvas 功能帮助用户更高效地工作，而视觉微调则让开发者能够定制模型，使模型更好地处理视觉任务。解决公平性问题和减少偏见也是关键优先事项，确保 AI 无论面对什么样的人都能发挥良好作用。无论你是微调模型的开发者，还是只是在使用最新功能，ChatGPT 都在不断发展，以满足各种需求。凭借实时能力、视觉集成和对负责任使用的重视，这些更新正在为每个人打造更值得信赖、更可靠的 AI 体验。

访问我们的 GitHub 代码库并加入我们的社区，进一步探索 AI。深入了解 AI 在自动驾驶和医疗保健领域的应用。