OpenAI 最新更新：Canvas、视觉微调等

我们上次在 9 月查看 OpenAI 的 o1 模型时，这些模型旨在提升推理能力。此后，ChatGPT 新增了许多令人振奋的功能。其中一些更新面向开发者，另一些则旨在优化用户体验。总体而言，每次升级都有助于让 ChatGPT 的交互更加直观、高效。

Canvas 等专为协作写作和编程设计的更新，以及可提升 ChatGPT 图像处理能力的视觉功能微调，引发了广泛关注，促使用户探索更多创意可能。与此同时，新增 API 和公平性测试报告等技术升级，则涉及模型集成和负责任的 AI实践等方面。让我们仔细了解 OpenAI 最新的 ChatGPT 功能。

OpenAI Canvas 功能概览#

Canvas 是 ChatGPT 发布以来首次重大用户界面（UI）更新。它采用全新界面和双屏布局：提示词位于左侧边栏，回复显示在右侧窗口。新 UI 摒弃了常见的聊天式单屏结构，改用适合多任务处理的双屏布局，以提高工作效率。

图 1. Canvas 为 ChatGPT 带来 UI 更新。

Canvas 推出之前，在 ChatGPT 中处理长文档意味着你需要频繁上下滚动。在新布局中，提示词显示在左侧边栏，文本文件或代码片段则占据屏幕的大部分区域。如有需要，你还可以调整左侧边栏和输出区域的大小。此外，你可以选中文本的一部分或某段代码，只编辑指定内容，而不更改整个文档。

图 2. 使用 Canvas 编辑文本的特定部分。

使用 Canvas 时，你会发现 ChatGPT 界面上没有专门的按钮或开关来打开它。相反，当你使用 GPT-4o 模型时，如果系统检测到你正在编辑、写作或编程，Canvas 就会自动打开。对于更简单的提示词，Canvas 则保持未启用状态。如果你想手动打开，可以使用“打开 Canvas”或“为我打开 Canvas 布局”这类提示词。

目前，Canvas 仍处于测试阶段，且仅适用于 GPT-4o。不过，OpenAI 表示，Canvas 结束测试阶段后将面向所有免费用户开放。

ChatGPT 的 API 更新#

OpenAI 发布了三项全新的 ChatGPT API 更新，旨在提升效率、可扩展性和多功能性。下面我们逐一了解这些更新。

模型蒸馏#

通过 OpenAI API 使用模型蒸馏功能，开发者可以利用 GPT-4o 或 o1-preview 等高级模型的输出，提升 GPT-4o mini 等成本效益更高的小型模型的性能。模型蒸馏是指训练小型模型模仿更先进模型行为的过程，从而让小型模型能更高效地执行特定任务。

在这项功能推出之前，开发者必须使用不同工具手动协调各种任务，包括生成数据集、衡量模型性能和微调模型，这通常会使流程变得复杂且容易出错。模型蒸馏更新让开发者可以使用 Stored Completions，这项工具能够通过 API 捕获并存储高级模型生成的输入输出对，从而自动生成数据集。

模型蒸馏的另一项功能是 Evals（目前处于测试阶段），它可以衡量模型在特定任务上的表现，而无需创建自定义评估脚本或使用单独的工具。开发者可以使用 Stored Completions 生成的数据集，并通过 Evals 评估性能，从而微调自己的自定义 GPT 模型。

图 3. 你可以使用 Evals 衡量模型性能。

提示词缓存#

构建 AI 应用时，尤其是聊天机器人，往往会在多次 API 调用中重复使用相同的上下文（即理解当前请求所需的背景信息或先前对话记录）。提示词缓存让开发者能够重复使用最近用过的输入令牌（模型为理解提示词并生成响应而处理的文本片段），从而降低成本和延迟。

从 10 月 1 日起，OpenAI 已为 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini 等模型自动启用提示词缓存。这意味着，开发者通过 API 与模型交互时，如果使用较长的提示词（超过 1,024 个令牌），系统就会保存已处理过的部分。

这样一来，如果再次使用相同或相似的提示词，系统就可以跳过这些部分的重新计算。系统会自动缓存此前遇到的最长提示词片段，从 1,024 个令牌开始，并随着提示词变长，每次增加 128 个令牌。

Realtime API#

创建语音助手通常需要先将音频转成文本，处理文本，再将文本转换回音频以播放响应。OpenAI 的 Realtime API 旨在通过单个 API 请求处理整个流程。该 API 简化了流程，让 AI 能够进行实时对话。

例如，集成 Realtime API 的语音助手可以根据用户请求执行特定操作，例如下单或查找信息。该 API 让语音助手响应更迅速，也能更快适应用户需求。Realtime API 于 10 月 1 日通过公开测试版推出，当时提供六种语音。10 月 30 日又新增五种，总计提供十一种语音。

图 4. 使用 Realtime API 练习新语言对话的示例。

针对视觉任务微调 ChatGPT#

最初，GPT-4o 视觉语言模型只能使用纯文本数据集进行微调和定制。随着视觉微调 API 的发布，开发者现在可以使用图像数据集训练和定制 GPT-4o。自发布以来，视觉微调已成为开发者和计算机视觉工程师关注的热门话题。

为了微调 GPT-4o 的视觉能力，开发者可以使用包含 100 到 50,000 张图像的数据集。确认数据集符合 OpenAI 要求的格式后，就可以将其上传至 OpenAI 平台，并针对特定应用微调模型。

例如，自动化公司 Automat 使用一组屏幕截图来训练 GPT-4o，使其能够根据描述识别屏幕上的 UI 元素。这有助于简化机器人流程自动化 (RPA)，让机器人更容易与用户界面交互。模型不必依赖固定坐标或复杂的选择器规则，而是可以根据简单描述识别 UI 元素，使自动化设置更灵活，也更容易在界面变化时维护。较新的 OpenAI 模型（例如 GPT-6.1 Sol）无需微调即可检测对象；VLM 基准测试结果则展示了它们与其他视觉语言模型在真实世界数据集上的对比情况。

图 5. 使用微调后的 GPT-4o 模型检测 UI 元素。

ChatGPT 的公平性与偏见检测#

随着 AI 日益先进，围绕 AI 应用的伦理问题也成为热门议题。由于 ChatGPT 的回复基于用户提供的提示词和互联网上的可用数据，因此要始终让其语言保持负责任并不容易。有报告指出，ChatGPT 的回答会因姓名、性别和种族而产生偏见。为了解决这个问题，OpenAI 内部团队进行了第一人称公平性测试。

姓名往往会隐含有关文化和地理因素的细微线索。在大多数情况下，ChatGPT 会忽略姓名中的这些细微线索。不过，在某些情况下，反映种族或文化的姓名会让 ChatGPT 给出不同的回答，其中约有 1% 的回答包含有害言论。消除偏见和有害言论是语言模型面临的一项艰巨任务。不过，OpenAI 公开分享这些发现并承认模型的局限性，有助于用户改进提示词，获得更中立、无偏见的回答。

图 6. 因用户姓名不同而产生不同回复的示例。

了解 ChatGPT 搜索#

ChatGPT 刚推出时，AI 社区曾讨论它能否取代传统网页浏览。如今，许多用户都在用 ChatGPT 替代 Google 搜索。

OpenAI 推出的全新搜索功能让这一发展更进一步。借助搜索功能，ChatGPT 可以生成最新回复，并附上相关来源的链接。截至 10 月 31 日，所有 ChatGPT Plus 和 Team 用户都可以使用搜索功能，让 ChatGPT 更像一个由 AI 驱动的搜索引擎。

图 7. 使用 ChatGPT 全新搜索功能的示例。

未来展望#

ChatGPT 最近的更新着重于让 AI 更实用、更灵活、更公平。全新的 Canvas 功能帮助用户更高效地工作，而视觉微调则让开发者能够定制模型，使模型更好地处理视觉任务。解决公平性问题和减少偏见也是关键优先事项，确保 AI 无论面对什么样的人都能发挥良好作用。无论你是微调模型的开发者，还是只是在使用最新功能，ChatGPT 都在不断发展，以满足各种需求。凭借实时能力、视觉集成和对负责任使用的重视，这些更新正在为每个人打造更值得信赖、更可靠的 AI 体验。

访问我们的 GitHub 代码库并加入我们的社区，进一步探索 AI。深入了解 AI 在自动驾驶和医疗保健领域的应用。