GPT-4

GPT-4 是 OpenAI GPT（生成式预训练 Transformer）系列的第四个模型，是于 2023 年 3 月 14 日发布的大型多模态模型，可以接受图像和文本作为输入并生成文本。它在模拟律师资格考试中的得分约位于考生的前 10%，而 GPT-3.5 的得分约位于后 10%；GPT-4 也成为 ChatGPT Plus 和 Microsoft Bing Chat 背后的模型。GPT-4 技术报告以竞争和安全为由，未公开其架构、模型规模、硬件、训练算力和数据集构建方式，因此 GPT-4 的参数量至今仍未公布。

能力与基准测试#

GPT-4 在 MMLU 知识基准测试中取得了 86.4% 的成绩，高于 GPT-3.5 的 70.0%。OpenAI 将 MMLU 翻译成 26 种语言后，GPT-4 在其中 24 种语言中的得分超过了早期模型的英语得分。首个版本提供了 8,192 个token的上下文窗口，还有一个支持 32,768 个 token 的版本，而 GPT-3.5 的上下文窗口为 4,096 个 token。OpenAI 还报告称，在训练完成前，就利用训练算力不超过 GPT-4 千分之一的模型预测了 GPT-4 的部分表现，这是缩放定律的一种应用。

该模型仍会产生幻觉。在 OpenAI 内部的对抗性事实性评估中，它的得分比 GPT-3.5 高 19 个百分点；但其预训练数据截至 2021 年 9 月，因此不了解此后的事件。它的能力也不均衡：2023 年一项涉及 758 名 Boston Consulting Group 顾问的实地实验发现，在模型能力范围内的任务上，GPT-4 提高了工作质量；而在略微超出其能力范围的一项任务上，它降低了准确率。这种现象称为锯齿状智能。

训练与对齐#

GPT-4 先在公开数据和授权数据上进行预训练，以预测下一个 token，随后通过基于人类反馈的强化学习（RLHF）进行微调。OpenAI 在发布前花了六个月对齐模型，并邀请 50 多位专家进行对抗性测试，这是一种AI 红队测试。除了使用人类偏好排名训练的常规奖励模型，它还加入了基于规则的奖励模型：零样本 GPT-4 分类器会根据人工编写的评分标准评估每个回答，对拒绝有害请求以及回答已知安全的请求给予奖励。

与 GPT-3.5 相比，GPT-4 对不允许内容请求的响应频率降低了 82%，对医疗建议等敏感请求遵循 OpenAI 政策的频率提高了 29%。

图像输入#

GPT-4 能读取图表、屏幕截图、手写笔记和照片；发布演示还将一张手绘网站草图转换成了可运行的 HTML。图像输入最初通过 Be My Eyes 提供，该平台的 Be My AI 功能会为盲人和低视力用户描述周围环境；2023 年 9 月，图像输入以 GPT-4V 的形式进入 ChatGPT。支持视觉的 GPT-4 是一种视觉语言模型（VLM），而 LLaVA 等开放 VLM 则使用纯文本 GPT-4 编写视觉指令微调所需的训练对话。

GPT-4 以文本作答，在精确空间定位任务（例如绘制准确的边界框）上表现不佳，因此计算机视觉工作流会将它与专用的目标检测模型配合使用。Ultralytics LLM 接口可在同一个脚本中运行这两者：YOLO26查找并定位画面中的对象；如果检测结果需要文字描述，接口的 image 参数就会将画面和提示发送给兼容 OpenAI 的视觉模型。后续的 OpenAI 模型（例如 GPT-6.1 Sol 和 GPT-6 Astra）可以自行返回边界框，而 VLM Leaderboard会衡量它们及其他视觉语言模型在真实世界数据集中检测对象的准确度。

后续模型及相关模型#

GPT-3 于 2020 年发布，是一个拥有 1750 亿参数、仅处理文本且上下文长度为 2,048 个 token 的模型。GPT-4 Turbo 于 2023 年 11 月发布，价格更低，上下文长度则提升至 128,000 个 token。GPT-4o 于 2024 年 5 月发布，可在一个网络中处理文本、音频和图像，并能在短至 232 毫秒内响应语音；GPT-4.1 则于 2025 年 4 月为 API 带来了 100 万个 token 的上下文长度。o1 等推理模型走了不同路线：它们通过强化学习进行训练，先写出较长的思维链再作答；GPT-5 则于 2025 年 8 月通过路由器整合了快速模型和推理模型。

2025 年 4 月 30 日，OpenAI 在 ChatGPT 中用 GPT-4o 替换了 GPT-4；其弃用计划将 gpt-4 和 gpt-4-turbo 的 API 关闭日期定为 2026 年 10 月 23 日，并推荐使用 gpt-5.6-sol 作为替代方案。