文章主题：ChatGPT, 性能下降, OpenAI
ChatGPT性能暴降！OpenAI重磅回应！
编译 | 言征
近期，ChatGPT Plus的用户持续反馈该平台以及其基础的LLM（GPT-4）的性能表现有所下滑，尤其是在编程方面的准确性方面，下降幅度更为明显，达到了13%。
在一系列密集的更新之后，结果揭示了一个显著的现象，那就是为Plus订阅用户提供网络浏览以及扩展插件访问权限的服务需求急剧增长。这使得原本就承受巨大工作压力的GPT-4在应对时，其反应速度的快速程度似乎不再像之前那样让人印象深刻。
当功能与性能受限时，部分用户选择取消其Plus订阅服务并非无理取闹。事实上，许多人都倾向于采用开源AI语言模型作为替代方案，这无疑是对这种现象的一种无声回应。
一、网友主流观点
关于 ChatGPT 性能下降的原因，当前存在诸多猜测和设想。部分流行的观点认为，这种现象可能源于“模型的缩放痛苦”，即降低 GPT-4 的推理能力可能是提高响应速度的一个可行策略。对于 OpenAI 的开发者而言，这个方案并非难以想象。
有评论指出，虽然互联网接入为人们带来诸多便利，近期更有研究发现，OpenAI的GPT-4在速度上超越了Azure的GPT-4模型，然而，ChatGPT的编码输出却出现了严重的降级现象。
二、另一个原因：安全性AI对齐
一个不容忽视的原因是，近期，科技巨头如Sam Altman纷纷站出来，声称他们正努力防止“AI灭绝的风险”。这无疑与ChatGPT的推理能力和可用性有所下降的状况相呼应，而这一现象似乎与AI行业领导者在承认“人工智能，特别是新兴的AGI的潜在危险性”的言论不谋而合。
可能是由于 OpenAI 出于对安全性考量而对其所进行的过度 AI 对齐。简单来说，AI 对齐就是确保人工智能系统的目标与人类价值观一直，使其符合设计者的利益预期，不会产生意外的有害后果，例如输出涉及种族、政治等敏感信息。
而就在近期，由微软研究院发布的一篇论文中提到了这样的观点：对 AI 模型所进行的任何 AI 对齐，都会损失模型的准确性和性能。论文主要作者 Sebastien Bubeck 在一次发言中叙述了大模型经过 AI 对齐后所出现的问题。当接收到“利用 TikZ 绘图工具绘制独角兽”的指令后，未经 AI 对齐的 GPT-4 模型给出了这样的结果。
然而当实验员将相同需求提供给集成 GPT-4 模型并进行了安全性 AI 对齐的ChatGPT 后，图像的输出质量却下降了一大截。对此，Sebastien Bubeck 解释称，相较于 GPT-4，ChatGPT 利用了更多基于人类反馈的强化学习来构建护栏，然而根据古德哈特定律，奖励模型并不是一个完美的代理，因此过度的 AI 对齐会阻碍模型对任务理解的真实程度。
三、Sam Altman 宣布新的 OpenAI 计划
上周，Humanloop 的 CEO Raza 与 Sam Altman 和其他 20 位开发人员坐下来讨论 OpenAI 的 API 及其产品计划。Sam 非常开放，热情讨论了许多有关 OpenAI 很尖锐的问题。以下是要点：
1.OpenAI 目前严重受 GPU 限制
整个讨论中出现的一个共同主题是，目前 OpenAI 非常受 GPU 限制，这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 承认他们的担忧，并解释说大部分问题是 GPU 短缺造成的。
更长的 32k 上下文还不能推广给更多人。OpenAI 还没有克服注意力的 O(n^2) 缩放，因此虽然看起来很有可能他们很快就会有 100k – 1M 令牌上下文窗口（今年）任何更大的东西都需要研究突破。
微调 API 目前也受到 GPU 可用性的瓶颈。他们还没有使用适配器或LoRa等高效的微调方法，因此微调的运行和管理需要大量计算。将来会更好地支持微调。他们甚至可能举办社区贡献模型的市场。
专用容量产品受 GPU 可用性的限制。OpenAI 还提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意预先支付 10 万美元。
2.OpenAI 的近期路线图
Sam 分享了他所看到的 OpenAI 的 API 临时近期路线图。
2023
（1）更便宜更快的 GPT-4——这是他们的首要任务。总的来说，OpenAI 的目标是尽可能降低“智能成本”，因此随着时间的推移，他们将努力继续降低 API 的成本。
（2）更长的上下文窗口——在不久的将来，上下文窗口可能高达 100 万个 token。
（3）Finetuning API——微调 API 将扩展到最新的模型，但具体形式将取决于开发人员表示他们真正想要的东西。
（4）有状态的 API——当你今天调用聊天 API 时，你必须反复传递相同的对话历史并一次又一次地为相同的令牌付费。将来会有一个记住对话历史记录的 API 版本。
2024
（5）多模态——这是作为 GPT-4 版本的一部分进行演示的，但在更多 GPU 上线之前不能扩展到所有人。
3.插件“没有 PMF”并且可能不会很快出现在 API 中
许多开发人员对通过 API 访问 ChatGPT 插件很感兴趣，但 Sam 表示他认为这些插件不会很快发布。除了浏览之外，插件的使用表明它们还没有 PMF。他建议很多人认为他们希望他们的应用程序在 ChatGPT 中，但他们真正想要的是他们应用程序中的 ChatGPT。
4.OpenAI 将避免与他们的客户竞争——除了 ChatGPT
不少开发人员表示，当 OpenAI 可能最终发布对他们具有竞争力的产品时，他们对使用 OpenAI API 进行构建感到紧张。Sam 表示 OpenAI 不会发布 ChatGPT 以外的更多产品。他说，伟大的平台公司拥有杀手级应用程序的历史由来已久，而 ChatGPT 将允许他们通过成为自己产品的客户来改进 API。ChatGPT 的愿景是成为工作的超级智能助手，但还有许多 OpenAI 不会触及的其他 GPT 用例。
5.需要监管，但也需要开源
虽然 Sam 呼吁对未来的模型进行监管，但他认为现有模型并不危险，并认为监管或禁止它们将是一个大错误。他重申了他对开源重要性的信念，并表示 OpenAI 正在考虑开源 GPT-3。他们尚未开源的部分原因是他怀疑有多少个人和公司有能力托管和服务大型 LLM。
6.大模型定律仍然成立
最近有很多文章声称“巨型 AI 模型的时代已经结束”。这并不准确。OpenAI 的内部数据表明，模型性能的比例定律继续存在，使模型变大将继续产生性能。
没错，扩展的速度无法维持，因为 OpenAI 在短短几年内就将模型放大了数百万倍，而这种做法在未来将无法持续。这并不意味着 OpenAI 不会继续尝试让模型变得更大，这只是意味着它们的规模每年可能会增加一倍或三倍，而不是增加许多数量级。
扩大规模继续起作用的事实对 AGI 开发的时间表具有重大影响。大模型假设是这样一种想法，即我们可能拥有构建 AGI 所需的大部分内容，并且大部分剩余工作将采用现有方法并将它们扩展到更大的模型和更大的数据集。如果大模型时代已经结束，那么也就意味着 AGI 离我们更远了。也就是说，大模型定律继续成立的事实，强烈暗示了更短的 AGI 时间表。返回搜狐，查看更多
责任编辑：
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
