研究人员记录了ChatGPT响应质量的令人担忧的下降趋势
例如，Chat GPT-4对素数进行识别的准确率从2023年3月到6月下降了从97.6%到2.4%。
最近几个月来，关于ChatGPT响应质量下降的问题出现了大量的个人经验证据和普遍的议论。斯坦福大学和加州大学伯克利分校的研究团队决定确定是否确实发生了质量下降，并提出度量恶化程度的指标。长话短说，ChatGPT的质量下滑绝对不是想象出来的。
三位杰出的学者，Matei Zaharia、Lingjiao Chen和James Zou，是最近发表的研究论文《ChatGPT的行为如何随时间变化？》的作者。（PDF）今天早些时候，加州大学伯克利分校的计算机科学教授Zaharia在Twitter上分享了这些研究结果。他引人注目地指出，"GPT-4在'逐步思考这个数字是不是素数？'的成功率从2023年3月到6月下降了从97.6%到2.4%。"
GPT-4开始普遍提供，并被OpenAI誉为其最先进、最有能力的模型。它很快被推向付费API开发者，声称可以为一系列新的创新型人工智能产品提供动力。因此，令人遗憾和令人惊讶的是，新的研究发现在面对一些相当直接的查询时，其质量回应非常不足。
我们已经给出了上述素数查询中GPT-4超低的错误率的例子。研究团队设计了任务来衡量ChatGPT潜在的大型语言模型（LLMs）即GPT-4和GPT-3.5的以下定性方面。任务分为四类，测量了多种人工智能技能，同时相对容易对性能进行评估。
l 解决数学问题
l 回答敏感问题
l 生成代码
l 视觉推理
下图提供了Open AI LLM的性能概述，研究人员量化了GPT-4和GPT-3.5在2023年3月和2023年6月发布的版本。
很明显，“相同”的LLM服务随时间变化而对查询的回答有很大不同。在这相对较短的时间内出现了显著差异。目前还不清楚这些LLMs如何进行更新，以及是否改变以改进性能的某些方面可能会对其他方面产生负面影响。在三个测试类别中，看看最新版本的GPT-4在比3月版本中的性能要差多少。它只在视觉推理中略微领先。
