研究人员发现，程序员常常倾向于选择ChatGPT在编码问题上的（错误）答案。这是因为他们认为ChatGPT“表达清晰”。

Sam Altman，OpenAI首席执行官，以及GPT-4的插图

ChatGPT似乎在让人们相信它很聪明方面取得了很大成功。但如果它实际上是在愚弄他们认为呢？

自从于去年11月发布以来，ChatGPT在让人们相信它聪明方面取得了很大的成功。但如果它实际上是在欺骗他们呢？ 这个由OpenAI开发的聊天机器人已经在社会中产生了巨大的影响，经常出现在首席执行官的财报电话中，并扰乱了从教育到创意产业的各个领域。

但本月发布的一篇预印稿表明，ChatGPT在让人们相信它很聪明方面有一个巧妙的小技巧：一种风格高于内容的方法。

普渡大学的研究人员分析了ChatGPT对Stack Overflow网站上的517个问题的回复，Stack Overflow是一个重要的软件开发人员和工程师问答网站。

在评估了机器人的回答是否"正确、一致、全面和简洁"之后，研究人员发现52%的答案是明显错误的，77%的答案在写作方面存在冗长之处。

研究的另一个部分发现，ChatGPT用户在处理问题时与Stack Overflow上人类的回答相比，有40%的时间会更倾向于选择ChatGPT的回答，尽管ChatGPT的回答存在错误。

研究指出：“当被问及为什么在ChatGPT的回答是错误的情况下，参与者依然更喜欢ChatGPT的回答时，他们表示回答的全面性和表达清晰的语言结构可能是他们偏好的一些原因。"

 需要注意的是，这项用户分析仅涉及12名程序员被要求评估他们是否更喜欢ChatGPT的回答还是Stack Overflow上人类的回答，以回答2000个随机抽样的问题。但OpenAI本身已经警告说，这个机器人可能会写出“听起来很有道理但却是错误的或荒谬的答案”。

在工作时间外，OpenAI未对Insider有关研究结果的请求作出回应。 正如Insider的Alistair Barr和Adam Rogers本月报道的那样，Stack Overflow已经成为了“LLM致死”的案例研究，Elon Musk称之为“大型语言模型的致命一击”，在OpenAI发布其高级GPT-4 AI模型的一个月后，该网站的流量同比下降了13%。

普渡大学的研究结果紧随斯坦福大学和加州大学伯克利分校的学者的研究，这些研究表明，这个大型语言模型正在变得愚蠢。

ChatGPT似乎在没有受到太多审查的情况下迅速嵌入到互联网中，这已经引起了AI伦理学家和程序员们的警惕和愤怒。

对于普渡大学的研究结果，计算机科学家和AI专家Timnit Gebru发推文称：“太棒了，Stack Overflow正被OpenAI等人摧毁。"