人工智能聊天机器人ChatGPT在软件编程问题回答中的误判与误导

在8月8日的新闻报道中，美国普渡大学的研究团队发现了一个有趣的现象。他们发现，由OpenAI开发的人工智能助手ChatGPT在解答软件编程相关的问题时，其错误率竟然高达50%以上。尽管如此，仍有近三分之一的提问者能够成功地欺骗ChatGPT。这个研究结果无疑为我们提供了一个关于人工智能 chatbot 性能的新视角。

打开凤凰新闻，查看更多高清图片

在一项深入的研究中，该团队对ChatGPT在Stack Overflow网站517个问题的回答进行了深入分析，对其准确性、一致性、全面性和简洁性进行了全面的评估。此外，他们对这些回答还进行了语言和情感的深度剖析，并针对12名参与志愿者进行了一项问卷调查。根据研究结果，尽管ChatGPT的语言风格表现出色，但其回答中有52%的说法是错误的，而且77%的回答过于冗长。值得注意的是，只有当回答中的错误非常明显时，参与者才能够轻易地识别出来。而在其他情况下，受ChatGPT友好、权威和细致的语言风格的影响，参与者可能会被误导。

Stack Overflow，作为一家专注于程序员问答的专业平台，一直以来都是开发者们获取代码片段和解决问题的主要途径。然而，近年来，该网站却遭遇了一系列挑战，包括流量减少、内容质量降低以及用户信任度下降等。根据SimilarWeb在2023年4月发布的报告，自2022年1月以来，Stack Overflow的月流量已经连续下滑，其中3月份更是减少了13.9%。有关人士猜测，ChatGPT的崛起可能成为导致其流量下滑的一个重要原因。对此，Stack Overflow方面并未认同SimilarWeb的评估，而是强调其流量下滑主要是由于搜索算法和ChatGPT兴趣度的提升所导致的。

OpenAI在其ChatGPT网站上明确指出，其软件可能会生成关于人物、地点或事实的错误信息。据我国IT之家报道，截至本文撰写之时，该公司尚未就普渡大学的研究发表任何回应。