人工智能聊天机器人的回答可靠性初探

在8月8日的报道中，一项由美国普渡大学开展的研究发现，OpenAI 所研发的人工智能助手ChatGPT在解答软件编程相关问题的过程中，其错误率高达50%以上，同时又有三分之一的提问者能够成功欺骗ChatGPT。

在一项深入的研究中，该团队对ChatGPT在Stack Overflow网站517个问题的回答进行了深入分析，对其准确性、一致性、全面性和简洁性进行了全面的评估。此外，他们对这些回答还进行了语言和情感的深度剖析，并针对12名参与志愿者进行了一项问卷调查。根据研究结果，尽管ChatGPT的语言风格表现出色，但是其回答中有52%的答案存在错误，并且77%的回答过于冗长。值得注意的是，只有当回答中的错误非常明显时，参与者才能够准确地识别出来。而在其他情况下，受ChatGPT友好、权威和细致的语言风格的影响，参与者可能会被误导。