ChatGPT在编程问题回答中的错误率高得惊人

自ChatGPT等生成式人工智能出现以来，许多开发人员都试图将它们作为编程过程中的助力。

但近日，美国普渡大学的一项研究指出，ChatGPT在回答编程问题时的错误率，出乎预料的高。

据报道，ChatGPT在处理软件编程相关问题时，其错误率高达50%以上，且这些错误往往较为显著，以至于能够轻易地迷惑约三分之一提问者。

在本次研究中，我们的团队深入剖析了ChatGPT在517个Stack Overflow网站上的答题表现，对其准确性、一致性、全面性与简洁性进行了全面的评估。此外，我们还针对12位热心的志愿者展开了一项问卷调查。

最终的结论是，ChatGPT的回答虽然语言风格良好，但52%的回答是错误的，77%是冗长的。

在实验过程中，只有当志愿者的回答出现显著错误时，我们才能够意识到问题的存在。而在其他情况下，他们会受到人工智能所具备的友好的语言表达和精细入微的风格的影响，从而难以发现潜在的问题。

这显然表明，当前阶段的生成式AI离作为编程时的辅助工具还有相当大的差距，以至于可能产生负面影响。

在此提醒读者，OpenAI在早期就已在官方网站上向用户明确表示，其AI生成的回答有可能存在关于人、地点或事实的不准确信息。