ChatGPT，可靠性存疑

ChatGPT，还可以信任吗？

最近，一位美国的律师在一场诉讼案件中为原告提供帮助，但在引用ChatGPT收集的六个案例时被法官发现这些信息都是虚构的。尽管该律师意识到并未对信息进行核实，并因此表示道歉，但他仍可能面临相应的处罚。这一事件再次提醒我们，对于信息的获取和应用，我们需要谨慎对待，尤其是涉及到法律诉讼等严肃场合。

让ChatGPT协助办案

美国30年资深律师被坑

据新华社引述美国有线电视新闻网28日的报道，一名名叫罗伯托·马塔的男性乘客就哥伦比亚航空公司提出了一场诉讼。他指控该公司在2019年的一趟航班中，由于机组人员的疏忽大意，导致他的膝盖在客舱内的推车上遭受了撞击，从而造成了伤害。

马塔的代理律师是已有30多年从业经历的纽约市律师史蒂文·施瓦茨。为支持马塔诉求，施瓦茨向法官凯文·卡斯特尔提交了多个所谓类似案例及其判决结果。

在今年四月份，哥伦比亚航空公司的律师向法庭提交了一封针对施瓦茨提交的案例信息的质疑信。据美国《纽约时报》的报道，这些律师对于航空法律有着深入的理解，因此能够轻易地识别出其中的虚假信息。他们表示，在初期阶段，他们并未明确这些信息来源于ChatGPT，但他们的直觉告诉他们这些信息并不真实。

法官卡斯特尔本月4日在一份书面文件中写道，那6个案例的判决结果、引语等都是假的，“法庭从未遇到过这种情况”。他下令6月8日就处罚施瓦茨举行听证会。

施瓦茨承认那6个案例为ChatGPT提供。法庭文件显示，他看到这些案例信息后追问ChatGPT信息是否属实，机器人称“千真万确”，还给出了所谓的信息出处。

施瓦茨说，他这是第一次用ChatGPT协助办案，“没有意识到内容伪造的可能性”。

他已经在书面文件中明确表示懊悔，并愿意承担相应的责任。他还承诺，在未来如果没有对聊天机器人提供的信息进行全面核实，将不会使用这些信息。

研究发现ChatGPT并非可靠信源


值得一提的是，今年3月14日，OpenAI宣布正式发布为ChatGPT提供支持的更强大的下一代技术GPT-4，称其拥有图像识别功能，高级推理技能，以及处理25000个单词的能力，在某些测试中的表现“可与人类相媲美”，并在大学入学和法律及医学等专业领域的许多模拟考试中优于其前身GPT-3.5。例如，GPT-4通过了律师资格模拟考试，分数超过90%的人类考生，而GPT-3.5此前的分数则低于90%的人类考生。

不过，目前最新的研究发现ChatGPT并非可靠信源
。

据科技日报5月18日的一篇报道，加拿大科学家在16日出版的《放射学》杂志上刊登新论文称，最新版本的ChatGPT通过了美国放射学委员会的考试，突出了大型语言模型的潜力，但它也给出了一些错误答案，表明人们仍需对其提供的答案进行核查。

打开凤凰新闻，查看更多高清图片

图片来源：物理学家组织网

ChatGPT是一款由OpenAI开发的先进AI聊天机器人，其运作原理是基于大量的训练数据，通过运用深度学习模型来挖掘词汇间的规律和联系。基于此，ChatGPT能够生成类似于人类的语言反应，这种功能已经被广泛应用，例如在谷歌和必应等知名搜索引擎中，以及医疗信息领域，医生和患者都在借助这些工具来获取相关资料。然而，由于训练数据的质量并不总是可靠，因此有时候ChatGPT给出的答案可能与实际情况有所出入。

为深入评价ChatGPT在美国放射学委员会考试中的性能及其实用价值，多伦多大学的拉杰什·哈瓦那博士及其研究团队首先对其基于GPT-3.5的性能进行了实验测试。本次测试共涵盖了150道题目，其风格、内容和难度均与加拿大皇家学院以及美国放射学委员会的考试相仿。值得注意的是，这些题目并未包含任何图像，主要分为两大类别：低阶思维问题，包括知识回忆和基本理解；以及高阶思维问题，涉及应用、分析、综合等多方面的能力。其中，高阶思维问题又可以进一步细化为影像学表现描述、临床管理、计算和分类、疾病关联等具体方面。

研究人员发现，基于GPT-3.5的ChatGPT的正确率为69%，接近70%的及格线。该模型在低阶思维问题上表现相对较好，正确率为84%，但回答高级思维问题时表现不佳，正确率仅为60%。而性能更优异的GPT-4的正确率为81%，且在高阶思维问题上的正确率为81%，远好于GPT-3.5。但GPT-4在低阶思维问题上的正确率仅为80%，答错了12道题——GPT-3.5全部答对了这些题目，这引发了研究团队对GPT-4收集信息的可靠性的担忧。

这两项研究都表明，ChatGPT会有提供不正确答案的倾向，如果仅仅依靠它获取信息，非常危险，因为人们可能意识不到其给出的答案是不准确的，这是它目前面临的最大的问题。当前，ChatGPT最适合用来激发想法，帮助撰写数据摘要，而用于快速信息检索，需要对其提供的事实性答案予以核查。

编辑|程鹏 盖源源

校对|陈柯名