文章主题:ChatGPT, USMLE, AI, 医学教育
基于语言的 AI 机器人优于对应模型 PubMedGPT未来的用途可能包括医学教育和临床实践ChatGPT 已通过商学院和法学院的考试
ChatGPT已经通过了在美国行医所需的黄金标准考试——人们越来越担心人工智能可能会让白领工人失业。在由三部分组成的医学执照考试 (USMLE) 中,人工智能项目的得分在 52.4% 到 75% 之间。每年的及格门槛约为 60%。进行这项研究的科技公司 AnsibleHealth 的研究人员说:“在没有任何人工强化的情况下,达到这个众所周知的困难专家考试的及格分数,标志着临床AI成熟的一个显着里程碑。”据专家称,此前http://DailyMail.com 揭示 了人工智能革命中风险最大的五个职业。
ChatGPT是一种新兴的人工智能系统,近期在美国医学执照考试(USMLE)中取得了令人瞩目的成绩,甚至达到了可以通过考试的门槛。这一结果证明了该系统的智能水平和能力,引起了广泛的关注和讨论。
几个月前,我们的完整研究成果作为预印本发布,现在已经通过了同行评审,并在PLOS Digital Health杂志上发表。
ChatGPT是由OpenAI开发的一种基于语言的机器人,能够生成类似于人类的语言响应。作为一种预训练语言模型,ChatGPT通过学习大量的文本数据来获得语言知识和模式识别能力,进而实现自然语言生成。与传统的基于规则的聊天机器人和基于模板的方法不同,ChatGPT采用了一种全新的技术,即基于神经网络的预训练语言模型,使得其能够更好地理解人类的语言并生成更加自然的响应。
该技术已经在商业(宾夕法尼亚大学沃顿商学院)和法学院(明尼苏达大学)进行了测试并通过了考试。
在最近的研究中,科学家们针对2022年6月的USMLE考试的350个题目,对这款软件进行了严格的评估。
两名医生对结果进行评估,差异由第三位专家进行审查。
该测试评估医学生和实习医生对大多数医学学科的知识,自 1992 年以来一直使用。
USMLE考试分为三个阶段,它们在不同阶段进行。第一阶段,即USMLE Step 1,通常在医学院的二年级末尾进行。接下来是第二阶段,即USMLE Step 2,它在大四阶段进行。最后,第三阶段,即USMLE Step 3,在完成医学院课程及住院医师培训后的第一年进行。
每年有超过 100,000 名学生和研究生参加考试。
ChatGPT 在其 88.9% 的回复中展现出了“至少一个重要见解”,这些见解具有“新的、非显而易见性和临床有效性”。
结果超过了 PubMedGPT 的性能,PubMedGPT 是一种专门针对生物医学领域文献进行训练的对应模型,在较旧的 USMLE 式问题数据集上得分为 50.8%。
作者认为他们的发现表明 ChatGPT 可能成为医学教育中的一个有价值的工具。
作者写道,人工智能机器人“具有通过呈现可能不在学习者意识范围内的新颖和非显而易见的概念来教授医学的部分能力”。
该研究补充说,“人工智能现在有望很快在临床实践中变得无处不在,并在所有医疗保健领域都有不同的应用。”
AnsibleHealth 团队对 ChatGPT 充满信心,以至于该公司的临床医生已经开始尝试将其用作工作流程的一部分,以重写大量术语的报告。
甚至这项研究的团队也使用 ChatGPT 来记录他们的发现。
“ChatGPT 对 [我们的] 手稿的写作做出了重大贡献,”作者 Tiffany Kung 博士说。“我们像同事一样与 ChatGPT 互动,要求它综合、简化并为正在进行的草案提供对立点……所有合著者都重视 ChatGPT 的投入。”
不过,一些专家强调了研究结果和人工智能使用的局限性。
巴斯大学人工智能教授 Nello Cristianini 教授说:“这并不意味着 ChatGPT 拥有与人类相当的知识……我们拥有一种经过训练可以生成文本的统计机制(新但‘相似在正确的语境和方式下对它接受培训的人),所以我们不应该谈论理解或相关概念。
甚至 OpenAI 也承认该工具倾向于以“看似合理但不正确或荒谬的答案”来回应,这是一个它认为很难解决的问题。
人工智能技术还可以延续种族、性别和文化等社会偏见。
包括谷歌和亚马逊在内的科技巨头此前已经承认,他们的一些试验人工智能的项目存在“道德风险”并且存在局限性。在几家公司,人类不得不介入并解决这些问题。
尽管如此,Aligned AI 的联合创始人兼首席研究员 Stuart Armstrong 博士认为,“这是一个令人印象深刻的表现,我们应该期待在未来看到更多这样的人工智能成功案例。”
“在许多领域,人类比人工智能更有效……不过,人类的这种优势不会永远持续下去。总有一天,AI 会在几乎每一项任务上都比我们做得更好。
康奈尔大学庄臣商学院院长 Andrew Karolyi 最近对英国《金融时报》表示:“我们都可以肯定的是,ChatGPT 不会消失。如果有的话,这些人工智能技术将继续变得越来越好。教师和大学管理人员需要投资进行自我教育。
(了解更多,请医道社微信公众号)
*”医道社”力求所发表内容专业、可靠,但不对内容的准确性做出承诺;请相关各方在采用或以此作为决策依据时另行核查。
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!