ChatGPT能否颠覆USMLE？大型语言模型在医疗教育中的潜力究竟几何？

文章主题：

🌟研究揭示！ChatGPT AI实力震撼医学界🚀——PLOS Digital Health新研究表明，这款人工智能模型在USMLE上的临床推理能力令人瞩目。它以卓越的精准度和逻辑思维，模拟出医生级别的决策过程，为医疗教育带来了革新性的突破。🔍通过这项严谨评估，ChatGPT展现出了强大的学习能力和适应性，无疑正在重塑医学知识的传递方式。欲了解更多AI在医疗领域的潜力，敬请关注！👩‍⚕️💻

🌟了解最新趋势？ChatGPT在USMLE上的表现揭示了AI医疗教育的惊人潜力！🔍通过超大规模的语言模型，它正逐步改变医学界的传统学习方式。📊医学考生们，准备好迎接智能辅导的新纪元了吗？💡未来，这样的技术或将助力精准医疗，提升整体医疗水平。🌍欲了解更多，敬请关注相关研究动态，一起见证科技如何赋能医学教育！✨

USMLE包括三个标准化考试，帮助学生在美国获得医疗执照。

背景

🌟随着AI与深度学习的迅猛发展，过去十年见证了其在各行各业的广泛应用，包括制造业、金融、乃至日常消费品。然而，尽管这些技术革新了众多领域，医疗保健信息技术（HIP）系统的集成和利用在临床护理中却并未充分释放其潜力。诚然，人工智能在医疗领域的渗透相对较少，构成了一个有待深化的领域。

🌟了解问题所在！💡在医疗AI领域，数据匮乏是关键挑战之一。而现在，通用大模型正逐步打破这一局面，它们正在临床影像中崭露头角，引领基于图像的智能化进程。举例来说，Inception-V3这款医学影像界的明星模型，它覆盖广泛，从眼科到皮肤病学，一应俱全，为AI在医疗诊断中的深度学习提供了强大的基础。🔍通过这些先进的技术，我们期待看到更精准、个性化的医疗服务，让每个病患都能受益于AI的智慧。🏆

🚀🔥ChatGPT，OpenAI的最新力作，以其在非特定领域展现出的强大语言处理能力引发了全球热议！🚀🔥这款LLM革命性地采用了独特的AI技术，通过深度学习解析旧有文本，以语境为指引预测出令人惊叹的单词序列。它的智能不仅限于日常对话，更在解决复杂问题和创新思考中展现出了非凡潜力。🌍💡ChatGPT的出现，无疑将语言交互带入了一个全新的维度，它以自然、流畅的方式处理任务，让人们对AI的无限可能有了更深的认识。👩‍💻👨‍💻欲了解更多关于这款颠覆性的技术如何改变我们的沟通方式，敬请关注未来的深度解析和专业讨论。我们期待ChatGPT在未来的日子里，继续引领语言科技的进步！🏆🚀

🌟ChatGPT的强大之处在于其卓越的自然语言处理能力，无需海量数据也能生成精准的词汇序列。💡用户反馈显示，这款AI不仅能进行逻辑推演，还能深度挖掘思维连贯性，开启创新思考的新篇章。🔥无论是学术研究还是日常对话，它都展现出强大的适应性和灵活性，为用户提供无与伦比的交互体验。🌍无论何时何地，只需轻轻一触，就能开启知识探索的新纪元。

关于选择USMLE作为ChatGPT测试的基质，研究人员发现它在语言和概念上都很丰富。该测试包含多方面的临床数据（例如，体格检查和实验室测试结果），用于生成具有鉴别诊断的模棱两可的医疗场景。

关于研究

在本研究中，研究人员首先将USMLE考试项目编码为带有可变引入提示的开放式问题，然后编码为没有强制理由的多项选择单答案问题（MC-NJ）。最后，他们将它们编码为多项选择单选题，并强制证明正选择和负选择（MC-J）。通过这种方式，他们评估了所有三个USMLE步骤（步骤1，2CK和3）的ChatGPT准确性。

接下来，两位医生评审员独立仲裁了 ChatGPT 在所有问题和输入格式中的一致性。此外，他们评估了其增强医学教育相关人类学习的潜力。两位医生评审员还从医学生的角度检查了人工智能生成的解释内容的新颖性、非显而易见性和有效性。

此外，研究人员评估了人工智能生成的解释中洞察力的普遍性，以量化洞察力密度（DOI）。高频和中等数字对象标识符（>0.6）表明，医学生有可能从人工智能输出中获得一些知识，尤其是在回答错误时。DOI 指出，在五个以上的答案选项中，有三个以上的答案选项提供了见解的独特性、新颖性、非显而易见性和有效性。

结果

ChatGPT 在所有三项 USMLE 考试中均以超过50%的准确率执行，在某些分析中超过了60%的 USMLE 通过阈值。这是一项非凡的壮举，因为之前没有其他模型达到这一基准;就在几个月前，他们的准确率为36.7%。聊天 GPT 迭代 GPT3在没有提示或训练的情况下实现了46%的准确率，这表明进一步的模型调整可以获得更精确的结果。随着LLM模型的成熟，AI性能可能会继续提高。

此外，ChatGPT的表现优于PubMedGPT，后者是专门接受生物医学文献培训的类似LLM（准确性~60%对50.3%）。似乎在一般非特定领域内容上接受培训的 ChatGPT 具有其优势，因为接触更多的临床内容，例如，面向患者的疾病引物更具决定性和一致性。

ChatGPT 的性能更令人印象深刻的另一个原因是，以前的模型很可能在训练时摄取了许多输入，而它没有。请注意，研究人员针对仅在2022年公开的更现代的 USMLE 考试对 ChatGPT 进行了测试）。然而，他们已经在MedQA-USMLE数据集上训练了其他特定领域的语言模型，例如PubMedGPT和BioBERT，自2009年以来一直公开可用。

有趣的是，ChatGPT 的准确性倾向于依次增加，步骤1 最低，步骤3 最高，这反映了现实世界人类用户的看法，他们也发现步骤1 主题很困难。这一特殊的发现暴露了人工智能与人类能力建立联系的脆弱性。

此外，研究人员指出，缺少信息会导致ChatGPT响应中观察到的不准确性，这在AI中获得了较差的洞察力和优柔寡断。然而，它并没有表现出对错误答案选择的倾向。在这方面，他们可以尝试通过将 ChatGPT 与在临床领域（例如 UpToDate）中大量且经过高度验证的资源上训练的其他模型合并来提高 ChatGPT 的性能。

在~90%的输出中，ChatGPT 生成的响应也提供了重要的见解，对医学生很有价值。它显示了提取非明显和新颖概念的部分能力，这些概念可能为人类医学教育提供定性收益。作为人类学习过程中有用性指标的替代品，ChatGPT 的回答也非常一致。因此，这些输出可以帮助学生理解解释文本中包含的语言、逻辑和关系过程。

结论

这项研究提供了新的和令人惊讶的证据，证明ChatGPT可以执行与处理复杂的医疗和临床信息相关的几个复杂的任务。尽管研究结果为仲裁人工智能生成的关于洞察力、一致性、准确性的响应提供了一个初步协议，但人工智能在医学教育中的出现需要一个开放的科学研究基础设施。这将有助于标准化实验方法，描述和量化人与人工智能的互动。

很快，人工智能就可以在临床实践中普及，在几乎所有医学学科中都有不同的应用，例如临床决策支持和患者沟通。ChatGPT的卓越性能也激发了临床医生的实验。

在慢性肺病诊所 AnsibleHealth，他们正在使用 ChatGPT 协助完成具有挑战性的任务，例如简化放射学报告以促进患者理解。更重要的是，他们在面对诊断困难的案例时使用 ChatGPT 进行头脑风暴。

对新考试形式的需求不断增加。因此，未来的研究应该探索人工智能是否可以通过帮助问题解释过程来帮助减轻人类进行医学测试（例如USMLE）的努力，或者在可行的情况下，自主编写整个内容。

期刊参考：

Kung， T.等人（2023）“ChatGPT 在 USMLE 上的表现：使用大型语言模型进行人工智能辅助医学教育的潜力”，PLOS 数字健康，2（2），第 e0000198页。DOI：10.1371/journal.pdig.0000198。https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000198