文章主题:ChatGPT, 医生, 人工智能, USMLE

666AI工具大全,助力做AI时代先行者!

ChatGPT能代替医生看病吗

我们给它做了套中国执业医师考试真题

猜猜它考了多少分

近期,ChatGPT的问世引发了医疗行业的深度探讨,人们开始关注人工智能技术在医疗领域的潜在影响,尤其是对医生的职业前景产生的可能影响。有人担忧,随着人工智能技术的不断进步,未来的医生可能会面临失业的风险。然而,我认为这种观点过于悲观,人工智能虽然在某些方面能够替代医生的工作,但它同时也能为医疗行业带来更多的便利和提高效率的可能性。

马晓路,浙江大学儿童医院的NICU副主任,曾在朋友圈分享了他的思考。他曾认为,那些容易被人工智能取代的,往往是那些单调、机械且重复的体力工作。然而,当他在网络上看到人工智能所撰写的小作文、所绘制的画作以及所回答的问题时,他意识到自己可能被取代。这种恐慌感油然而生,让人不禁对人工智能的快速发展和潜在威胁感到担忧。

医生们所面临的挑战并非空穴来风。据传,OpenAI公司的程序员已经运用先进的ChatGPT技术,开始对常见病症进行在线诊断,并根据ChatGPT的建议制定相应的康复方案,收到了良好的效果。此外,一篇尚未发表的论文显示,ChatGPT在最近的美国医师执照考试(USMLE)中表现出了令人满意的能力,其准确率甚至高达60%。

记者不禁好奇,如果让ChatGPT参加中国的执业医师考试,它能考多少分呢?

胡少华教授领导的一院精神卫生科团队目前正在进行一项与人工智能密切相关的医学研究。他们期望能够利用AI技术来监测眼球活动和皮肤电势反应等关键指标,从而协助临床医生做出更准确的诊断。

在团队的协作下,我们共同制定了一份百分制执业医师考试试卷。针对ChatGPT的考核,其综合得分为57分,其中基础知识部分获得了56分的成绩,临床技能部分则取得了58分的成绩。这一成果充分展示了团队在考试题目设计和评分方面的专业水准。

考卷设置

十大科目

涵盖基础题和专业实践题

ChatGPT是基于2021年之前的数据进行训练的,因此该题库中的题目均为单选题,来自于2020年的临床执业医师资格考试真题库。

吕海龙介绍,临床执业医师考试内容笔试考试主要包含基础综合、专业综合和实践综合,我们的题目简化为两类,一类是基础题,大都是可背诵的医学知识;另一类是专业实践题,需要进行逻辑推理。

考卷涵盖了十大科目,包括生理学、医学微生物学、病理学、药理学、卫生法规、内科、外科、妇产科、儿科和心理学-精神科,每个单元10题,合计100题,选择方法尽可能随机。

成绩分析

掌握基本诊断推理

但不擅长修正和推测

在我们的猜想中,ChatGPT应该更擅长可背诵的医学知识,逻辑推理能力则较弱,但实践结果并非如此。

吕海龙发现,对于那种一看就是考题的题干,ChatGPT有时候会直接给出一个没有解释的错误选项,不排除它从中文网站复制了错误的答案;而那种条件充足、逻辑清晰的推理题,它通常情况都能答对。

不过,当信息不全或者症状不典型时,它的诊断会出现错误,不善于根据实际情况修正诊断,“比如内科病例题,它不善于在信息不全的情况下做推理,例如由几个模糊的主诉/症状来寻找乏力的可能原因,所以推测ChatGPT在面对患者时如果得不到足够多的信息它可能会不知所措,完全无法给出下一步的诊疗建议,它不会‘猜’。”

ChatGPT对精神病学的知识也比较了解,能根据症状诊断抑郁症、焦虑症等,但是对于精神药物知识掌握不佳,例如会推荐精神分裂症的患者服用抗抑郁药,来治疗主要症状。

“如果有两种同类型的药可以选择时(例如该用利培酮还是氯丙嗪来治疗精神分裂症),它不会帮你做选择,而是严谨地提议根据医生的建议选择,可能自愧不如人类。而关于这两个药的选择,现在已有超多的研究证据证明利培酮的安全性优于氯丙嗪。ChatGPT给其他疾病选择药物时也常常选错,它的药理学考试也没有及格。”

ChatGPT喜欢做妇产科医生,它会给出很多理由来支持它的选择,虽然有时候选择是错的。

另外,ChatGPT对于中国的医疗相关法律法规不够了解,这可能会给它在实践中招来一些麻烦。

考试结果

差点及格

儿科和心理科最好,内科最差

钱报记者在提问过程中发现,针对不同题目,ChatGPT的回答速度不同。有些题是秒回,有些题需要更长时间“思考”,平均每题要花半分钟左右。

ChatGPT对中文的理解完全没问题,有时会直接给出答案,有时给出一串相关知识,或者推理分析的过程。

提问进行到1小时时,系统提示“1小时内的问题太多了,请稍后再试”。看来,人工智能也是会累的嘛!(当然,也可能是这段时间访问量实在太大,系统无法承载。)

最后经过统计,ChatGPT的正确率分别为:生理学40%、医学微生物学70%、病理学70%、药理学50%、卫生法规50%、内科30%、外科60%、妇产科60%、儿科70%,心理学-精神科70%,总分57分,差3分达到及格。

未来期待

辅助医生工作

引导前沿医学研究

对ChatGPT交出的答卷,吕海龙表示既有惊喜,也有很大不足。就现阶段技术水平来说,他希望医疗方向的AI产品能变成医学知识库,起码在识记类的题目上不能出错,必须100%正确,给出答案时最好标记出处,是引自某个教科书,还是引自网络信息。

而对于医疗方向AI产品的未来,胡少华教授则有着更为积极的展望:“医生把自己的知识经验传给它,医生不在病房时,病人可以直接去问这个机器,输出声音变成人的声音,并且最好它还能向患者提问。同时,AI在医学研究领域也可以大有作为,做研究的前沿导向者,随时给出新的医学诊断技术、治疗方法的发现。”

胡少华说,有关人工智能的对话,还在不断地完善当中。如今AI在识别、记忆、计算、逻辑思维、推理判断等方面已经可以达到甚至超越人脑,但还没有触及到智力的起点,即认知。只要AI还无法模拟人类的认知,它就不会全面超越人类,也就无法取代包括医生在内的诸多岗位,但在针对患者提供个性化的诊疗上,它却能够扮演重要角色——成为医生们最得力的智能助手。

ChatGPT医生:人工智能能replace医生吗?我们的测试结果来了

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!