文章主题:AI模型, 警惕, 执业医师考试, ChatGPT
最近哪哪都是ChatGPT,说啥革命性进展,啥职业都要被取代,都是蹭热点的。
我就不一样了,作为外科医生,我一点都不慌,他ChatGPT有本事爬起来去给我18床病人换个药啊???啥时候能爬起来给我换药了我啥时候认他。玩归玩,闹归闹。危机感还是要有的,尤其是看到一消息,说的是ChatGPT已经通过了美国USMLE,也就是美国执业医师考试。我搜索了一下,果真如此,他们甚至还发表了一篇预印本的论文,结果表明ChatGPT未进行任何医学训练的情况下,就在USMLE考试中达到了平均水平以上,准确率达到了60%左右。
外国这帮小崽子灌水蹭热点本事也不小
这一点还是很恐怖的,要知道,USMLE的通过率是很低的,一个非医学专业的AI模型达到这样的程度足以引起我们的警惕。
震惊之余,我不禁思考,如果让ChatGPT考一下中国执医,结果又如何呢?为此,我耗费巨资专门去淘宝买到了2022年的执医真题。

由于2022年的试题在互联网上难以找到,且如需获取需支付费用,这一举措有效地阻止了ChatGPT搜索答案的可能性,这与我在线考试时遇到的情况如出一辙。
在我国,执医考试的笔试阶段包括四个部分,每个部分的满分为150分,总分为600分,其中360分为及格线。据数据显示,笔试成绩达到及格线的考生占比约为50%,表现相当不错。
那么,ChatGPT能否通过中国的执业医师考试呢?我将2022年的试题复制的文本形式呈现在ChatGPT的对话框内,接着便得到了它的回答以及相应的解释。随后,我与之对比了真题的答案,从而判断我的回答是否准确无误。
每复制到对话框中,ChatGPT都要反应一段时间,这个和真人倒蛮像的,大概30S左右的时间就可以给出答案,有时候比我读题答题都快。只是,可能是用户过多的原因,答题过程经常出错,到最后到37题之后,干脆提示服务器过载,拒绝访问了。有趣的是,他的拒绝访问页面也是类似ChatGPT问答的形式,给出的答案是贼几把冷。那么,ChatGPT这37道题总共对了几道呢?
答案是——14道。
这画面像极了我高中做完形填空时噩梦般的场景,20道题错14道那种。
那么,ChatGPT究竟是错在哪里呢?我挑了好几道经典题目跟大家分享一下。



人ChatGPT答得有模有样。

结果一看答案——

。。。


作为一名擅长统计题目解析的专业人士,面对这样一道题目,我轻松地从《临床回顾性研究实用指南》一书中找到了答案。此外,我还担任了丁香公开课中《零基础发表临床回顾性研究SCI》的主讲嘉宾,对于这类问题,我已经驾轻就熟,迅速找到解答。
C。这是课上讲的例题啊,用两组仪器测试同一组对象,测出的数据必然是配对资料,而肺活量是计量资料,样本量又不大,用t检验就可以,所以但是配对t检验。ChatGPT和我英雄所见略同。
结果我又对了一下答案。

草草草草草???

在这一刻,我的内心不仅产生了对ChatGPT的质疑,同时也对自己的专业能力产生了动摇。因此,我决定主动与店家沟通,以便弄清楚答案是否确实存在错误。

算了,算了,接着做下去。
接下来的几道题,我重拾了自信,ChatGPT的答案错到了离谱他妈给离谱开门——离谱到家的程度。

~

下一题:

在这个充满挑战的过程中,我的网站经常出现故障,我在修复的同时,还要亲自完成题目,同时协助ChatGPT解答问题,并从网络上寻找相关答案。经过两个小时的艰苦努力,我仅完成了37道题目。
幸好,ChatGPT崩了。
结束了我这痛苦的两个小时。
ChatGPT在某些专业知识领域的答案确实较为准确,然而在政策、制度、中医以及规范等方面,其错误率相对较高。这或许源于其作为美国AI在我国的适应性问题。值得注意的是,这些领域在中国执业医师考试中所占比例并不算低,因此ChatGPT在这方面的正确率也相对较低。在37道题目中,仅有14道得到了正确回答(正确率为37.8%),距离60%的正确率仍有一定距离。
恭喜大家,不用担心ChatGPT抢我们中国医生的饭碗了。不过有一说一,他回答问题时自信的样子还是很适合做医生的。毕竟,当医生就是要够自信,才能唬住病人

PS:昨天的红包抽奖,大家都中了没?!
本文系授权发布,By 唱不完的情歌,From 我想逗乐这个闷闷的世界。欢迎分享到朋友圈,未经许可不得转载,INSIGHT视界 诚意推荐
AI模型, 警惕, 执业医师考试, ChatGPT