数据科学家Kun-Hsing Yu在一篇 Nature 文章中发现,即使 AI 在医疗领域 correctness 达到90% 的获奖模型,在子集测试中的准确度仅为 60-70%,这引发了對 AI 在医疗领域应用的担忧。尽管如此,AI 仍在大规模推广使用,如美国数以百计医院使用的 AI 模型标记败血症早期症状,但在 2021 年未能识别率高达 67%。为此,Kun-Hsing Yu 和他的教授组织了一个研讨会,讨论了 AI 可重复性、数据隐私、伦理和监管等问题。参与者也分享了一些 AI 模型背后的挑战,如透明度不足、数据偏差、训练方法等问题。