文章主题：科学, 健康, 研究
基于LLM的生成式聊天工具，如ChatGPT或谷歌的MedPaLM，具有巨大的医疗潜力，但它们在医疗保健中不受管制的使用将存在固有的风险。一篇发表在《Nature Medicine》新研究讨论了当今时代最紧迫的国际问题之一：如何监管大型语言模型（LLM），特别是在医学健康领域。
“大型语言模型是具有非凡会话技巧的神经网络语言模型。它们产生类似人类的响应并参与交互式对话。然而，它们经常会产生令人高度信服的陈述，这些陈述可被验证为错误的或不适当的回应。至今，仍无法确定这些模型反馈的任何结论的支持证据的质量、证据水平或与临床信息的一致性。在医疗咨询方面，这些聊天机器人是不安全的工具，有必要开发确保患者安全的新框架，“德累斯顿工业大学Else Kröner Fresenius数字健康中心医疗器械监管科学教授Stephen Gilbert说。
大型语言模型的监管审批面临的挑战
大多数人在寻求医疗咨询之前会在线检索他们的症状。搜索引擎在决策过程中发挥重要作用。未来将LLM聊天机器人集成到搜索引擎中可能会增加用户对模仿对话的聊天机器人给出的答案的可信度。已经证明，当问及医疗问题时，LLM可以提供非常危险的信息。
LLM的基本方法不包括医学“基准真值”模型，本质上是危险的。聊天界面的LLM已经提供了有害的医疗反馈，并在未经批准的情况下违反伦理道德应用于患者“实验”。在欧盟和美国，几乎每个医疗LLM的使用都需要被监管和控制。在美国，由于缺乏可解释性，它们被取消了作为设备（“non devices”）的资格。具有可解释性、低偏差、可预测性、正确性和可验证输出的LLM目前尚不存在，也不能豁免于当前（或未来）的监管措施。
在本文中，作者描述了LLM可以在当前框架下找到的有限应用场景，他们描述了开发人员如何寻求创建可以批准为医疗设备的基于LLM的工具，并探索了保护患者安全的新框架的开发。“目前的LLM聊天机器人不符合医疗保健中人工智能的关键原则，如偏见控制，可解释性，监督系统，验证性和透明度。为了在医学设备中占有一席之地，聊天机器人的设计必须具有更高的准确性，安全性和临床疗效，并且必须得到监管机构的证明和批准，“Gilbert教授总结道。
阅读原文内容：
在现代社会中，人工智能（AI）已经成为许多行业的重要组成部分。随着技术的不断发展，AI的应用范围也越来越广泛。从医疗保健、金融、交通到家居生活，AI已经渗透到了我们日常生活的方方面面。然而，AI的发展也引发了一些关于隐私和安全的问题。因此，我们需要对AI技术进行适当的监管，以确保其能够真正造福人类社会。首先，对于AI技术的发展，我们应该保持谨慎的态度。虽然AI可以提高生产效率，降低成本，但它也可能带来一些负面影响。例如，AI可能会导致一些工作岗位的消失，从而加剧社会的就业压力。此外，AI技术还可能被用于大规模监控和数据收集，这会侵犯人们的隐私权。因此，我们需要在推动AI技术发展的同时，确保它不会对社会造成不良影响。其次，为了确保AI技术的可持续发展，我们需要建立一个完善的法规体系。这个体系应该包括明确的法律法规，以及相应的执行和监督机制。通过这些措施，我们可以规范AI市场的行为，防止恶性竞争，确保AI技术的健康发展。最后，对于个人而言，我们也需要提高自身的AI素养。这意味着，我们需要了解AI的基本原理和技术，以便更好地利用AI带来的便利。同时，我们还需要培养自己的判断力和批判性思维，以确保我们在使用AI技术时能够做出明智的选择。总之，AI技术的发展已经对我们生活的各个方面产生了深远的影响。为了确保AI技术的可持续发展和广泛应用，我们需要采取一系列措施，包括保持谨慎的态度、建立完善的法规体系和提高个人的AI素养。只有这样，我们才能充分利用AI技术的优势，将其真正造福人类社会。
查看原文信息：
Stephen Gilbert, Hugh Harvey, Tom Melvin, Erik Vollebregt, Paul Wicks. Large language model AI chatbots require approval as medical devices. Nature Medicine, 2023; DOI: 10.1038/s41591-023-02412-6
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
