情感新伙伴?AI伴侣带给我们什么?风险与机遇并存
AI情感助手

情感新伙伴?AI伴侣带给我们什么?风险与机遇并存

自2023年起,人工智能情感应用逐渐兴起,如多款成熟的AI伴侣应用吸引了网友,并通过网络技术提供虚拟情感体验。然而,专家否定AI已具有人类情感,认为其“情商”源自学习而非真正感受用户情感。AI伴侣的流行源于社会孤独感需求,但过度依赖可能带来伤害,且可能导致现实社交能力下降。同时,还需警惕AI传递内容和引发纠纷的风险。行业应坚持伦理导向,制定相关准则以引导技术向善发展。
🎉掌握AI绘画秘籍!探索「画宇亩」全功能指南,创作你的小镇美食绘本.now?
AI助手资讯

🎉掌握AI绘画秘籍!探索「画宇亩」全功能指南,创作你的小镇美食绘本.now?

本文介绍了多个AI绘画工具,如「画宇亩 (Nolibox Creator)」、360智脑大模型和视觉中国AI灵感绘图功能,以及Zoom引入的生成式AI新功能。文章以「小镇美食家」为主题展示了如何使用ChatGPT和Midjourney等工具完成绘本创作,并提供了全面的学习教程。同时,提到了创业建议,如从论文入手学习、实践操作和重视常规营销渠道。最后,通过清华大学发布的报告综述了AIGC的发展历程和前景,以及Dora产品的最新进展。
1.无人诊所,打破医疗常规?!
2.智能脉诊,健康快车道?
3.AI问诊,效率翻倍的秘密?
AI医师助手

1.无人诊所,打破医疗常规?! 2.智能脉诊,健康快车道? 3.AI问诊,效率翻倍的秘密?

本文主要介绍了未来医疗服务的创新方向。首先,无人诊所通过智能化服务,简化了问诊和取药流程,实现了便利快捷。其次,智能脉诊仪凭借其先进的技术,能够迅速识别用户的健康状况,为诊断提供依据。最后,AI智能辅助问诊系统则通过高效的数据分析和模式匹配,有力地提升了医疗咨询的准确性和效率。
人工智能医疗的黄金机遇与挑战:Benevolent的未来之路及AI医疗创业的突破之道
AI医师助手

人工智能医疗的黄金机遇与挑战:Benevolent的未来之路及AI医疗创业的突破之道

这篇文章讲述了贝克街资本的Emily讨论了人工智能在生物领域的广泛应用,特别是在疾病诊断和老年监护等方面的重要作用。然而,Benevolent面临着挑战,尤其是多靶点药物设计和非标准化服务带来的利润不可控性。此外,数据来源不足是制约公司利用AI优势的瓶颈。滕忠照的景三科技则关注中国体检市场的空白,特别是脑部健康检查的缺失,他们以预防脑血管疾病为切入点,计划通过与民营机构合作来扩大范围。文章还提到了英国和中国的AI医疗创业环境差异,英国投资环境较为灵活且侧重早期市场,而美国生物医药条件相对更好。景三科技在寻找大范围预防的方法上提到合作策略,并透露了他们将关注血液中的特定蛋白检测技术以进行老年痴呆的早筛。总的来说,文章讨论了人工智能医疗行业的广泛应用、挑战以及创业公司的策略,强调数据和合作伙伴关系的重要性。
北京看病难,AI医疗专家如何解救?
AI医师助手

北京看病难,AI医疗专家如何解救?

清华大学教授张勤通过自身经历揭示北京三甲医院就医难问题,他坚信通过研发的DUCG系统能改善该状况。DUCG系统以智慧医疗理念为基础,结合专家医生构建的知识库,致力于全科疾病精准诊断。目前,团队已开发涵盖多主诉的知识库,并在青岛和重庆试点中显示出高准确率。未来一年内,他们计划覆盖基层医院的大部分临床诊断,有望通过AI提升基层诊疗水平,缓解大医院压力。同时,孔德兴教授强调AI读片在提高早期疾病检测能力方面的重要作用。
论文速递丨融合情感的GPT-4V(下篇)
AI情感助手

论文速递丨融合情感的GPT-4V(下篇)

Information Fusion:GPT-4V with Emotion(下篇)论文链接:https://arxiv.org/pdf/2312.04293.pdf代码链接:https://github.com/zeroQiaoba/gpt4v-emotionGPT-4V with Emotion(上篇):https://mp.weixin.qq.com/s/yPirDU6bxAA-UoEwnFzKkQ论文作者:连政1、孙立才1、孙海洋1、陈康2、温卓凡1、顾浩1、刘斌1、陶建华3 单位:1中国科学院自动化研究所,2北京大学,3清华大学 摘要  最近,GPT-4V在多种任务上展现出了卓越的能力,但其在情感识别方面的表现尚未得到充分验证。为此,本文展示了GPT-4V在21个基准情感数据集上的定量评估结果,涵盖6个任务:视觉情感分析、推文情感分析、微表情识别、面部情感识别、动态面部情感识别、多模态情感识别。本文将这些任务统称为“广义情感识别(GER)”。通过实验分析,我们发现GPT-4V在GER任务中表现出了强大的视觉理解能力。与此同时,GPT-4V显示出了多模态融合以及时序建模能力。然而,目前GPT-4V主要适用于通用领域,在需要专业知识的微表情识别任务上性能不佳。本文提供了GPT-4V在GER任务中的首个定量评估结果。我们已经开源了代码,并希望后续的研究者拓展评估范围,囊括更多任务和更多数据集。 引言  情感因其在人机交互中的重要性引起了研究人员的广泛关注。当前情感识别研究主要集中在两个层面:一个是识别外部刺激诱发的情感;另一个是分析人类通过各种模态传达的情感。我们将这些任务统称为“广义情感识别”。情感与视觉、听觉、文本等信息密切关联。其中,视觉信息(如色彩、亮度、表情、行为等)包含了丰富的情感关联成分。最近,GPT-4V在各种任务中展示出了强大的视觉理解能力。那么,GPT-4V能否在一定程度上解决GER问题?如果可以,那么在GPT-4V出现后,情感计算领域未来需要关注的方向是什么?在2023年9月,GPT-4V被整合到了ChatGPT中。当时,OpenAI尚未发布GPT-4V API,用户只能手动上传测试样本。由于需要大量人力,当时的评测报告通常只为每个任务选择有限数量的样本,仅提供了GPT-4V的定性评估结果。在2023年11月,OpenAI发布GPT-4V API,但限制每天只能访问100次,依然很难在基准数据集上比较GPT-4V与目前最先进系统的性能差距。2023年12月,OpenAI增加了每日限额,使我们能够进行更全面的评估。在本文中,我们提供了GPT-4V在GER任务上的定量评估结果,涵盖了视觉情感分析、推文情感分析、微表情识别、面部情感识别、动态面部情感识别、多模态情感识别。图1显示了GPT-4V的整体结果。我们还展示了随机猜测和监督系统的结果。为了公平比较,我们在基准数据集上进行评估,并使用了一致的评估指标。整体上,GPT-4V优于随机猜测,但仍落后于监督系统。为了找出背后的原因,我们进一步对GPT-4V的多方面能力进行了分析,包括多模态融合、时间建模、鲁棒性、稳定性等。 图1 GPT-4V在GER任务上的定量评估结果 任务描述  我们详细描述了每个任务的评估数据集。本次评测涵盖6种GER任务共计21个基准数据集。表1汇总了不同数据集的统计信息。为了与监督系统公平比较,我们在官方测试集上评估性能,并选择最常用的评估指标。图 2展示了数据类型的多样性。一些数据集是面向自然场景的(如AffectNet),而另一些是实验室环境下的(如CASME和CK+)。同时,不同数据集存在色彩空间差异。一些数据集使用灰度图像(如CK+),而另一些使用RGB图像(如CASME和AffectNet)。不同数据集的预处理过程详见原始论文。表1 数据集统计量:测试样本量、评价指标、以及数据集候选标签 图2 评测数据样例 GPT-4V调用策略 本文评估了GPT-4V API,即“gpt-4-vision-preview”的性能。GER任务涉及多种模态,包括图像、文本、视频、音频。然而,GPT-4V只支持图像和文本。为了处理视频,我们对视频进行采样将其转换为多张图像。为了处理音频,我们尝试将音频转换为梅尔频谱图。然而,GPT-4V未能基于梅尔频谱图生成正确的响应。因此,本文主要关注图像、文本、视频。在本节中,我们为GER任务设计了专门的调用策略,包含batch-wise、repeated和recursive调用模块。具体伪代码详见算法1。(1) Batch-wise CallingGPT-4V API有三个请求限制:每分钟的token数(TPM)、每分钟的请求数(RPM)和每天的请求数(RPD)。为了满足RPM和RPD,我们采用batch-wise输入。具体而言,我们将多个样本同时输入,并在一次请求中生成所有结果。然而,batch size太大可能导致token总数超过TPM限制。此外,它增加了任务难度,可能导致不正确的响应结果。因此,我们将图像的batch size设置为20,视频的batch size设置为6,以同时满足TPM、RPM和RPD的限制。(2) Repeated CallingGER任务经常触发安全检查,导致GPT-4V拒绝提供回复。这主要是因为GER任务包含视觉情感分析和人类情感识别。前者包含暴力和血腥的图像。在后者,人类身份也被视为敏感信息。为了减少拒识情况,我们要求GPT-4V忽略身份信息,但它仍会触发安全检查。有趣的是,这些错误有时是比较随机的。例如,尽管所有图像都是以人为中心,但有些通过了安全检查,而有些则未通过。或者,一个样本可能最初未通过检查,但在重试后通过了。因此,我们对拒识批次进行多次重复调用,直到调用次数上限。(3) Recursive Calling在评估过程中,我们发现批次输入可能会触发安全检查,但将其拆分为更小的批次有时可以通过检查。因此,对于持续拒识的批次,我们将其分成两个较小的批次,然后分别将它们输入GPT-4V中获取相应。(4) 组合策略我们的策略结合了批次调用、重复调用和递归调用。更多细节详见算法1。正确的响应需要满足两个条件。首先,它不应触发安全检查。其次,它应包含正确数量的预测结果。 算法1 GPT-4V调用策略 结果与分析 本文从三个层面进行结果分析:数据集层、情感类别层和样本层。我们仅展示部分实验结果。完整的分析报告详见原始论文。(1)数据集层表3展示了视觉情感分析的结果。我们观察到GPT-4V在大多数数据集上优于监督系统。这归因于GPT-4V强大的视觉理解能力,加上其推理能力,使得GPT-4V能够准确推断出图像诱发的情感状态。但对于微表情识别(见表4),GPT-4V表现不佳,甚至有时比随机猜测更差。这些结果表明,GPT-4V主要为通用领域设计。它不适用于需要专业知识的微表情识别。表5~8展示了推文情感分析、多模态情感识别、面部情感识别和动态面部情感识别的结果。为了处理视频,我们对视频进行均匀采样,并将这些采样图像按顺序输入GPT-4V。为了降低调用成本,我们最多采样三帧。实验结果表明,尽管GPT-4V与监督系统之间仍然存在着性能差距,但GPT-4V显著优于启发式基线,显示了其在情感识别任务中的潜力。(2)时序建模能力分析为了减少GPT-4V的调用成本,本文限制每个视频最多采样三帧。在本节,我们进一步分析了采样数量的影响。在表8中,当我们将采样数量从两帧增加到三帧时,情感识别性能有所提高。此外,值得注意的是,尽管将采样数量设置为三帧,仍可能会忽略一些关键帧信息。因此,采样更多帧可能会进一步提升情感识别结果,我们将其作为后续工作。(3)多模态融合能力分析本节评估了GPT-4V的多模态融合能力。在所有任务中,推文情感识别和多模态情感识别提供了两种或两种以上模态信息。因此,我们在这些任务上进行了实验分析。表9显示了单模态和多模态结果。整体上,多模态结果优于单模态结果,这展示了GPT-4V整合和利用多模态信息的能力。但对于CMU-MOSI,我们注意到多模态结果略微低于单模态结果。这可能是因为CMU-MOSI主要依赖文本来传达情感,增加额外的视觉线索可能会引入干扰信息,进而影响模型判断。(4)系统稳定性分析本节评估了GPT-4V的预测结果稳定性。我们用GPT-4V对SFEW 2.0中的每个样本预测了10次结果。图3a展示了相同预测结果出现的频率。具体而言,我们假设对于一个样本,GPT-4V有8次预测为负向情绪,2次预测为正向情绪。那么,它预测为相同标签的次数为$c=8$。然后,我们计算所有样本的 $c$ 并统计其频率。在图3b中,我们展示了每次运行的测试准确率。我们观察到,尽管超过50%的样本在10次测试中表现出相同的结果,但也有一些样本在不同测试中表现出不同的结果,导致测试准确率的波动。与此同时,我们观察到最佳和最差结果之间存在着4.60%的差距。因此,GPT-4V表现出一定的不稳定性。我们建议后续研究者对GPT-4V进行多次评估,并使用多数投票来获得最终预测结果。(5)情感类别层面分析在图 4中,我们可视化了混淆矩阵并进行情感类别层面分析。对于视觉情感分析,GPT-4V在Abstract数据集中的结果较低。这可能是因为GPT-4V主要在自然图像上进行训练。抽象图像和自然图像之间的领域差异导致了GPT-4V有限的性能。对于推文情感分析,GPT-4V在识别 neutral 方面表现相对较差,经常将其错误分类为 positive或...
清华AI健康新布局,联手智源或发力大模型
AI医师助手

清华AI健康新布局,联手智源或发力大模型

AI健康方向值得注意的新布局:清华大学智能产业研究院(AIR)近日官宣和智源研究院成立健康计算联合研究中心,由马维英领衔。 人工智能+健康医疗,并非新热点,过去几年中,互联网巨头、传统医疗巨头、传统企业纷纷入场布局。而可穿戴智能硬件的普及,为人们打上一剂强心针后,却显得有些乏力——“疗效”不如预期。 深层的原因是,健康领域的数据仍未聚成大海,更像座座孤岛,有积累却难以爆发…… 马维英在今年智源大会AI制药论坛上谈到自己作为“新兵”进入生物化学药学等领域的初心: 生物世界的数字化趋势势不可挡,而目前(生命健康领域)“知识的理解断层还比较大,它需要专业的知识。我发现目前这些原有领域用AI还是初步水平,数据还是孤岛,数据共享没有统一的工具,反馈机制缺乏,所以闭环完全不存在,快速迭代的能力因此缺失,跨界人才非常稀缺。” 他谈到选择健康计算方向,也有来自张宏江的建议。这次清华AIR和智源研究院的深度合作,确实也可看做是张亚勤、张宏江、马维英的再续前缘之举。三人都为微软亚洲研究院的开山老将,微软一别之后,张亚勤履新百度总裁,张宏江出任金山CEO,马维英加盟字节跳动任副总裁,继续推动中国互联网大潮激涌。此次大佬聚首,可谓江湖际会,聚散有时,豪情晚照。 微软亚洲研究院早期成员 虽然官方尚未发布详细的研究计划和技术细节,此次“清华+智源”的组合,无法不让人联想到未来“健康大模型”的发力方向可能——智源研究院今年发布了“中国首个+世界最大“人工智能大模型“悟道”,成立不到三年已成为近年人工智能领域科研炙手可热的新势力。 清华(AIR)- 智源健康计算联合研究中心召开首次会议1 从孤立到协同,从开环到闭环 人工智能带给医疗行业的想象空间是无限的,但要真正大规模应用于临床,实现遍地开花,在深入发展过程还存在各种问题,尤其是健康领域数据的孤立与开环,面临发展瓶颈。 “清华(AIR)- 智源健康计算联合研究中心”发力第一步,是先为主动、个性化、智能化的健康应用搭建基础平台,打造一个更专业、可依靠的个人智能健康管理助手。 马维英博士表示,联合研究中心将充分发挥合作双方优势,联合健康医疗领域产业合作伙伴,结合产业应用场景,通过人工智能技术推动更智能的个人健康管理。 在技术上,通过多模态神经符号AI,结合相关性、注意力机制和因果关系,使不同的表达和模型可以彼此相互训练、相互学习。同时结合对抗、协作、多模态、多任务、迁移学习、联邦学习等前沿AI技术,最大程度地释放个人健康数据巨大潜力,发挥健康数据的协同能力,为主动、个性化、智能化的健康应用搭建基础平台。 最终通过人工智能技术推动健康各领域,从孤立、开环走向协同、闭环发展,推动被动式健康管理走向提早预测、主动预防、个性化、主动参与的新范式,实现更智能的个人健康管理,更有效的公共健康治理。 2 强强联合,从定位、模式到人才 定位:健康管理领域的进步,核心价值观是患者。清华AIR与智源研究院作为中立研究机构,定义了非逐利、非商业的先天属性,这个基本底色是衔接资源、打通数据、最终长远造福大众的独特发展优势。 模式:清华AIR和智源研究院,两家代表性创新型研究院的强强联合。智源推崇自由探索与目标导向相结合,支持科学家勇闯AI科技前沿“无人区”使命。“悟道大模型”“智源学者计划”“智源大会”等——成立不到三年已成果连连。清华大学智能产业研究院(AIR)则更加“产业”落地导向,推崇Open(开放)、Flexible(灵活)、Novel(创新)。两家研究院的协作,更加具备打破、连接、协同的创新活力,在科研突破和产业应用,都未来可期。 人才:顶尖AI、医疗与产业专家。目前,联合研究中心汇集了人工智能机器学习、计算机视觉、自然语言处理、生物信息学、分布式计算、物联网、智能硬件等领域的高水平研究人员。还在和清华大学生命科学,医学,公共卫生等研究团队的合作,进行交叉研究部署。 智源-清华AIR健康计算联合研究中心主任马维英博士 研究中心主任马维英,为清华大学智能产业研究院惠妍讲席教授、首席科学家,历任微软亚洲研究院常务副院长、字节跳动副总裁兼人工智能实验室主任。 同时,智源研究院的“智源学者”和“青源学者”计划都汇聚了国内人工智能领域最顶尖的学者,为开展健康计算和智能健康管理系统开发奠定了人才基础。 几方优势汇聚,“清华AIR-智源AIR健康计算联合计算中心”将持续发力,以AI技术研究新范式,盘活健康大数据,最终打造人工智能健康管理的全链条。 3 拥抱“人工智能+健康医疗”大趋势 近年来,各种“慢性病”和“亚健康”已经成为危害人类健康的头号杀手,仅在中国,就有超过3亿多的慢病患者。 “面向人民生命健康” 被列为新时期中国科技发展的四大方向之一。在北京刚刚发布的“十四五规划”中,做大两个国际引领支柱——“新一代信息技术”和“医药健康”,是打造面向未来的高精尖产业新体系的新目标。 从被动治疗到主动预防,改变疾病和各种并发症,减轻医疗负担——AI+健康管理,正是重要发力点。 数据层面来讲,随着人工智能、大数据等技术的不断向下渗透,传统医疗、保健、体检机构等,已然储备了大量与医疗健康相关的数据。而随着诸如基因测序等技术的不断发展,其测序成本也在逐步下降,这也促进了医疗数据的产生。这为人工智能参与健康管理提供了可发力的深厚基础。 产业前景上,随着我国人口基数的不断增长,经济技术水平不断提高,人口老龄化逐渐演进,种种因素必然导致我国的医疗健康产业,将成为世界增长最快的产业之一。 可以看到,无论是宏观政策、社会进程,还是市场选择、技术发展 ,万事已渐具备,只看人工智能将如何刮起健康管理效率变革的东风。 由于微信公众号试行乱序推送,您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道, 请将“AI科技评论”设为星标账号,以及常点文末右下角的“在看”。
人手一个AI健康助手!大模型时代的搜索引擎「蜕变」
AI医师助手

人手一个AI健康助手!大模型时代的搜索引擎「蜕变」

(头图由AI工具生成) 作者 | 三北编辑 | 漠影 智东西12月27日报道,今年9月,国外一名身患怪病的男孩三年求医17名医生无果,却因被ChatGPT正确诊出“脊髓栓系综合征”而成功获救。这让人们第一次直观感受到大模型在健康信息服务领域的巨大潜力。 现在,这种潜力正在被科技公司们转化为端到端的闭环产品。一些科技公司面向医疗机构客户开放了大模型服务,也有团队开源了医疗大模型群,但要说广大用户最直接可感的,还是智能搜索引擎夸克App近期悄然上线了一款“夸克健康助手”。 日前,夸克进行了健康搜索的全面升级,用户在部分搜索结果中会得到由“夸克健康助手”提供的AIGC内容。据悉,在夸克搜索健康信息的正确率超过90%,处在行业第一梯队。 ▲在夸克App调用夸克AI健康助手 首次体验后,用户便可将夸克健康助手添加到App首页,以便随时调用。 ▲将夸克AI健康助手添加到夸克App首页 据夸克相关负责人称,夸克自研大模型已经凭486分的高分通过了临床执业医师资格考试,同时在健康内容上的幻觉率已经降低至5%以内,达到远优于同行的水平。 自年初ChatGPT爆火以来,微软、谷歌等科技巨头纷纷推了出AI版搜索引擎,但面对专业知识要求更高的健康信息服务领域,各路玩家或保持观望或小范围试水。作为2018年就明确了智能搜索引擎定位的新锐选手,夸克率先在健康领域迈出了革新搜索的第一步。 夸克自研大模型在搜索的实际落地效果如何?背后有什么样的技术挑战和行业真相?通过深扒夸克健康大模型应用,本文对此进行了深入探讨。 一、实测AI健康助手:简单对话,多维诊断 打开夸克App,虽然首页没有发生明显变化,但搜索结果呈现已经被夸克大模型悄然改变。 如下图所示,当智东西输入“咳嗽检查”这一问题,搜索结果中出现了AIGC内容和夸克健康助手的入口。用户可以先简单的了解病症信息,然后在根据自己的身体情况进行选择和对话。 点击进入夸克健康助手,页面变成一个对话框形式。当智东西换一个问题:“经常口腔溃疡是什么原因”,夸克健康助手从非病理因素和病理因素给出了问题的答复。或许是考虑到回答较含糊,夸克健康助手进一步给出了一个卡片选项,使我可以补充症状,从而获取更精准的答案。 在我提供了补充症状之后,夸克健康助手果然给出了更聚焦的治疗建议,并给出主要原因分析、科室就医建议、如何进一步确诊等一系列问题的答案。 当智东西问到“家里老人刚做完宫颈手术,有什么吃食建议?”时,夸克健康助手给出了针对性的饮食建议。当涉及偏门的问题,比如“有人说鱼是发物,也是可以吃的吗?”,夸克健康助手也能根据跨中西医的知识,给出明确的分析判断:“可以适量食用”。 夸克健康助手的一大特点是病情病例描述具体,而不是泛泛而谈,因此具有更强的参考性。 比如当智东西问到“我胳膊肘处有小块红色点群状胎记,不太光滑,有一些充血,可能是什么疾病?”,夸克健康助手立马给出了血管瘤、鲜红斑痣、草莓状毛细血管瘤等几种可能。 通过“质软可被压缩、“菜花状”等描述,加上超链接中的图片,血管瘤的可能性看起来更大。通过夸克健康助手,我进一步了解到这是一种大概率不会给身体带来危险的良性肿瘤。实际上,这是我家人的真实病例,夸克给出的判断与此前在医院检查所得的结果一致。 再来看看智能筛查功能,比如智东西在搜索引擎中输入“55岁男士经常胳膊麻是怎么回事”,智能筛查卡片弹出并给出了持续时长、发病部位、行为诱因等多个选项。 当选择持续数月、单侧选项之后,夸克则提示我这可能与颈椎病、脑出血、脑血管病有关。点击可能的病状,如点击脑出血板块进入解答链接,只见有首都医科大学的主任医师来为我解答背后的原因。 实际上,这一病例的患者确实在出现手麻症状之后的几个月后突然脑出血,可见这个智能筛查的功能还是比较具有参考性的。 经过试用智东西发现,夸克健康助手在健康问题咨询上基本上没出现答非所问、胡编乱造、上下文不流畅的情形,甚至还比较准确地给出了初诊结果。虽然这种建议不能替代医疗诊断,但有助于帮患者在就医前进行初步自查。 必须承认,夸克健康助手在一些问题回答上偏保守,比如在多则建议后都指出“以上建议仅供参考”,但它作为一款辅助性的健康助手,已经比传统搜索引擎好用了不少。 二、大模型进入专业领域,安全准确是第一道关口 体验完产品应用,我们将目光转向产业和技术。 从通用搜索到健康等专业搜索领域,大模型正在彻底改变搜索引擎的玩法,背后的关键因素是知识准确度的提升。 回顾年初ChatGPT爆火全球以来,先是微软率先将ChatGPT接入了Bing搜索,而后谷歌以及国内的百度、夸克等纷纷将搜索引擎接入大模型,短视频平台抖音近期也传出正在内测AI视频搜索……互联网大厂纷纷抢滩AI搜索赛道。 背后,大模型正在打破传统搜索引擎的技术瓶颈:传统搜索引擎依赖关键词匹配,难以理解上下文;仅调取网上已有内容,内容相关度和质量不足;难以区分真假信息,误导用户等。大模型对搜索的变革在行业已有共识,基于理解、知识、创作、对话、推理等多重能力,将带来更准确、更全面、更交互的信息服务体验。 但与此同时,大模型在知识准确度上表现不足,阻碍其进入更专业的信息服务领域。 以健康领域为例,这是很多人使用搜索引擎的典型场景,却是大模型久攻不下的一座城池。 究其背后原因,还是“幻觉”问题。由于医生无法给患者详细解释每一个医疗健康知识,患者很多知识需求是通过网络获取的。但由于大模型存在幻觉,会捏造信息,很可能给出错误的疾病判断、用药建议,使得患者贻误病情,后果不堪设想。 安全准确是健康信息服务的第一道关口,夸克专门对此进行了攻关。夸克相关负责人称,夸克做了很多健康行业数据建设和知识建设,从而使其知识错误率能降到了5%以下,这才具备了产品推向广大C端市场的底气。 解决大模型应用的问题,首先要先解决知识正确性的问题。为此,夸克建设了大量的医典百科、医典问答的C端用户数据,整理了大量的指南、标准、书籍等一系列数据,并建设了完整的医疗知识图谱,由此大大降低了大模型的幻觉。 值得一提的是,为了确保内容的专业性、正确性和科学性,夸克还成立了健康专家团。一方面其与200多位权威医学专家、60多家全国知名公立三甲医院和40多家医学机构合作,共建大模型内容生态;另一方面,夸克招募了健康大模型精调师,结合用户需求和热门病症,提供最新健康知识。 由此形成的千亿参数级别的夸克自研大模型,助其跨越安全准确第一道关口,进入专业搜索领域。 三、千亿级参数大模型,四个大招变革搜索 根据知名行研机构IDC今年8月发布的报告,在大模型的推动下,2027年全球人工智能IT总投资预计增至4236亿美元,约合3.1万亿元人民币。在这一新蓝海前景下,互联网巨头、科技行业龙头和AI创企几路玩家掀起了声势浩大的「百模大战」。 而随着「百模大战」的焦点演变为大模型产业化落地,夸克这样交叉领域玩家快速走到了聚光灯下。 夸克于11月22日正式公布了全栈自研、千亿级参数的夸克大模型。同时,夸克大模型已登顶C-Eval和CMMLU两大权威榜单,多项性能优于GPT-4,亦在法律、医疗、问答等领域的性能评测中夺冠。 要达成这样的成绩,并非没有挑战。...
清华发力AI健康研究最新布局,携手中国“AI大模型”先行者智源研究院
AI医师助手

清华发力AI健康研究最新布局,携手中国“AI大模型”先行者智源研究院

本文来自“智源研究院”,文章仅代表作者观点,与“科研圈”无关。 北京智源人工智能研究院清华大学智能产业研究院(AIR)两所极具代表性的创新型 AI 研究院,强强联手成立「清华(AIR)- 智源健康计算联合研究中心」,马维英任联合中心主任。 中心将致力于通过人工智能技术推动健康各领域从孤立、开环走向协同、闭环发展。推动被动式健康管理走向提早预测、主动预防、个性化、主动参与的新范式,实现更智能的个人健康管理,更有效的公共健康治理。 8月20日,联合研究中心在智源研究院召开首次会议,智源研究院理事长张宏江、院长黄铁军、副院长曹岗,清华大学智能产业研究院院长张亚勤、首席科学家马维英、副院长刘洋、首席研究员聂再清等出席会议。 << 健康计算联合研究中心首次会议 联合中心主任马维英博士介绍:人工智能技术在生命健康和医疗领域面临一系列核心技术挑战,如医疗健康数据孤岛,缺乏数据共享、统一的标注和工具,缺乏反馈机制和快速迭代的能力。 联合研究中心将充分发挥合作双方优势,联合健康医疗领域产业合作伙伴,结合产业应用场景,通过人工智能技术推动更智能的个人健康管理。一期将率先为主动、个性化、智能化的健康应用搭建基础平台,打造一个更专业、可依靠的个人智能健康管理助手。 从被动治疗到主动干预 健康管理需求强烈 人工智能潜力巨大 健康问题,往往来自于忽视。 近年来,各种“慢性病”和“亚健康”已经成为危害人类健康的头号杀手,仅在中国,就有超过3亿多的慢病患者。 从被动治疗到主动预防的思路转变,正在为这样的老故事重新改写 happy ending。「AI+健康管理」作为重要发力点,所需条件正日益成熟: 从政策方面来看,十三五以来,国务院多次印发关于“健康中国”、“互联网+医疗”的意见和纲要。在2020年的科学家座谈会上,更是“面向人民生命健康”,树立为新时代中国科技发展的四大方向之一。在北京市人民政府刚刚发布的《北京市“十四五”时期高精尖产业发展规划》中,做大两个国际引领支柱——“新一代信息技术”和“医药健康”,是打造面向未来的高精尖产业新体系的新目标。 数据层面来讲,随着人工智能、大数据等技术的不断向下渗透,产业、社会数据化的大浪潮势不可挡。 传统医疗、保健、体检机构等,已然储备了大量与医疗健康相关的数据。而随着诸如基因测序等技术的不断发展,其测序成本也在逐步下降,这也促进了医疗数据的产生。健康数据的大量积累,为人工智能参与健康管理提供了可发力的深厚基础。 数据显示,通过健康管理计划,诸多疾病可得到有效控制,例如胆固醇水平下降了2%、高血压水平下降了4%、冠心病发病率下降了16%。 产业前景上,随着我国人口基数的不断增长,经济技术水平不断提高,人口老龄化逐渐演进,种种因素必然导致我国的医疗健康产业,将成为世界增长最快的产业之一。加之近两年疫情所致,更是进一步加速了中国大健康产业数字化、智能化的改革发展。据统计分析显示,该产业正在逐步形成一个超过10万亿的蓝海市场。 可以看到,无论是宏观政策、社会进程,还是市场选择、技术发展 ,“人工智能对健康管理效率提升”的革命都势不可挡。 从孤立到协同 从开环到闭环 最终连接软件、硬件全生态 立足于庞大的现存数据地基,如何打破固有的孤立、开环问题,让数据孤岛连成一片生生不息的大地? 如何以人工智能技术进行充分挖掘、开采、提炼、加工,以变革性的科技效率提升高品质健康检测、疾病预防,以及健康风险评估等方面的巨大潜能? 「清华(AIR)- 智源健康计算联合研究中心 」选取的路径是: 以「通过饮食,生活习惯可干预疾病」为切入口,打造一个个性化的个人健康管理系统,打通软件与智能硬件连接,最终搭建一个包含科学研究、技术攻关、平台建设、产品开发和企业孵化的「AI+健康」管理全生态。 在技术上,通过多模态神经符号AI,结合相关性、注意力机制和因果关系,使不同的表达和模型可以彼此相互训练、相互学习。同时结合对抗、协作、多模态、多任务、迁移学习、联邦学习等前沿AI技术,最大程度地释放个人健康数据巨大潜力,发挥健康数据的协同能力,为主动、个性化、智能化的健康应用搭建基础平台。 核心思想,即人工智能推动医疗健康各领域,从孤立到协同,从开环到闭环发展。 AI、医疗与产业顶级人才合作 为 AI 健康管理的聪明劲儿 再加一把劲儿! 目前,联合研究中心汇集了人工智能机器学习、计算机视觉、自然语言处理、生物信息学、分布式计算、物联网、智能硬件等领域的高水平研究人员。 研究中心主任马维英,为清华大学智能产业研究院惠妍讲席教授、首席科学家,历任微软亚洲研究院常务副院长、字节跳动副总裁兼人工智能实验室主任。 马维英于2021北京智源大会 技术优势之外,健康管理涉及到医疗知识与指导的权威和专业性。目前项目正在开展与清华大学生命科学,医学,公共卫生等研究团队的合作,进行广泛的交叉研究部署。 最后,也是核心中的核心:健康管理领域的进步,核心价值观是患者。智源与清华AIR的研究机构定位,定义了非逐利、非商业的先天属性,也将持续担当起为社会做好健康公益的初心职责。...