《瞬间记忆：现场速记技巧与实用应用》

文章主题：抱歉，您提供的信息中并没有包含具体的现场速记内容，所以我无法从中提取关键词。如果您能提供更多的上下文信息或者将现场速记内容放在文本中，我将很乐意帮助您提取关键词。

《瞬间记忆：现场速记技巧与实用应用》 2023年7月20日，由中关村金融科技产业发展联盟、中关村互联网金融研究院、中国数字金融百人会主办的“2023中关村论坛系列活动——第七届金融科技与金融安全大会”在中关村展示中心举办。本次大会以“强化数字创新筑牢安全屏障”为主题，包含主论坛、主旨演讲、平行分论坛、主题演讲、尖峰对话、发布《2023中国金融科技百强企业竞争力报告》、发布《数字金融：塑造中国金融新格局》，成立“中国数字金融百人会”等多个重要板块。政府领导、院士专家、金融机构高管、金融科技界精英齐聚一堂，展望立足于中国的金融科技未来趋势，共同改变世界科技的走势与脉络，发出行业最前沿的声音。即构科技资深架构师、金融行业生态负责人王辉参加了“新一代信息技术安全大会”并发表题为“RTC+AI 让金融业务办理‘更有温度’”的主题演讲。王辉指出，当前银行业对音视频需求不断增加，预测未来将迎来银行4.0时代，以远程音视频交互技术为基础能力，结合AI技术，为用户提供有温度的金融服务。他重点介绍了即构科技公司“数智人”平台架构构建和AI建模的技术细节，这使得他们能够为金融业务提供智能化的、人性化的服务。与此同时，他针对当前金融业务安全、AI身份核验等相关痛点进行了探讨，为听众揭示了“RTC+AI”模式在金融领域巨大的发展潜力。此外，他还对云通讯服务应用场景、产品流程、行业规范等热门关注话题进行了全面深刻的阐述，展示了即构科技公司目前的最新技术进展，指出企业客户通过接入ZEGO提供的服务可以低门槛获得实时音视频通讯能力，尤其在弱网环境下仍然能够实现高质量的音画，保持稳定可靠。通过这次讲座，听众对于未来金融服务的发展趋势和云通讯技术在金融领域的应用有了更深刻的了解，同时也对“RTC+AI”模式带来的智能化金融服务前景充满期待。

《瞬间记忆：现场速记技巧与实用应用》即构科技资深架构师、金融行业生态负责人王辉

以下内容根据现场速记整理：

各位好！我是即购科技的王辉，今天下午很荣幸跟大家分享RTC+AI让金融业务办理“更有温度”。

我们在金融行业业务办理过程中，从早期的银行业务办理需要去到相应的网点进行业务办理，这个时候我们会把临柜的高风险业务做录音录像存储下来，在银行2.0的时候，特别是疫情期间口罩的原因，一些用户以及我们的远程银行的坐席没法进行相应的业务办理，这个时候我们在居家过程中如何进行业务办理，这个时候我们提出自助办理以及远程银行业务办理形式，满足用户线上和坐席线上业务的办理，这是远程银行3.0的现状。

这个时候我们提出来AI bank的模式，可以数智人的模式复刻出虚拟业务坐席帮我们的用户进行相应业务办理，我们模拟出来的虚拟人可以1:1真人坐席，我们可以复刻模拟用户的面部驱动、表情以及形象和声音，早期是人人交互，后来有一些信息化的业务形态，就变成人机交互，在人机交互过程中以人工智能的形式让人机办理更有温度。

这是我们针对于业务办理如何提供更有温度的办法的过程，最基础的是我们会提供一个基础的音视频平台，我们可以看一下，平台会包含我们相应的音视频底层的SDK，可以满足金融机构在各种渠道上区别集成相应SDK，包括在音视频的采集，以及相应的渲染上都可以处理。

第二部分，提供音视频的引擎，我们的引擎包括我们对音视频的降噪、抗弱网，同时后台上会提供相应的调度，包括房间的调度，包括我们排队的一些调度，都会在后台提供。上层我们有相应的业务模块，我们抽象出来的，比如说端上我们有一些AI的降噪，还有一些虚拟背景、主体分割的技术。再后面，我们会有一些排队以及录制，因为银保监会有一些政策要求，远程银行业务办理过程中要求做录音录像的存储。存储过程中，我们怎么保证它的安全呢？我们存的时候会将业务的流存在服务器上，进行服务端录制，我们在临柜业务的办理情况下很多是存在终端上，这个实际上风险还是很大的。

上层，我们结合RTC以及AI中台输出相应的行业应用方案，包括常见的理财双录，还有贷款尽调、虚拟营业厅、视频银行、对公开户、远程投保等等。业务方面我们也会做相应的产品，比如智能双录，结合数字人坐席的形式提供相应的录音录像，还有的直播，媒资，以及视频会议等。

这是我们的一个数字人产品，我们的数字人实际上是基于2D真人的数字人形式，目前有两款产品，一款是3D卡通数字人，比较贴近元宇宙的场景，另外一款是真人数字人的产品，我们真人数字人整个合成的流程大概是这样，从早期的数字人建模之前，会上传一段音视频文件，大概二三十分钟，上传完之后后台做训练会出现真人的形象，然后通过文字以及相应的语音驱动这个数字人，最后生成相应的音视频出来。

围绕如何让用户更有温度的进行业务办理，这是我们针对于银行双录提出的坐席业务办理的场景，用户进线之后会给数字人提出一些问题，或者做相应的业务办理，在办理的过程中会提出一些问题，文字性的，或者以音频类型跟数字人做交互。数字人在业务办理之前会跟用户做相应的身份信息核实，比如我们在金融行业有一个术语叫三亲鉴，身份核实完之后我们进行音视频，进行业务办理。下面有典型应用场景，比如券商行业涉及到单向开户，还有保单播报，还有信贷用户信息核实，还有虚拟理财顾问等。

这是数字人平台的产品架构，底层是基于我们的音视频通道，上层是AI的引擎，包括数字人引擎，2D、3D，还有对话引擎、语音引擎以及感知引擎。

再上层，我们会将底层技术做成上层的业务平台，针对C端用户在后台内进行相应的形象配置，针对于用户可以设原生复刻。之后有一个运营管理后台，后台针对不同行业提供专业的公共模特，来为行业应用赋能。因为本身我们公司是一个自研的公司，我们可以支持私有化部署。我们整个数字人的产品形态分为三个形态，第一个是口播型短视频生产数字人，更适合短视频运营。第二部分是数字人直播平台，会将相应的RTMP流推到我们的直播平台上，在直播过程中也可以提取用户回复的IM信息做相应的互动。第三部分是实时音视频，互动型数字人会借助实时音视频，去采集端上的用户的实时流，从中抽取PCM音频数据，将这些音频数据转写成相应的文本做一个NLP解答，最后将文本答案TTS转写成音频流，推理出数字人视频流推到前端。常见的应用场方案有：数字人陪练场景，适合大型呼叫中心的场景，可以进行相应的训练，给我们的业务人员去做赋能。第二块是云客服，第三块是数字人直播，也可以在一些大型网点或者前台做相应的线下的大屏导览。

前面讲到我们如何用用户进行更有温度的业务办理，在办理过程中，我们享受了相应的信息化服务，这是否就表明我们可以保证业务安全有效的进行，这个肯定是不行的，所以针对于数字人，我们也提出来一个方案，如何防止黑产行业利用虚拟数字人进行骗贷骗保，我们基于这个提炼出了金融防欺诈的解决方案。底层核心会用到我们的对抗样本以及深度伪造，针对前端的用户是否用到了虚拟人进行相应的业务办理，或者是否用到了面具之类，上层是三个核心引擎，第一个是AI引擎，第二是业务安全、平台安全，第三是金融数据智能平台，我们会将用户的视频数据识别它是否是真人。

上面我们会围绕金融业务办理事前、事中、事后做相应的安全加固以及识别，事前在业务办理之前针对用户的终端做识别，是否终端是安全，是否有相应的病毒的注入等，事中我们会去识别用户是否是有一个真人，事后我们会将用户和坐席办理过程记录下来，然后去做相应的内容审核。

我们也结合了一些真实案例，我们提炼出来在金融行业用虚拟人存在两种形式的欺诈行为，第一种在核身阶段，我们经常碰到，在疫情的期间，在微信申请健康码，需要核身申请。这种在金融业同样很常见，攻击者拿到用户的图片之后可以伪装成相应的形象出来，通过真人带动他的真人视频，来做眨眼、点头之类的活体，这是第一个以静态图片的形式做相应的伪造。第二个，对抗样本，以相应的面具的形式复刻真人的形式来做一个伪造。攻击者通过伪造相应的受害者，来进行张嘴等。

刚才聊到主要两种的攻击形式，这里是良好种应用场景，第一种是核身场景，正常用户会上传一张身份证，或者手持身份证和身份证的人脸做一个匹配，匹配到之后会进行一个相应的动作检测是否是活体。如果一些黑产，通过一些脚本的注入去攻破这个的话，那就很危险了，我们可以看一下上面的视频，实际是生成了眨眼、点头、摆头的脚本然后去攻克右边的业务系统。

前面讲了我们让用户更有温度的办理业务，也讲到我们怎么样利用数字人的反欺诈的技术。

后面我会一下除了前面的方案之外，我们还有一些别的关于音视频的应用产品和方案。在金融行业有一个行业规范，企业进行相应理财产品直播带货的时候必须通过自有的直播平台，这就导致一些金融机构想去做一些创新的玩法，直播的玩法，去带销他的一些理财产品，那这就导致他们必须自建自己的一个直播平台，那么，即构可以提供这么一个方案，帮我们的一些企业去构建他自有的私有化的直播平台，也就是第一个应用场景，理财直播带货。

第二个，我们可以满足企业内的大型培训，可以满足银行培训，如工银大学、建行大学之类的一些金融机构。

第三个，我们可以将我们的私域直播推到公域上，比如我们可以将自有的直播平台的直播流推到第三方平台，比如视频号、抖音上面，借助公域的流量做相应的品宣。

这个是我们针对于金融机构存在许多音视频的数据，这些数据如何管理，这种背景下所孵化出的媒资影像管理平台西。我们可以去帮机构解决一些大文件的上传、存储、管理和播放的问题，传统的一些文件的上传形式，如果出现一些网络中断或者设备异常，就导致一些大型文件传输中断的形式，平台有批量上传、断点续传、分片上传的机制，哪怕出现了中断，网络链接正常后可以继续上传。第二，我们有针对音视频转码的机制，因为不同的业务系统生产出来的音视频会格式不一样、分辨率率多样，平台可通过统一的转码形成标准的格式，方便后续的管理。还有处理，音视频进行点播的场景，需要去包装盒编辑封面，内容可以做相应的打点。后面是我们的分发，分发我们也针对于金融行业的特殊安全属性，可以达到两种层次分发，第一种，我们可以为金融机构构建一个简易的内网分发加速的方案。第二种，我们可以借助公有云CDN的能力做分发。

这是我们和互金的客户共同孵化出来的一个真实的案例，征信提额的案例，今年有一个特殊现象，很多银行的钱放不出去，如何给用户更多的授信，进行提额，这是我们这边在这个背景下所产出的一个方案。“小王从清远到广州去务工，本身学历低，他需要一个电动车进行外卖的配送，他本身在某个平台上的额度是1000块钱，但电动车需要5000块钱，通过这个平台给他进行相应的提额之后，贷款买了电动车，也成功就业。”

我们可以看一下左边的视频，有一个惠提额入口，通过入口可以跳转到第三方平台收集响应征信数据，这个平台跳转到个人纳税APP，这里有一个语音播报，指引用户在界面上展示信息。首先是指导这个用户进入到他个人信息页面，核实个人的身份信息，核实完之后会将个人引导到他的一些纳税的数据页面，它指引查询了2021年的一个纳税数据。在这个过程中，系统实际上会去实时做屏幕共享，会将屏幕共享的流推到服务端，服务端会做视频的抽桢，每秒5桢，抽桢完之后识别页面上的结构化数据，拿到这个结构化数据之后，提供给授信模型。同时，平台授权一些信息，以及确认这些信息是否是正确的。通过这种形式，收集我的征信数据，给我去做相应提额。

我们公司是2015年成立，我们专注于两件事，一个是音视频，另外一个事情是2021年我们开始聚焦于AI数字人这个方向，目前我们在行业内也服务过一些头部的金融客户，比如中国银行、工行以及交通银行等等。右边是我们在这个赛道上积累的一些行业数据，我们的创始团队在音视频和AI行业有19年的技术积累。第二点，我们在信创行业的一些积累，我们本身也是深圳信创联盟副理事长，全国信创联盟会员单位。

我的分享到此结束，感兴趣的朋友可以加一下微信，谢谢大家！

*本文系作者在中关村金融科技产业发展联盟、中关村互联网金融研究院和中国数字金融百人会于7月20日举行的2023第七届金融科技与金融安全大会“ 强化数字创新筑牢安全屏障 ”上的主题演讲

。