AI金融助手
编辑 | 凌敏AI 大模型引领千行百业加速升级。在金融行业,大模型正以其出色的数据处理和分析能力引领着一场技术变革。那么,目前大模型在金融行业的应用现状如何?大模型在金融行业的落地应用面临哪些问题和挑战?如何打通大模型在金融业落地的最后一公里?近日,InfoQ《极客有约》邀请到了腾讯金融云技术总监全成,InfoQ 社区编辑,美国 Cognizant 公司架构师(solution architect)马可薇,共话《大模型落地金融行业,如何闯关最后一公里?》。以下为访谈实录,完整视频参看:https://www.infoq.cn/video/wV7sNBNqeO27V3p5E2Gu马可薇:欢迎大家来到 InfoQ 极客有约,我是今天的特邀主持人 InfoQ 社区编辑、美国 Cognizant 公司架构师马可薇。本期直播,我们邀请到了腾讯金融云技术总监全成来给我们做分享。我们今天直播的主题是《大模型落地金融行业,如何闯关最后一公里?》。首先请全成与网友们打个招呼。全成:我一直在金融行业工作,负责过金融大数据、数据挖掘、机器学习、深度学习等方面工作,在算法、研发方面也有一些经验,为了探知市场的信息和动向也做过一段时间的产品和售前架构师相关的工作。目前,我在腾讯金融云项目中负责远程音视频应用,以及大模型在金融行业应用的研发工作。大模型如何赋能金融行业?马可薇:去年年底 ChatGPT 的爆火成功掀起了大模型热潮,对于这波浪潮,您观察到哪些有趣的趋势?全成:从大模型至今的发展来看,我从体感上来说没有发现很多有趣的趋势,更多的是一些担忧。大模型本身具有一定的技术门槛,其本身的计算和逻辑推理过程又是黑盒,目前的大模型应用过程发展趋势更是在逐渐走向闭塞。Transformer、Hugging Face 库中的开源模型数量多、版本迭代速度快,但超大型模型却更多地走向闭源。这类黑科技一旦极端地走向闭塞、黑盒的方向,将会给大模型带来泡沫,也给了许多意见领袖左右舆论的可能性。我还是更多地希望开源和闭源的体系能同时存在,这样也更加地合理。同时我们也能看到,目前除了大模型的训练和研发平台外,许多创业公司也在进行一些基于大模型的智能应用,比如辅助办公或 PDF 和论文类的解读等等。此外,基于大模型的智能应用研发也会需要研发的平台,类似移动 APP 研发平台的中间 PaaS 层组件,这类平台的研发和开源数量也在增长,像是 LangChain 这类在早期较为典型的平台也会逐渐出现。在这一点上,科技公司或是金融公司这类对信息化同步需求较高的行业,也可以关注一下这类基于大模型的研发平台在未来的发展趋势。马可薇:在金融行业,大模型的价值主要体现在哪些层面?全成:说起价值点,如果一个技术能够解决行业中存在的一个问题,那么其价值自然能体现出来。在金融行业里,我们不提金融服务的个性化推荐、风控量化水平精准度的提高、客户体验的提高等等这些较为空泛的话题,举一个最简单的例子,智能客服。大家在日常给金融机构或客服打电话时往往能感觉到客服机器人的难以沟通。这个问题在各种领域中其实都存在,可以说金融机构并没有通过智能化的技术将客户和咨询的诉求解决掉,而是恰恰相反,通过这些技术将客户的咨询和诉求全部挡在了门外。从这方面来说,客户的咨询和互动方面肯定会有很大的提升,这也是我们能切身感受到的。此外,大家常常在很多金融 APP 上发现光是产品的购买,其中的图片和文档都会让人眼花缭乱,客户最为关注的核心信息往往很难获取到,人们与金融服务的互动或信息获取效率是过于底下的。在这些问题上,大模型对金融行业还是会有很大帮助的。金融行业中的各大渠道,包括手机银行、网银、ATM、线下网点,乃至微信的小程序中,我们与客户能产生的互动只有点击和浏览。在 ChatGPT 这些大模型出现后,我们可以看到它们在语言生成和组织回答的能力上是非常强大的,可以让金融行业中最为直观的价值点,也就是与客户的互动率会有大幅的提升。大模型在金融行业内部的工作效率提升方面,也有很大的助力。我个人在工作中也会坚持写代码,常常会用到 GitHub Copilot 或腾讯的 AI 代码助手之类,我感觉它们可以明显地为我带来代码编写的效率提升。此外,我在之前做架构师相关工作时也会遇到一类问题。金融机构中对于一些数据的统计,比如风险参股在 20%-30% 的客户情况,这些数据通常是无法在 BI 平台上获取到的。数据分析或运维人员必须要找到科技公司提交数据需求说明书,科技部还要经过排期,最终要到两个星期后才能拿到数据结果。大模型出现后,在 AI 数据和数据查询等方面也会有大幅度的提升。马可薇:当前金融机构对于大模型的态度是怎样的?全成:目前金融机构对大模型的态度普遍来说还是持有期待的。金融和电信可以说是数字化和信息化程度最高的两大行业了,他们对创新性的新科技接受程度都很高,也很愿意尝试。但大语言模型的训练和推理投入都很大,金融行业更多是期待科技公司能开发出一些可以带来更多业务价值提升,同时也能解决客观问题的应用。大型银行则更有技术实力和资本实力进行更多创新性的先行探索,我们也已经在一家大型银行的积极配合下,双方联合完成代码助手的落地等任务。马可薇:根据您的观察,目前行业对大模型的认知是否存在一些误区?全成:误区说不上,不过我个人比较喜欢 Geoffrey Moore 在《跨越鸿沟》中提到的营销模型:任何一个新技术都会有早期的受众,以及中期的保守主义和实用主义人群。我们更多是希望能和金融机构一同成为具备创新性和探索性的早期使用者,以此为后来的实用主义者给出更多的证明。当然,有些保守主义的同行会提出一些较为极端的案例,比如说互联网出现后会有手机银行这类能够直接接触核心交易方面的应用出现,那么大模型出现之后是否也能带来变革型的应用?对此我觉得要实现这些还是需要一段时间的,互联网刚出现时也是经历了网页、网站、网上银行、手机银行及线上支付的发展。总体来说,目前行业在误区层面倒没有很多,但我还是更希望金融和电信作为数字化领先的行业,能够在大模型的应用和创新的探索上有更多的积极合作趋势。大模型在金融行业的落地规则及部署方式马可薇:大模型在金融行业的产业落地需要遵循哪些规则?这和其他行业有哪些异同?全成:规则的制订是为了防止打破规则后带来的损失,或者是对部分人群带来的风险。大模型作为一项新技术,就目前可见一些舆论报道等信息渠道来看,都在谈论数据隐私安全、伦理、歧视偏见,但对于金融这项非常审慎的服务来说,可解释性和可追溯性是金融机构一定要关注的规则,当然,模型输出一定要符合法律法规这项最基本的要求更不用说了。金融机构要想应用大模型,就会对科技公司或产品研发公司提出更多的要求,大模型的推理过程以及推理后的每个环节都要有相应的日志。虽然说大模型的很多输出都没有缘由,但模型运算过程中还是会有一些能够佐证的信息和日志。大模型毕竟是新技术,必然会存在很多不可预料性。但我们也不能光是嘴上说说,还是要将产品先做出来,然后在使用的过程中沉淀一些具备可操作性的规则。举例来说,腾讯安全在某个仅利用视觉进行智能驾驶的品牌中,通过安全团队的实验,发现地面上存在的某些特殊图片会导致汽车进行一些预料外的行为。这种情况如果发生在实际的高速公路上将会十分危险。因此,我们应该是进行更多的实验和探索,并在探索过程中将各种规则沉淀下来,为行业做出更多的贡献。但目前为止还没有说有人尝试过利用个人隐私数据进行指令学习的大模型 fine tune 之后,模型会输出怎样的结论并影响到客户这类的实验。马可薇:先前...