编辑 | 凌敏AI 大模型引领千行百业加速升级。在金融行业，大模型正以其出色的数据处理和分析能力引领着一场技术变革。那么，目前大模型在金融行业的应用现状如何？大模型在金融行业的落地应用面临哪些问题和挑战？如何打通大模型在金融业落地的最后一公里？近日，InfoQ《极客有约》邀请到了腾讯金融云技术总监全成，InfoQ 社区编辑，美国 Cognizant 公司架构师（solution architect）马可薇，共话《大模型落地金融行业，如何闯关最后一公里？》。以下为访谈实录，完整视频参看：https://www.infoq.cn/video/wV7sNBNqeO27V3p5E2Gu马可薇：欢迎大家来到 InfoQ 极客有约，我是今天的特邀主持人 InfoQ 社区编辑、美国 Cognizant 公司架构师马可薇。本期直播，我们邀请到了腾讯金融云技术总监全成来给我们做分享。我们今天直播的主题是《大模型落地金融行业，如何闯关最后一公里？》。首先请全成与网友们打个招呼。全成：我一直在金融行业工作，负责过金融大数据、数据挖掘、机器学习、深度学习等方面工作，在算法、研发方面也有一些经验，为了探知市场的信息和动向也做过一段时间的产品和售前架构师相关的工作。目前，我在腾讯金融云项目中负责远程音视频应用，以及大模型在金融行业应用的研发工作。大模型如何赋能金融行业？马可薇：去年年底 ChatGPT 的爆火成功掀起了大模型热潮，对于这波浪潮，您观察到哪些有趣的趋势？全成：从大模型至今的发展来看，我从体感上来说没有发现很多有趣的趋势，更多的是一些担忧。大模型本身具有一定的技术门槛，其本身的计算和逻辑推理过程又是黑盒，目前的大模型应用过程发展趋势更是在逐渐走向闭塞。Transformer、Hugging Face 库中的开源模型数量多、版本迭代速度快，但超大型模型却更多地走向闭源。这类黑科技一旦极端地走向闭塞、黑盒的方向，将会给大模型带来泡沫，也给了许多意见领袖左右舆论的可能性。我还是更多地希望开源和闭源的体系能同时存在，这样也更加地合理。同时我们也能看到，目前除了大模型的训练和研发平台外，许多创业公司也在进行一些基于大模型的智能应用，比如辅助办公或 PDF 和论文类的解读等等。此外，基于大模型的智能应用研发也会需要研发的平台，类似移动 APP 研发平台的中间 PaaS 层组件，这类平台的研发和开源数量也在增长，像是 LangChain 这类在早期较为典型的平台也会逐渐出现。在这一点上，科技公司或是金融公司这类对信息化同步需求较高的行业，也可以关注一下这类基于大模型的研发平台在未来的发展趋势。马可薇：在金融行业，大模型的价值主要体现在哪些层面？全成：说起价值点，如果一个技术能够解决行业中存在的一个问题，那么其价值自然能体现出来。在金融行业里，我们不提金融服务的个性化推荐、风控量化水平精准度的提高、客户体验的提高等等这些较为空泛的话题，举一个最简单的例子，智能客服。大家在日常给金融机构或客服打电话时往往能感觉到客服机器人的难以沟通。这个问题在各种领域中其实都存在，可以说金融机构并没有通过智能化的技术将客户和咨询的诉求解决掉，而是恰恰相反，通过这些技术将客户的咨询和诉求全部挡在了门外。从这方面来说，客户的咨询和互动方面肯定会有很大的提升，这也是我们能切身感受到的。此外，大家常常在很多金融 APP 上发现光是产品的购买，其中的图片和文档都会让人眼花缭乱，客户最为关注的核心信息往往很难获取到，人们与金融服务的互动或信息获取效率是过于底下的。在这些问题上，大模型对金融行业还是会有很大帮助的。金融行业中的各大渠道，包括手机银行、网银、ATM、线下网点，乃至微信的小程序中，我们与客户能产生的互动只有点击和浏览。在 ChatGPT 这些大模型出现后，我们可以看到它们在语言生成和组织回答的能力上是非常强大的，可以让金融行业中最为直观的价值点，也就是与客户的互动率会有大幅的提升。大模型在金融行业内部的工作效率提升方面，也有很大的助力。我个人在工作中也会坚持写代码，常常会用到 GitHub Copilot 或腾讯的 AI 代码助手之类，我感觉它们可以明显地为我带来代码编写的效率提升。此外，我在之前做架构师相关工作时也会遇到一类问题。金融机构中对于一些数据的统计，比如风险参股在 20%-30% 的客户情况，这些数据通常是无法在 BI 平台上获取到的。数据分析或运维人员必须要找到科技公司提交数据需求说明书，科技部还要经过排期，最终要到两个星期后才能拿到数据结果。大模型出现后，在 AI 数据和数据查询等方面也会有大幅度的提升。马可薇：当前金融机构对于大模型的态度是怎样的？全成：目前金融机构对大模型的态度普遍来说还是持有期待的。金融和电信可以说是数字化和信息化程度最高的两大行业了，他们对创新性的新科技接受程度都很高，也很愿意尝试。但大语言模型的训练和推理投入都很大，金融行业更多是期待科技公司能开发出一些可以带来更多业务价值提升，同时也能解决客观问题的应用。大型银行则更有技术实力和资本实力进行更多创新性的先行探索，我们也已经在一家大型银行的积极配合下，双方联合完成代码助手的落地等任务。马可薇：根据您的观察，目前行业对大模型的认知是否存在一些误区？全成：误区说不上，不过我个人比较喜欢 Geoffrey Moore 在《跨越鸿沟》中提到的营销模型：任何一个新技术都会有早期的受众，以及中期的保守主义和实用主义人群。我们更多是希望能和金融机构一同成为具备创新性和探索性的早期使用者，以此为后来的实用主义者给出更多的证明。当然，有些保守主义的同行会提出一些较为极端的案例，比如说互联网出现后会有手机银行这类能够直接接触核心交易方面的应用出现，那么大模型出现之后是否也能带来变革型的应用？对此我觉得要实现这些还是需要一段时间的，互联网刚出现时也是经历了网页、网站、网上银行、手机银行及线上支付的发展。总体来说，目前行业在误区层面倒没有很多，但我还是更希望金融和电信作为数字化领先的行业，能够在大模型的应用和创新的探索上有更多的积极合作趋势。大模型在金融行业的落地规则及部署方式马可薇：大模型在金融行业的产业落地需要遵循哪些规则？这和其他行业有哪些异同？全成：规则的制订是为了防止打破规则后带来的损失，或者是对部分人群带来的风险。大模型作为一项新技术，就目前可见一些舆论报道等信息渠道来看，都在谈论数据隐私安全、伦理、歧视偏见，但对于金融这项非常审慎的服务来说，可解释性和可追溯性是金融机构一定要关注的规则，当然，模型输出一定要符合法律法规这项最基本的要求更不用说了。金融机构要想应用大模型，就会对科技公司或产品研发公司提出更多的要求，大模型的推理过程以及推理后的每个环节都要有相应的日志。虽然说大模型的很多输出都没有缘由，但模型运算过程中还是会有一些能够佐证的信息和日志。大模型毕竟是新技术，必然会存在很多不可预料性。但我们也不能光是嘴上说说，还是要将产品先做出来，然后在使用的过程中沉淀一些具备可操作性的规则。举例来说，腾讯安全在某个仅利用视觉进行智能驾驶的品牌中，通过安全团队的实验，发现地面上存在的某些特殊图片会导致汽车进行一些预料外的行为。这种情况如果发生在实际的高速公路上将会十分危险。因此，我们应该是进行更多的实验和探索，并在探索过程中将各种规则沉淀下来，为行业做出更多的贡献。但目前为止还没有说有人尝试过利用个人隐私数据进行指令学习的大模型 fine tune 之后，模型会输出怎样的结论并影响到客户这类的实验。马可薇：先前 ChatGPT 出现过 prompt 泄露模型训练数据的事故，那么腾讯云有针对这类风险做过什么防范措施吗？全成：这是肯定的，我们甚至还有一个专门的团队研究如何拦截大模型中高风险的输出。腾讯的混元大模型在训练的时候也会充分考虑到这一点，在训练的数据集中把法律合规、可解释性、隐私安全都考虑到。同时，因为大模型本身的计算过程非常复杂，其输出肯定会存在意外性，目前英伟达也有一些开源组件可以对模型的最终输出进行拦截。腾讯的安全实验室也在进行这方面的安全探索和研发。马可薇：要如何确保大语言模型的应用是符合法规要求的呢？全成：首先是训练数据集，我们要杜绝违法的训练数据集，因为如果存在违法的训练数据，模型必然会学习到。目前的大语言模型的训练数据通常是互联网上通用的文章、书籍、新闻报道之类信息，但金融行业还有行业内的政策文档文案以及一些领域知识，这些都需要添加到大语言模型的训练之中。这样才能更多地让模型学习到金融行业的规则和法规。其次是针对输出的拦截，在这一过程中我们可以对参数进行一些调整，实现对敏感词汇进行过滤，减少其被选取的概率，并尽可能避免人名的出现（除了百科类型中的名人）。最后一道防线则是安全机制，通过一套筛选过滤的机制从而保障大模型的输出尽可能地安全合规。虽然这样下来还是会存在漏网之鱼，但目前还没有全面观测到这种情况的出现，这方面我们还是有很长的一段路要走。马可薇：目前大模型在金融行业的应用现状如何？主要有哪些应用场景？存在哪些挑战？全成：虽然大模型面世仅仅只有一年的时间，但它的 Transformer 技术架构是从 2017 年底逐渐发展到现在的，真正惊艳众人的还是一千五百多亿参数的超大级别模型 ChatGPT。目前大模型虽然还没有得到大规模的应用落地，但在探索和创新性上的尝试还是有很多的。金融机构目前还是希望能和更多的科技公司合作实现大模型的应用落地。今年四五月份我们就已经能看到 ChatGPT 与 GPO 进行金融投研的 fine tune 及相应的合作，在券商或投资银行的层面上，我们能看到很多投研和投顾（投资顾问）相关的探索性合作；商业银行希望能提高与客户的互动性，智能客服和线上营销方面合作较多。至于商业银行在个人信用和企业内部评级，因为信用风控领域需要模型具备极强的可解释性，风控和风险量化方面，比如违约概率、违约损失率或风险计量等方面的应用目前还没有非常直观的应用场景。目前来说，大模型基于互联网行为数据获取到的信用评分或是代码助手之类的应用相对而言还是比较多的，但大模型目前还没有直接进入交易或模型直接决策的层面。至于挑战，大模型技术门槛不低，因此在技术上的挑战肯定存在，但更多的挑战还是在于投入产出的平衡方面。以 16B（160 亿参数）的小型大语言模型来说，光是推理部分就需要一个 32G 显卡的服务器，英伟达 V100 的 GPU 一个月是四千块钱，三节点的负载均衡一个月下来就是一万二。两千亿参数的超大型模型一年在 GPU 上投入就是 144 万，在算上应用中的数据库和其他的基础设施，一年中光是推理的投入就要有三百万，因此我们还是要提高业务价值，做好投入产出的平衡。马可薇：当前金融机构部署大模型主要有哪些方式？不同方式的关键点是什么？全成：大模型的部署方式有很多，基础的云平台、本地，以及混合型部署，谷歌前阵子推出的 Gemini 甚至有可以在边缘计算部署的超小型模型，其他还有 OpenAI 通过 API 提供的模型即服务类型。具体的部署方式选择还是和大模型的应用架构息息相关。假如说是对语言能力和语言组织能力要求极高的需求场景，需要一千五百亿甚至是两千亿级别以上的模型，那么专为这种应用或云环境搭建机房的成本还是很高的。这种场景下，可以在尽可能保障安全的情况下与科技公司合作，通过 API 调用模型即服务（MaaS）共创一个安全的云环境。目前没有任何一个模型能针对任何细分场景下的任何任务都有百分百的解决率，金融机构如果希望构建大模型的应用，则必然要针对不同的细分场景，由推理和训练微调成本较低的小型模型解决细分场景，中间层 Agent 代理判断意图（究竟是调用大模型、专业模型还是搜索工具），并利用大模型的语言和推理能力将结果整理，从而交给用户一个满意的答复。马可薇：金融行业最关注的还是大模型带来的风险，具体来说，可能会存在哪些风险？如何规避这些风险？全成：这个问题拿去问 ChatGPT 能得到十几条的回答，非常全面且完善。金融行业在这十几项的风险中会更多地关注信息数据安全，隐私数据被滥用这方面。在信息安全方面，除了传统的信息加密、访问控制和脱敏等手段，我们还要有研究团队，利用个人隐私数据或行为数据做模型的微调和训练，通过模型输出反馈结果的实验证明，发现具体的潜在风险，才能提出更多的反制措施。其次，金融机构也会非常关注对客的公众性。既要确保个性化的利率定价和产品推荐，同时也要保障在某些领域中的对客公正性。在训练数据集中，即使是要用隐私或金融数据，我们也不能过度依赖银行或个人券商的内部数据，而是要考虑到公共的、更为全面的数据。内部的数据必然不是正态分布的，而有些地域或地方性金融机构的客户可能都是局限在某一区域的。第三，是模型输出的可解释性和可追溯性。在应用大模型时，金融机构要尽可能避免通过大模型直接从端到端解决非常复杂的任务。大模型在解决复杂的逻辑推理任务时还存在能力上的短板，在解决这类问题时大模型的推理过程也是完全的黑盒。因此，我们要尽可能地将复杂任务拆分，并通过这一过程中对模型的拆解，提高模型结果的可追溯性和可解释性。马可薇：科技公司要如何为金融机构提供定制化、差异化的大语言模型服务？全成：首先要看用户提出的需求，其次是大模型的训练，我们目前也在用很多开源的模型进行微调，这些开源模型有很多，Chinese-Llama2、千问，以及腾讯内部通过中文语料训练出的模型等等。开源模型肯定要用中文语料训练，我们会在 Hugging Face 上看有哪些评测较好的模型，再用业内比较认可的 LoRA 技术做模型的训练和微调。在金融机构内部训练数据不足的情况下，就得用更大型的生成式模型生成训练用数据构成指令数据集，再通过 LoRA 进行微调。因为可训练的参数基本可以控制在 1% 以内，所占用的显存不会很高。打通大模型在金融业落地的最后一公里马可薇：大模型目前的应用和边界在哪里？全成：将一个不稳定的新技术直接应用到核心业务上会带来较大的风险，目前大模型的应用边界还是更多地在外围一些客服咨询、内部工作效率提升、文档解读等相关的应用，而不是直接应用到精确的风险量化值计算之类。马可薇：打通大模型在金融业落地的最后一公里并非易事，有哪些可行性路径？金融机构如何才能充分发挥大模型的潜力？全成：可行性路径很多，官方一些的回答是“合作通赢”；和科技公司一同合作，找到一些较为边缘性、与核心交易不算较为相关，且能相对地带来更多的工作效率的高业务价值场景，小步快跑地进行尝试，当然也还要构建一个专业的团队。不同的技术路线也有不同的落地方式。一种路径是利用金融领域数据，点对点微调大模型，这种方式成本较高，很多科技部的领导很难有魄力投入如此大的资源。另一种路线是通过 prompt 提示工程将许多大模型一同利用起来，很多具体场景中的 prompt 设计有很巧妙的设计，好的提示工程会让模型回复的精准度和准确度有大幅度的提升。这样通过知识库和大模型中 prompt 能力相结合的搭建形式，是金融机构目前来看可行性较高的路线。前面提到的复杂任务拆分，对数据外泄零容忍的细分任务用小型模型完成，利用金融机构内部的数据进行微调，再挂载到大模型的应用内，从而实现更高的落地安全性和保障性，可行性也较高，成本也更好把控。马可薇：在人才储备方面，金融机构需要哪些技能和经验来支持金融大模型的落地？全成：大模型虽然也有技术门槛，但远没有传闻中的神乎其神，实际的微调和训练工作都会需要两方面的人才。一是数据工程类人才，基于业务需求对数据集进行设计、清洗、验证，大规模地构建数据集。这一过程不仅需要具备业务知识，还需要耗费极大的人力精力。我们都知道 OpenAI 或者是谷歌等公司的架构永远是 Transformer、训练代码在 GitHub 上也有很多（并行训练、流水线训练、数据定性等等），唯独没有数据集中各种数据来源的占比，或者训练结束后指令学习中具体的任务构建。在模型训练方面，除非需要从预训练开始，将 Transformer 的架构模型重新设计或修修改改，否则只做微调的话，用 RoLA 微调开源模型就可以了。国内也有 LLaMA-Factory 的 H5 工具，很简单就能进行训练了。模型训练方面的人才首先要理解 Transformer 或图像生成方面 Diffusion 的理论基础和架构原理，会写 Python 并能利用 Hugging Face 微调应该就是足够了。马可薇：金融领域大模型的技术路线和其他垂直领域的大模型有什么不同？全成：在我看来其实差不太多，金融机构在技术路线的落地方面会更加关注私有化、本地化的部署，对产品研发和创业公司来说要更多地考虑到这一点。模型不是越大越好，越大的模型对 B 端客户的成本也就越大，模型的设计和微调以及更多的研发工作时都要考虑到这点。马可薇：对于那些还未或正在落地大模型的金融机构，您会给他们提供哪些建议？企业具体需要做好哪些准备？全成：建议谈不上，但还是希望更多的金融机构能够让员工先用起来大模型。以代码助手为例，任何技术人员肯定都觉得自己的代码水平很高，何必让 AI 给自己搞乱，但只有真正地拥抱新技术，才会在使用的时候发现它真的能带来很多便捷和效率上的提升。看似大模型没有解决什么问题，但对员工整体对大模型技术上的理解是有很大帮助的。此外，无论是技术人员还是业务人员，在应用了大模型的技术后能够天马行空地提需求才是好的循环，而不是直接否认大模型。金融机构的中高层也需要对大模型的应用有一些一两年内的规划和整体目标，这样才会更还是一些，五年计划倒是指不上，毕竟技术发展太快了。马可薇：展望未来，大模型落地金融行业还会带来哪些产业价值？未来可能会发生哪些变革？全成：金融领域在未来会积极地拥抱新技术，在可见的未来也必然会有更多创新性的应用出现，大模型会帮助金融行业实现客户和金融服务之间的互动和交付，而未来金融行业的应用也可能会出现更多的对话式、交互式应用。从变革的层面来讲，未来也必然会带来更多变革型、创新性的应用。特邀主持马可薇，InfoQ 社区编辑，美国 Cognizant 公司架构师（solution architect），主要负责保险领域的业务。特邀嘉宾全成，腾讯金融云技术总监。之前曾在某金融集团公司参与关系网络风控识别项目，和说话人声纹识别比对项目；在券商互联网企业参与过大数据量化投资项目。目前在腾讯主要参与 TX2SQL 大模型智能应用项目，负责专业知识及推理大模型微调，构建端到端 TX2SQL 问答系统。

? 欢迎向「InfoQ 数字化经纬」投稿，与我们共享您的思考、洞见和实践经验！投稿可邮箱至 editors@geekbang.com（邮件标题前注明【数字化投稿】）

内容推荐2023年11月在上海成功举办的首届 FCon 全球金融科技大会，以「科技 + 金融，激发创新力量」为主题，汇聚了来自金融龙头企业的数百名技术高管，掀起一场探讨新时代金融科技未来的高潮。经征得大会分享嘉宾同意，InfoQ 数字化经纬为您奉上精彩演讲 PPT！关注「InfoQ 数字化经纬」，回复「金融创新」即可获取 PPT，深度洞悉科技趋势，助您引领金融创新未来！大模型落地金融行业，如何闯关最后一公里？