大模型在金融领域落地思路与实践
导读恒生电子大模型在很多垂直领域均有落地的思路与实践,本文主要分享金融领域的典型案例,并结合案例进一步思考大模型在垂域实践落地的共性问题。 今天的介绍会围绕下面四点展开: 1. 恒生电子的大模型应用实践 2. 大模型时代的知识图谱 3.大模型垂直应用的伦理问题 4. Q&A 分享嘉宾|白硕 恒生电子 首席科学家、恒生研究院院长 编辑整理|王吉东 内容校对|李瑶 出品社区|DataFun 01恒生电子的大模型应用实践1. 大模型的发展趋势(1)大模型推动第三次信息化浪潮 上图是恒生电子董事长刘曙峰先生经常引用的经典图,将金融领域的数字化推进分为三个阶段,恒生电子目前正处于 2.0 到 3.0 的过渡阶段。在迁徙的过程中,最重要的生产要素就是数据。随着最新的 AI 大模型浪潮的袭来,当前时代充满着机遇,而金融领域也遇到了前所未有的、碾压式的技术革命。(2)碾压式的技术革命-大模型-从 AI 任务层面看 如上图左侧,在大模型出现之前,很多场景都有分散的、独立构建的 AI 系统,使用小模型用相应的标注数据进行训练,然而总体还是不够理想,距离预期还有一定的差距,并且不同的任务也呈现出不同的状况。到了以 ChatGPT 为代表的大模型面世之后,我们看到了另外一番景象,即无需要进行大量重复训练,而是提前做好预训练,无需针对不同的场景开发烟囱式的系统,仅通过预训练模型经过少量精调就可以适应不同任务,并且效果往往会超预期。(3)哪些方面能力提升了 新一代 AI 系统会碾压前一代,并真正实现平台化。这个代差,首先体现在语言能力上,另外还有极其精准的意图识别能力,上下文顺畅的写作能力,对知识和逻辑的理解能力,以及代码生成能力。对于专业领域知识,大模型也会表现得越来越专业,同时数学能力和逻辑能力也会有相当程度的提升。(4)大模型发展路线 大模型的发展包括两条技术路线,一条是 OpenAI 为代表的 GPT 路线,一条是以谷歌为代表的 Bert 路线。这两条路线,一个是所谓单向的,一个是所谓双向的。从去年开始,两条路线已经分出胜负。(5)大语言模型登顶 NLP 的深层原理让我们从 NLP 的角度来看一下,大模型都做了什么事情,解决了哪些问题。横向:远距关联 从横向看,大模型解决了 NLP 领域的一个难题——远距离上下文关联问题,即前文提到的一个词语或一段文字和后文的某一部分是相关的,然而两个词语中间的间隔可能很远,因此不同大小的窗口设定会带来不同的结果。实践发现,窗口设定的临界值大约在 1000 个...