AI认知智能时代的来临：澜舟金融NLP技术引领风潮

本文根据澜舟科技创始人兼CEO周明在「澜舟NLP分享会」上的演讲整理，介绍了大模型技术在金融NLP场景的应用，以及澜舟的实践。

全文约 5200 字，预计阅读时长 10 分钟。

近三年来，大规模预训练模型深入应用于金融场景中，大幅度地提升了业务系统的开发效率。本次报告将分享目前大模型技术在金融场景下的应用现状及未来发展趋势，并介绍澜舟团队基于孟子轻量化模型支持金融场景并通过SaaS输出各项标准 NLP 能力的技术进展。

大模型技术背景

我先谈谈大模型的一些背景。此前十余年人工智能在感知智能方面进展迅速。而在2017年谷歌提出了Transformer，随后预训练模型BERT提出，随后以2019年阅读理解超过人类水准为代表，NLP能力在各项任务上大幅度提升。

1. 认知智能崛起

在今天的观察中，一个显著的趋势正在显现，那就是AI正在迅速地从感知智能迈向认知智能。AI的表现已经超越了仅仅能够听、说、视等感知能力，它现在可以进行深度思考、解答问题、做出总结，甚至具备了翻译、创作（如音乐、对联、诗歌、散文撰写以及撰写报告）等认知智能的功能。同时，AI也在逐步提升决策和推理的能力。这些认知智能的应用实例比比皆是，充分展示了认知智能在各个领域的广泛应用价值。

在图 1 右侧可以看到其广泛的应用。例如，达到了接近人类水准的机器翻译已经在手机和桌面普遍使用，聊天机器人几乎可以通过图灵测试，搜索引擎得益于阅读理解以及预训练模型，搜索相关度大幅度提升，自动客服系统已经普及，知识图谱在金融等领域得到快速应用，都在推动产业发展。

从大数据，到建立信息检索，到建立知识图谱实现知识推理，到发现趋势形成观点和洞见。认知智能在大数据支持下，推动企业的业务数智化，正在深刻影响产业的发展。可以说NLP和认知智能代表了人工智能的未来发展。

2. 大规模预训练模型的新范式

在认知智能崛起过程中，预训练成为了认知智能的核心技术。2017年推出的Transformer，催生了BERT、GPT、T5等预训练模型。这些模型基于自监督学习（也就是不需要人工标注），利用大规模文本，比如互联网的浩瀚的数据，学习一个语言模型。利用语言模型对输入句子的每一个词在当前上下文的句法、语义和搭配有一定程度的理解。在此基础上，针对每一个NLP任务，用有限的标注数据进行微调。

这种迁移学习技术推动了NLP发展，各项任务都上了一个大台阶。更为重要的是，产生的预训练+微调技术，可以一套技术解决不同语言NLP、不同的NLP任务，有效地提升开发效率。原先NLP不同任务要用不同的模型，需要不同的技能人员，而且语言之间也不能互通。现在用预训练加微调，可以一套机制应对多有语言的所有任务，这标志着NLP进入到工业化实施阶段。

当前在预训练模型领域较为关注的研究重点包括：

金融 NLP 场景

1. 场景与应用举例

NLP在金融领域具有广泛的应用,包括但不限于智能风控、智能投顾、智能投研和智能营销等方面。然而,即使在这些应用中,当前的技术水平仍然面临着诸多挑战。

金融行业主要包含银行、保险、券商、资管等三大类机构。每一类机构都有很多NLP的应用场景。这里我归纳如下（图 4）。

银行的NLP应用场景主要有，信贷辅助决策，公司债业务审核、智能客服、企业知识库建设等。每一个场景涉及到一系列的任务，比如信贷辅助决策，涉及到财务报告解析、公司舆情智能挖掘、信贷流水材料智能处理、公关行业景气度分析、风险事件传导分析。这些任务的背后涉及到一系列NLP技术，诸如信息抽取、OCR、表格解析、分类、情感、事件抽取和打标签、领域和专家知识等等。

保险的NLP应用场景主要有，包括智能合同审核、智能付款材料审核、智能工单处理等等。同样也涉及到一系列任务和NLP技术。

券商和资管的NLP应用场景也是一样（如图 4 所示），此处不再赘述。

2. 传统NLP开发存在的问题和解决方案

过去这些场景下NLP任务的开发碎片化严重，泛化能力不足，基本上是一个任务一个模型。由于每一个任务都需要训练，需要的标注代价大。还有就是开发周期长：从谈判，到了解客户需求，到开发，然后迭代。期间用户需求经常变化。而且交付成本比较高，一般要求到用户现场交付，要教会用户，要设置相应的硬件环境和软件环境。还有维护困难，用户遇见各类事情，产生新的需求，都可能找你。

为了加速NLP在金融场景的开发效率，澜舟科技基于孟子轻量化模型技术，训练了一个金融大模型。用大模型+微调的新的开发范式，开发了信息抽取、信息检索、机器翻译、文本生成等多类技术，并通过SaaS提供标准化的全栈式金融场景NLP的能力。

同时，利用澜舟的预训练模型的零样本能力和模型定制平台，可以帮助客户自行快速建模以便快速验证业务流程，有助于快速获客和建立服务。

澜舟的技术通过同花顺、华夏、云从等合作，在金融真实场景下得到了广泛验证。

澜舟在金融NLP场景下的实践

1. NLP 技术全景

图示澜舟金融NLP技术的整体架构，该架构分为三个主要部分。首先，呈现出澜舟的孟子预训练模型技术，这一部分是澜舟金融NLP技术的核心。接下来，展示的是澜舟的基础NLP能力，这是构建在其预训练模型技术之上的重要支柱。最后，将聚焦于澜舟在金融NLP领域的实际应用场景，以充分展现其技术在金融行业的实际应用价值。

第一部分孟子预训练模型技术具备多种架构，比如BERT、GPT、T5等架构的预训练模型的能力。包括只是增强、零样本技术、模型压缩和蒸馏。然后针对金融需要，用金融预料继续训练得到金融领域的预训练模型。

在此基础上，第二部分NLP基础能力，包括文本分类、生成、实体识别、信息抽取、智能文档处理（从PDF、扫描等文件中抽取重要信息）、OCR、PDF解析、翻译、搜索、事件推理、问答、知识图谱、语音识别等等。

第三部分就是应用场景，覆盖舆情分析、公告信息抽取、研报观点汇总、企业信用评估、ESG分析、IPO招股书审核、量化因子、智能文档审计之类的场景。

我们期望采用一个经过孟子预训练的模型，并配合微调技术，全面覆盖各类NLP基础能力和应用场景的开发需求。此举将极大地减少开发过程中的碎片化现象，从而提升整体开发效率。

2. 产品全景

在NLP技术矩阵的基础上，我们开发了一系列的金融NLP产品。

API（SaaS）服务，提供基础NLP能力和可标准化的金融的NLP能力。目前已经公开测试了，大家可以在澜舟官网上试试（http://langboat.com ->产品服务）。

另外，我们也在开发金融零样本NLP平台，开放模型定制能力，应用零样本、少样本学习技术，降低NLP定制门槛，满足碎片化应用场景。未来几个月内将会发布出来。 我们跟金融企业密切合作，深入企业原有生态，方便接入RPA和无代码编程体系，实现低门槛、易上手、更快触达金融业务场景。

我们同样提供私有化定制化的部署方案，深度融入到企业的业务环境中，充分挖掘并利用企业自身的私域数据，无论是预训练还是微调任务，我们都进行全面而深入的优化，以确保最高的性能表现。我们采用孟子轻量化技术，以实现对企业训练和部署的高性价比。

澜舟市场搜索和研判平台为市场研究和投资决策提供信息搜索和分析研判提供帮助。在新闻、公告、研报、政策等频道，针对公司的基本信息、事件、行业、概念进行搜索，并在搜索结果上显示话题、情绪分析等研判信息。目前已经开始邀测，即将开启公测。

下面我们分模块，详细介绍澜舟的NLP技术与产品矩阵。

3. 孟子轻量化预训练模型

在2021年7月，澜舟的孟子轻量化预训练模型以十亿级规模荣获了CLUE榜单的冠军，这一成绩超越了许多大型公司。基于此，我们进一步研发了包括机器翻译、文本生成、搜索在内的多项技术。如今，我们已经开放了四个模型，其中包括金融模型。此外，我们还与同花顺、华夏基金等知名企业展开合作，不断推动技术创新，为行业发展做出了积极贡献。

我们也开发了孟子轻量化多模态模型。其中包含了图片生成描述任务：输入为图片，输出为对该图片的文字描述；文到图的生成任务：输入为自然语言，输出改文字描述对应的图像；文字到人脸的描述任务：输入为人脸相关的文本描述，输出为对应描述的图片。可以看到我们的多模态模型的效果还是很不错的。

孟子多任务模型（Mengzi-T5-base-mt），是在 Mengzi-T5-base 模型的基础上集成了多任务训练技术，涵盖了27个数据集，对应编写了301个 prompt。该模型已在 2022 年 8 月 22 日提交零样本学习权威榜单 ZeroCLUE 和小样本学习榜单FewCLUE，均排名第一。

孟子多任务模型在模型规模上优势明显，参数量仅 0.22B。目前该模型已开源，大家可以在 huggingface model hub 网页 api 直接试用模型及下载，或者在 Github 上查看我们澜舟的开源的 SDK project。其中，Zero-Shot SDK 目前已支持八项任务（涵盖了情感分类、新闻分类、文本相似度、实体抽取、金融实体关系抽取、评论对象抽取、广告文案生成、医疗领域意图识别等），具体信息详见这篇文章。

在孟子多任务模型中，我们利用Prompt技术，让用户无需手动标注，便可以直接获取其Zero-Shot能力。这种方法的优点在于研发周期较短，相较于传统的finetune方式，数以天计的开发周期，零样本学习技术仅需三分钟，就能迅速完成任务。这样一来，用户可以更高效地利用时间和资源，从而提高整体的学习效率。

同时，效果相比于RoBERTa模型，我们现在零样本学习技术的准确率更好一些。并且我们基于用户私有数据及各领域任务（涉及金融、医疗等领域任务）训练，现已在大量的实际使用场景上验证孟子零样本学习技术的有效性。

举例，如下图所示，

输入：

为缓解市场的担忧，我国工商银行（简称工行）的两位外国股东——美国运通和安联集团，于昨晚发表声明称，短期内将不会出售工行H股。在这里，实体1代表工行，实体2则对应美国运通。

Prompt：“{input_string}”中的“{entity1}”和“{entity2}”是什么关系？

孟子的输出：被持股。

再举一个例子，如下图所示：

输入：导致泗水的砭石受到追捧，价格突然上涨。而泗水县文化市场综合执法局颜鲲表示，根据监控，…

Prompt：找出上述句子中的实体和他们对应的类别。

孟子的输出：泗水：地址；泗水县文化市场综合执法局：政府；颜鲲：姓名。

4. 金融翻译引擎（中、英、日）

下图是金融机器翻译实例。金融领域的翻译首先是术语比较多，需要单独处理，其次是句型非常严谨。我们通过努力，在中英金融机器翻译取得了目前最好的翻译水准。目前通过了中金公司招标，中金将使用我们的引擎翻译金融文献。

5. 营销文案生成引擎

澜舟的孟子预训练模型，在创作方面体现巨大潜力。这里展示了营销文案产品。根据用户关键词，生成一篇文章。

6. 企业社会责任（ESG）报告生成

企业社会责任报告（即 ESG 报告)，ESG报告格式固定，一般会有一个大纲，涉及到对多项内容的整理分析，人工编制较为繁琐，而我们开发的ESG报告生成算法可以根据公司的资料，经过抽取整合，自动生成ESG报告，再交由人工 review 确认，大大加快撰写速度。

7. 智能文档处理

基于孟子多模态预训练模型，我们开发了智能文档处理。可以从OCR中抽取重要的字段，比如金额、单位、公司名称等。

8. 澜舟市场搜索研判平台

这里重点介绍一下澜舟市场搜索研判平台，投资或者市场研究人员可以通过该产品，在新闻、公告、研报、政策等内容中进行针对公司的基本信息、事件、行业、概念等进行智能搜索，并且在搜索结果之上获得进一步的热门话题提取、情绪分析等分析研判增值服务。

上图是澜舟搜索研判平台背后的能力。底层是大模型，核心功能包括信息检索、分析研判、决策支持。目前搜集了新闻、公告、研报和政策四大类数据源，具备以下特点：

目前澜舟市场搜索研判平台支持将企业自有的多种格式（PPT、PDF、Word文档、邮件等）数据集成到澜舟市场搜索研判平台的数据池。与平台数据一起进行搜索和研判，也支持对接第三方数据供应商数据库和接口，最大化实现数据价值利用。

通过NLP技术可以构建知识图谱和产业链图谱。首先，通过结构化数据（数据库）、半结构化数据（网页）、非结构化数据（自然语言文本），经过信息抽取获得实体、实体之间关系和实体的属性。然后经过知识融合，把不同的知识图谱合并，再经过知识加工，最后人工校验等手段建立起行业或者企业的知识图谱。类似地，利用自然语言技术，可以获得一个企业，所在行业，上下游的企业，形成了一个产业链的知识图谱。

我们也可以建立事理的图谱。所谓事理图谱体现事件的关系，包括因果、时序、共现、共指关系。就是事件之间的关联关系，用于发现事件A出现之后，事件B出现的可能性有多大，从而提出决策建议。图23有一个例子，从这个新闻发现事件“过度营销”事件的主题，以及它跟另外一个事件“政策发布”，事件主体“教育行业”，有什么关联。

有了产业链和事件链，就可以进行一定程度的推理。我们正在建立一个新型的搜索引擎（见图24右侧），为用户提供更好的搜索体验。根据用户搜索关键词，找到新闻，研报，公告等，发现其中的事件——找到事件主体的产业链——找到相关事件——再形成产业链和事件链，最后用户上下滑动页面就能看到上下游的影响，了解事件之间的关联。

总结

目前，澜舟公司跟同花顺公司建立了深度合作。聚焦认知智能领域，共同突破和创新NLP技术，升级金融科技领域产品和服务，提升业务价值，为客户带来更好的用户体验。目前利用孟子轻量化模型及其上的技术，服务于同花顺的多项业务，合作取得了顺利进展。

2022 年 6 月，澜舟也和华夏基金共同成立了金融NLP的联合实验室。面对金融领域文本专业性强、应用场景多变的情况下，如何构建落地快、易迭代、可适配金融垂直领域的中文NLP模型着这一系列问题，我们和华夏基金密切合作。以联合实验室的形式，针对金融业务痛点和需求逐一突破，促进人工智能创新，创造新的价值。

官网：http://langboat.com

公众号：澜舟科技