前言
周末去听了一场由上海资产管理协会主办的与GPT大语言模型有关的论坛，有10位嘉宾发表了主旨演讲，加上2场圆桌会议，无茶歇不间断持续了近6个小时，无论从举办会议的及时性还是规模都可见金融行业对新技术的跟踪是多么紧密。
嘉宾覆盖了与这一领域有关的学界、产业界（包括提供服务的厂商和接受服务的资管行业公司），可以说打通了这一技术落地的链条——从学界的理论研究到业界乙方的转化，再到业界甲方的使用。这一下午我收获颇丰，以我有限的认知，看到的各种报道和分析大部分或是基于GPT本身、或是To C，精确而具体地聊To B的不多。
我在总结成文这篇文章的时候，不禁感叹这场论坛的信息量之大，所以我自发地将该活动的回顾推文放在文末的阅读原文里。
为了行文的精简，下文所提到的GPT（Generative Pre-trained Transformer，生成式预训练模型）、LLM（Large Language Model，大语言模型）、大模型这些词都是指大语言模型这项技术，以及这项底层技术带来的AIGC（AI Generated Content，人工智能生成内容）能力，这些概念之间的辨析对本文并不重要。
1 应用场景
1. 资产管理
标的信披材料（募集说明书、定期公告等）的解析，解析出关键要素，以及发现要素之间的关联关系。
研报的自动生成，研报的抽取和脱水。
量化投资里因子自动生成、挖掘。对于结构化数据产生的因子，量化领域可能已经挖得差不多了，在非结构化数据领域，LLM的多模态能力和生成代码的能力，也许可以自动将非结构化数据转化为因子的编程代码。
2. 客户服务
正如GPT最出名的产品ChatGPT是聊天机器人，客服领域是这个技术最显而易见的应用。无论是面对客户的智能客服，还是资管领域的智能投顾服务。
3. 营销
营销文案的自动生成，例如招行信用卡已经借助ChatGPT生成了一篇营销公众号。
数字人，这些虚拟形象会更像一个真正的人。
4. 运营
合同、保函、募集说明书等各种文本的审核、查错，抽取其中条款，与法条进行对比。
智能质检、合规拦截，例如检查与客户的对话中是否有违规的内容。
自然语言下的自动化。金融业一个特点是很多业务需要专业人员操作专业系统来完成，在LLM的能力下，非专业人员使用自然语言通过AI转化为专业系统的操作指令，再通过RPA（机器人流程自动化，见此系列文章）实现操作将成为可能。
多模态的能力也可能打通各种非结构化的材料，使完全的线上化和数字化成为可能。
5. 风控
舆情分析，因为LLM的文本解析能力，对新闻资讯的分析也会更深入，能更好的发现信息。
风控报告，提取企业基本信息和资讯信息里的要素，借助知识图谱发现关联关系，然后自动生成报告。
6. 研发
自动写代码，ChatGPT的一个重头戏就在于此。代码能自动写了，围绕着开发的一些事情也能自动完成了。
7. 办公
机器翻译，事实已经表明GPT带来的翻译能力是任何一个翻译工具都无法媲美的。
会议纪要转化，视频会议的内容转成文字同时提炼出重点。
辅助形成企业知识库，因为企业里有大量沉睡且散落于各处的资料，不但不知道放在某个阴暗角落，也不知道里面的有些内容是什么意思，在全量获取公司的资料后借助LLM的处理能力，可以对这些内容产生理解。
搜索问答，不仅是对公用信息的问答，还可以是对企业自身知识库的问答。
2 面对的挑战
不同于To C，To B通常更务实，会思考落地的挑战是什么。嘉宾们提出了一些挑战，可谓是有切肤之痛，很好地起到了打破幻想的作用。
1. 关于SaaS、数据安全、隐私保护
这个挑战实在是太经典了。在ChatGPT刚刷屏的时候，我有个前同事发了个朋友圈，大意是“中国企业连SaaS都不接受，就开始思考它的应用”。
就说金融行业，对公网和内网的交互、数据安全有着非常严格的要求，所以以往的AI应用都是采用本地化部署的方式，即把AI模型部署于企业的内网环境，这是与To C的AI应用最大的不同。但是在LLM时代，这一点成为不可能。一位嘉宾提供了估算，如果是1500亿参数的LLM（差不多是ChatGPT的规模），1路并发（同时回答一个人的问题）就需要一张A800的显卡（售价将近8.5万人民币）。
如果想接入使用，必须是API方式，意味着你与其交互的信息一定会进入对方的服务器，那么如何保证你的私有数据的安全，尤其是对于企业来说，商业机密将成为很大的顾虑。那么在其中，隐私计算、联邦学习技术如何发挥作用？
根据新闻报道，大摩已经接入GPT-4，用于财富顾问时的客户服务和投研内容搜索，而且国外的SaaS发展比国内好得多。这是为什么？对各自企业生产效率有没有深远影响？不过这就是另一个值得深思的话题了。
2. 关于解耦、小模型
这个挑战紧跟着上面一个，正是因为LLM存在无法本地化部署的问题，自然大家又会寻求小模型。其实这个思路跟过去没有区别，针对垂直领域（例如金融行业）做出一个行业级的AI模型或者应用，然后安全地部署于企业内部，使用成本也不会很高。
在这个目标下，有没有办法从LLM中解耦（就是分解的意思）出只针对垂直领域的模型？
3. 关于可信度
大量的评测表明，GPT有胡说八道、无中生有、产生幻觉的情况，但这只是可信度的一个方面。
它还有一个问题是未必能保证反馈的一致性或者鲁棒性，这则是由语言模型的根本原理决定的，目前LLM的技术路线是概率模型，本质上是根据转移概率的分布生成语言，所以就会导致它的反馈可能是回答A也可能是回答B，因为二者的概率是一样的。
结果不可控，导致这项技术没法真正在金融行业商用，几位不同背景的嘉宾都提到了这一点。
4. 关于合规问题
LLM生成的回复的版权归属，尚无明确的法律定义。LLM生成的错误信息在传播时存在法律风险。模型训练时使用的数据来自全社会的公共资源，需要怎样的授权规则，没有明确的规定。
5. 能力输出还是业务接入
这也是前述那位学界嘉宾提出来的，他没有明确解释什么叫能力输出什么叫业务接入。我认为，能力输出是指使用方单纯地使用它比如调用它的API，或者只利用它技术上的处理能力——我不关心它最终的回复，而是关心它处理输入文本后在技术上的东西，用NLP的术语比如句法、主体、上下文关系等；业务接入是指你把你整个业务都架设于它之上，你业务的输入和输出都经过它。
显然企业出于商业个性化、安全等的考虑都会选择能力输出，但是嘉宾认为因为模型有非可靠性，这条路走不通。
6. 中文LLM是否有必要，面临的挑战
有位嘉宾说的非常好，中文LLM是有必要的。虽然GPT已经具备了多语种的能力，但中文世界的很多知识是英文世界根本没有的，例如法律、金融、教育、文学等等具有文化特异性的知识。
同时挑战是非常巨大的，在于网上也在热烈讨论的语料的问题。在世界前一百万名网站中，使用中文作为网站主要语言的只有1.3%，中文也没有开源的结构化的百科库、图书库等内容，所以互联网上的中文内容可以用“贫瘠”来形容，此外还有不方便细说但我们都懂的问题。
3 其他有价值观点
1. 与知识图谱（KG，Knowledge Graph）的关系
有一位专注于KG的嘉宾分享了他的观点，KG与LLM可以进行相互的知识增强，之后一些嘉宾也表示了赞同。他们认为KG或者知识库应该作为一个外挂加载于通用的LLM，因为LLM在垂直领域的知识是不足或不准确的，从而带来推理的不准确，而KG的帮助下则有助于克服这一弱点。
2. 如何搞砸LLM
这个其实是反话，嘉宾讲的太好了，我直接转述。
如何搞砸通用的LLM：
试图在完全不同的数据背景、监管背景下复制
追求既要技术领先，又要商业快速成功
忽视“大规模”本身的巨大工程细节挑战
不做数据溯源
不约束“一本正经胡说八道”
盲目相信算法暴力，不做运行优化，把所有计算都堆给GPU
如何搞砸LLM在垂直领域的落地：
不针对领域语料做语料工程，不建设有针对性的训练数据集
认为所有工作都能通过语言模型完成
不利用现有的外部能力
不去做领域提示（Prompt）工程
不做数据可解释性的提升
3. Prompt、研究报告撰写革命
稍微多了解一下GPT的朋友应该知道，Prompt（提示语句）是使用它时候很重要的一环，甚至国内外已经把“提示工程师”预测成一个会新出现的职业了。
有位嘉宾说了一句话对我很有启发，“Prompt的过程是一个设计架构的问题，因此在研究报告的生成上已经出现了革命”。
确实，一篇报告的写法是像分形学一样不断地做出总分结构，A论点用B、C来展开，B又可以用D、E来展开，这样的结构形成之后剩的就是不断用事实和论证过程来填充。而总分结构就是Prompt，中间的填充就可以交给GPT。
革命在于优秀的研究者只需要设计出文章结构就可以了，写文章从此就像做IT一样。程序员的最高境界是架构师，研究者的最高境界也是架构师。
4. 社会治理问题
LLM会替代什么工作，不仅是网上热议的话题，也是它的治理方面研究的问题。嘉宾在这个公众场合没有具体说被替代的工种，但提出了“主动替代和被动替代”的问题。中国制造业的机器替代人是被动替代，产业升级带来用工荒，所以用机器做了替代，没人反对，因为本来人也不愿干。但是企业应用LLM带来的替代可能是主动替代，会遭致社会的反对。
以GPT现在的能力，能替代的岗位主要是初级岗位，带来两个问题：
（1）原来初级岗位的人去干嘛？
（2）没有初级岗位的人了，高级岗位的持续性如何保证？
这个问题我之前有进一步的思考，这以后可能会导致脑力劳动岗位垄断的出现，初级岗位机会只有靠关系才能获取，所以有背景的人才能获得通往高级岗位的锻炼之路，而没背景的人永远也没法做脑力劳动的高级岗位。
4 我的思考
1. 场景无新意
很多嘉宾的PPT里都有应用场景的几页，毕竟是To B的演讲，不是务虚讨论。当我看到这些场景的时候，深感乏味，因为全是过去几年中被一遍一遍提出过的内容。但凡一位在金融数字化领域耕耘过几年的朋友，都会觉得无比熟悉。
到底是LLM的落地还是NLP（自然语言处理，Natural Language Processing）的落地？可能二者也没区别，LLM本来就是NLP的技术。在我看来，LLM带来的新变化是对用户自然语言更深刻的理解和多轮对话的能力。
是好事还是坏事？
好事在于，LLM让这些场景更具可实现性，生产力的革命更具备现实性；坏事在于，中国企业的想象力在这几年没有任何增长。相对比之下，2021年微软推出GitHub Copilot，2023年微软推出new Bing、Microsoft 365 Copilot。
2. 空中楼阁但期待技术变革
所有LLM场景的前提都得是建立在有一个LLM模型的基础上，有吗？每家公司都在说“基于LLM我们怎么怎么样”，难道这些公司每家都自己做一个LLM吗？因为他们是不可能使用其他家的SaaS大模型的，但是中国NLP领域第一名百度才推出来一个文心一言，怎么可能每家都做得出呢。
转机也不是没有，斯坦福的“羊驼”语言模型据称能在消费级硬件（笔记本、手机，甚至树莓派）上跑比ChatGPT强100倍的AI，而且这个模型是开源的，如果这条路能走通，那么国内企业里生产力的大爆发将成为现实，这比ChatGPT还令人激动。
3. 保持平常心
比尔盖茨曾经写过，我们往往会高估未来一两年内能够实现的变化，而低估未来五年或十年内可能发生的变化。我读书时导师教导过一句话“大道甚夷，而民好径”，意思是人们总是妄图走捷径。
在LLM这条路上，希望全社会能从OpenAI的8年发展史中吸取经验。
END
全文完，感谢您的耐心阅读，顺手三连，收藏、点赞、在看是对我莫大的鼓励哦～
