AI金融助手

毫无疑问，ChatGPT和GPT-4的一炮走红对各行各业都带来了巨大的变革影响，目前以ChatGPT为代表的生成式人工智能大模型（LLMs） 正向各个专业领域进发。最近，金融巨头彭博Bloomberg正式发布了金融领域第一个大语言模型BloombergGPT，彭博研究人员以一篇长达65页的技术报告为行业展示了人工智能大模型在金融专业领域的无穷潜力。BloombergGPT是一个拥有500亿参数的LLM，其在海量的金融数据语料库上进行了训练。 论文地址：https://arxiv.org/abs/2303.17564 毫无疑问，ChatGPT和GPT-4的一炮走红对各行各业都带来了巨大的变革影响，目前以ChatGPT为代表的生成式人工智能大模型（LLMs） 正向各个专业领域进发。最近，金融巨头彭博Bloomberg正式发布了金融领域第一个大语言模型BloombergGPT，彭博研究人员以一篇长达65页的技术报告为行业展示了人工智能大模型在金融专业领域的无穷潜力。BloombergGPT是一个拥有500亿参数的LLM，其在海量的金融数据语料库上进行了训练。BloombergGPT可以轻松实现金融新闻标题生成，可以帮助金融记者快速对新闻报道进行总结和摘要。 此外，BloombergGPT还可以充当你的个人金融助理，例如你可以直接询问它硅谷银行的CEO是谁，BloombergGPT的回答是Greg Becker，而其他非金融专业大模型的回答则有些不准确。 此外，作者团队强调，随着BloombergGPT一起发布的还有至今为止规模最大的金融数据集FinPile，该数据集由包含3630亿个token的金融领域数据集以及3450亿个token的通用数据构成。BloombergGPT模型在64个亚马逊云（AWS）的p4d.24xlarge实例上训练了53天，其中每个实例包含了8块显存为40GB的英伟达A100 GPU（总共GPU数量为512块）。作者团队对BloombergGPT的进行了非常全面的性能评估，评估分为两部分：通用领域评估和金融领域评估。在通用任务中，BloombergGPT相比OPT、GPT-3等其他LLMs有更好的综合性能。在金融领域任务上的评估表明，使用BloombergGPT可以有效提高金融领域人员的工作效率。但是BloombergGPT的模型并不会公开，作者团队声明是出于安全性的考虑，但是会分享模型训练和评估过程中的细节和相关经验。 一、BloombergGPT的数据集 ChatGPT的成功向我们表明，LLMs会在训练数据量突破一个临界规模后出现惊人的”涌现能力“。因此BloombergGPT的研发团队将收集数据作为”大模型炼丹“的第一步。为了训练参数量非常庞大的BloombergGPT，研究团队构建了一个名为”FinPile“的综合数据集，其由一系列新闻、档案、金融文件和从彭博数据库中提取到的英文财经文档构成（这些数据是通过彭博过去二十年的业务流程获得的，不得不说，某种意义上，数据就是财富）。FinPile可以进一步划分为金融领域数据和通用领域数据。 1.1 金融领域数据 金融领域数据共包含了3630亿个token，占总数据集token量的54.2%，这部分数据由金融领域相关网页、彭博官方财报、金融领域新闻源和金融领域相关书籍等不同形式构成。由于FinPile中的一部分数据是私人文件和隐私数据，所以FinPile不会被公开。 1.2 通用领域数据 通用领域数据集有3450亿个token，占总数据集token量的48.73%，这部分数据由Pile数据集[1]、C4数据集[2]和维基百科数据集构成。其中Pile数据集是GPT-Neo模型的训练集，GPT-Neo模型的参数量为20B，Pile是一个领域非常丰富的数据集，作者认为将Pile包含在BloombergGPT的训练集中，会为模型带来更强的泛化能力。C4数据集是T5模型[2]的训练集，T5模型是谷歌在2020年发布的大规模多任务预训练模型。此外，为了增加BloombergGPT的专业能力，作者也在FinPile中增加了一部分维基百科数据，这部分数据更新至2022年7月1日。 二、模型训练 BloombergGPT的模型架构是基于BLOOM[3]的自回归Transformer解码器网络，其中解码器层数为70层，模型形式化定义为： ‍ 其中SA 是我们较为熟悉的多头自注意力模块，LN是层归一化，FFN 是具有1个隐藏层的前馈网络。与原始Transformer解码器结构不同的是，BloombergGPT在token编码之后加入了一个额外的层归一化操作： 其中是初始的token编码，是新加入的层归一化操作。 作者首先根据大模型训练缩放法则（Chinchilla scaling laws） 计算出，如果要训练参数量为500亿的BloombergGPT，则参与训练的token数据量需要达到恐怖的11000亿。研究团队没有进一步扩充数据集，因此最终模型的参数量定为500亿。下图展示了先前已有大模型经过缩放法则得到的参数量与数据量的关系，并与BloombergGPT进行了对比。 三、模型评估对BloombergGPT的评估被分成了两部分：金融特定任务和通用任务。对于前者，研究团队对现有公开可用的金融测试数据集进行了重新组织，其中包括一系列NLP任务。此外为了直接测试BloombergGPT在彭博公司比较关注的业务上的能力，研究团队从彭博内部的高质量评估集中构建了一个用于评估金融领域情感分析和命名实体识别任务的测试集。对于通用任务，作者从现有多个NLP基准中收集了包括知识评估、阅读理解等任务在内的测试集，每种类型的任务分布如下表所示。 3.1 通用任务评估 作者选取的与BloombergGPT进行性能对比的其他大模型包括GPT-NeoX、OPT、BLOOM、GPT-3，这些模型训练阶段使用的token数量、模型参数总量、计算量的对比如下表所示。 作者重点对BloombergGPT的bits per byte（BPB）指标进行了评估，BPB是评估大语言模型的一种常见指标，其取值越小，代表模型效果越好，下图展示了BloombergGPT与其他模型的BPB指标的对比效果。 可以看出，BloombergGPT在金融测试集上的BPB均好于其他大模型，尤其是在财报（Filings）这个类别上的性能遥遥领先，这也其实达到了彭博开发BloombergGPT的最初目的。 3.2 金融领域任务评估 在金融特定数据上，作者重点考察了BloombergGPT在以下5个任务上的性能： 1.FPB，包括对金融新闻语句的情感分类任务。 2.FiQA SA，该任务同样是一个情感分析任务，它是专门预测英文财经新闻和微博标题中的特定情感。 3.Headline，这是一个二分类任务，主要判断黄金商品领域的新闻标题是否包含用户所关注的信息。 4.NER，这是一项命名实体识别任务，主要针对从向美国证券交易委员会提交的财务协议中收集的用于信用风险评估的财务数据。 5.ConvFinQA，这是一个推理问答任务，给定500份收益报告文件，其中每份报告包括文本和至少一张包含财务数据的表格，任务是回答需要进行数字推理的金融对话问题。 下表展示了BloombergGPT在上述5个任务中的性能表现，可以看到BloombergGPT在其中的四个任务上都达到了SOTA性能。 四、总结本文提出了一种金融专业领域的人工智能大模型BloombergGPT，研发团队总结道，对BloombergGPT训练效果影响最重要的三个因素分别是：（1）精心构建的内部数据集（2）分词器（tokenizer）的独特设计（3）最新的Transformer大模型架构。BloombergGPT开发团队以一种混合特定领域和通用数据的训练模式得到了一个能够在多个领域都达到良好性能的大模型,这也为其他专业领域的公司提供了一种训练范式，感觉有条件的公司都可以来直接抄作业了。 参考文献 [1] Leo...

量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者，曾荣获AMMA优秀品牌力、优秀洞察力大奖，连续4年被腾讯云+社区评选为“年度最佳作者”。 作者：Boyu Zhang、 Hongyang (Bruce) Yang、Tianyu Zhou、Ali Babar、Xiao-Yang Liu 来自：Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models 在之前的推文中我们分享了GPT模型与传统文本分析模型之间表现的对比，本文我们来看下如何系统全面的使用GPT进行金融情绪分析。金融情绪分析是提取、量化和研究金融文本、新闻文章和社交媒体内容中的情感状态和主观信息的重要工具。它的重要性在于它有可能预测市场走势，并为投资者的行为提供有价值的见解。鉴于市场反应经常受到新闻情绪的影响，这些情绪可能是积极的、消极的，也可能是中性的，金融情绪分析在帮助交易员和金融机构做出明智决策方面发挥着关键作用。它通过对市场情流的理解，帮助管理风险和识别潜在的投资机会。近年来，许多研究转向使用自然语言处理模型来提高金融情绪分析的准确性和效率。传统的NLP模型受模型参数和训练语料库规模的限制，往往缺乏全面理解复杂金融新闻的能力，从而限制了金融情绪分析的有效性。这些限制有时会导致金融情绪分析任务的结果欠佳。相比之下，大型语言模型（LLM）的出现引领了NLP领域的新时代。这些模型在庞大而多样的语料库上接受过预先训练，在各种NLP任务中的表现逐渐优于许多其他模型，因为它们能够从广泛的训练中进行概括，甚至从以前看不见的财务数据中获得有意义的见解。然而，直接将LLM应用于金融情绪分析存在两个显著的挑战：首先，LLM预训练中使用的目标函数与预测金融情绪的目标之间的差异可能导致LLM无法像预期的那样一致地输出用于金融情绪分析的标签。其次，金融情绪分析的典型主体，如新闻快讯和推文，其特点是简洁，往往缺乏足够的背景信息。信息的稀缺性不仅干扰了人类专家的判断，也对LLM的判断提出了重大挑战。为了应对上述挑战，在我们的研究中，我们提出了一个检索增强的大型语言模型金融情绪分析框架。该框架由两个关键组件组成：指令微调LLM，它使用一组有限的指令遵循示例来改进LLM，这些示例专门用于金融情绪分析，使LLM的预测与用户意图保持一致，并显着提高其预测准确性。检索增强组件，它为新闻简报或推文中的简短陈述引入了额外的上下文。它使用搜索引擎和经过验证的财务来源从外部来源收集相关背景信息。然后将这个丰富的上下文传递给指令调优的LLM进行预测，从而产生更准确和细致的结果。通过测试以上方法在准确性和F1分数方面的性能提高了15%至48%，明显优于传统的情感分析模型和著名的通用LLM。 框架概览 如下图所示，由指令调优LLM和RAG模块两个模块组成。在第一个模块中，我们应用指令调优来微调开源预训练的LLM，如LLaMA和ChatGLM，使其在提供金融新闻或推文时的行为与预测金融情绪标签保持一致。这个过程包括构建一个特定于金融情绪分析任务的指令遵循数据集，并使用它来微调预训练的LLM。RAG模块在框架中起着至关重要的作用，它从与输入查询相关的外部源检索相关的背景信息。这些外部来源包括彭博和路透等经过验证的新闻平台，高盛和花旗等机构的研究出版物，以及Twitter和Reddit等社交媒体平台。我们采用多源查询和基于相似性的检索方法从这些信息中定位最相关的信息来源。随后，将检索到的上下文与原始查询结合起来构造最终查询。然后调用指令调优的LLM来基于这个增强查询生成情感预测。这样，将缺失的背景知识提供给LLM，使其能够做出更准确的预测。指令调优LLM指令调优被证明是一种非常有效的方法，可以使LLM的行为与用户指令保持一致。在金融情绪分析领域应用指令调整通常有三个步骤。1、首先，我们构建了一个指令跟随数据集，由成对的指令和它们相应的情绪标签组成。该数据集是指导LLM有效理解用户指令的基础。格式化金融情绪指令跟踪数据集：通过手动标记创建金融情绪指令跟踪数据集需要专业金融专业人员的专业知识，这可能是昂贵的。另一种方法是以较低的成本将现有的有监督的金融情绪分析数据集转换为指令遵循数据集。这些数据集通常被格式化为文本分类任务，其中输入是金融新闻或标题，输出是表示积极、消极和中性情绪的整型标签。接下来，我们创建了10条描述金融情绪分析任务的人工编写指令，并将随机选择的一条指令与输入和输出结合起来，以“人类:[指令]+[输入]，助手:[输出]”的格式，从原始数据集中制定每个样本。该过程如下图所示。2、接下来，涉及对构建的数据集上的LLM进行微调。通过这个微调过程，模型学会在提供预测情绪标签的指令时准确地产生预期的反应。3、最后一步是将LLM生成的输出映射回预定义的情感类。这一步进一步将预测与预定义的情感类对齐，并允许模型的性能是可测量的。由于指令微调LLM是一个自回归生成模型，即使我们使用一个遵循指令的数据集，用于引导其输出理想的情绪标签，它还是有可能的生成自由风格的文本。因此，我们需要映射模型的输出返回到指定的三种情绪。为了正确的评估。我们的做法是这样的: 如果模型的输出包含“正”、“负”或“中性”，我们把它映射到对应的标签;否则,我们把它看作是一种“中性”情绪。RAG模块RAG是一种将外部知识注入法学模型以提高响应生成准确性的有效方法。RAG模块的实现涉及几个步骤。1、首先，我们建立外部知识来源，这些外部知识来源极有可能包含相关的金融背景信息。当基于查询检索相关的金融上下文时，我们的目标是访问真实的、相关的、有洞察力的和全面的数据，而不是随机的互联网搜索。为了实现这一目标，我们首先确定以下信息来源:新闻来源：媒体如彭博社、雅虎财经、路透社、CNBC和Market Screener提供的信息本质上是一致的，对金融解释至关重要。这些来源往往对其作者和记者有严格的内部指导方针，以确保可靠和经过验证的内容。此外，由于它们的业务性质，这些媒体经常对各种金融新闻提供最早的报道。研究出版平台：集中式和众包式的研究出版平台提供了丰富的金融见解。知名机构如高盛和花旗分别为其机构客户提供独家研究服务Marquee和Velocity。鉴于它们的直接适用性，这些研究提供了大量高度一致的、系统的和经过验证的见解。出版商平台：如Seeking Alpha，是独立贡献者提供各种见解的资源库。它们涵盖了广泛的金融信息，包括大量的价格走势分析、收益电话和会议记录，以及与各种规模的公司有关的投资研究。所有这些源都提供了检索api，使我们能够访问和检索信息。2、接下来，我们执行一个两步知识检索过程，包括多源知识查询和基于相似度的检索。这些步骤使我们能够收集与输入查询相关的上下文。两步知识检索：我们通过两步过程检索给定查询的上下文财务信息。多源知识查询：财经新闻标题或推文通常很短，通常包括不相关的内容，如股票行情。为了解决这个问题，我们的第一步涉及到使用正则表达式预处理文本并删除不相关的代码或符号。随后，我们利用各种知识来源的检索api来提取相关信息。如果新闻项包含时间信息，我们在特定的时间范围内执行搜索。搜索返回来自已识别的财务来源的相关上下文片段的列表。对于每个上下文片段，我们收集原始标题、编辑要点、文章主体段落、帖子和转发作为完整的上下文。这种查询策略使我们能够捕获与金融新闻相关的广泛信息。基于相似度的检索：即使在初始检索之后，获得的内容仍然可能包含相当数量的不相关信息，这可能会影响情绪预测的准确性。为了解决这个问题，我们提出了一种基于相似度的高级检索算法。该算法旨在从第一步获得的结果中进一步过滤和提取最相关的内容。具体来说，我们使用改进的重叠系数作为相似性度量来检索和经验选择与输入查询相似度高于0.8的上下文。3、最后，我们将原始输入查询与检索的上下文结合起来，为指令调优的LLM创建输入数据，LLM生成最终结果。 测试 我们的训练数据是Twitter财经新闻数据集和FiQA数据集中的10501个样本。基准模型有BloombergGPT，ChatGPT，LLaMA-7B， ChatGLM2-6B和 FinBERT。我们微调的模型是基于LLaMA-7B。测试数据集有FPB和Twitter财经新闻数据集。首先对比了指令调优LLM与基准的表现，如下表所示，指令调优的LLaMA7B模型的性能优于其他模型，达到了最高水平准确性和F1分数。从这些结果表明，指令调优方法明显可行显著提高了模型的财务性能情绪分析。 下表展示了加入RAG模块后模型效果的提升。首先，我们的指令调优LLaMA-7B模型（没有上下文）始终超过FinBERT和LLaMA-7B的准确性和F1分数。其次，在我们的模型中引入RAG后准确度从0.86提高到0.88，并且有了改进F1得分为0.811 ~ 0.842。这证明了上下文的包含增强了LLM的能力理解提示，从而提高性能。

这篇文章探讨了荷花按每日翻倍数量增长的问题。若需要30天来覆盖整个池塘，那么理论上半池塘在第15天时就已经翻倍，因此只需要再用15天就可以开满半个池塘。

GPT引发的人工智能浪潮对全球多行业产生影响，尤其是白领和游戏行业的画师设计师面临严重裁员。报告预测美国3亿人可能因AI工作受影响，金融领域暴露率最高，成为下一个被大规模替代的行业。科技巨头们积极布局，IBM和Meta等企业已采取措施应对这一趋势。ChatGPT和Midjourney的成功引发了对其他垂直领域的冲击，如2b金融服务和文化创意产业。这场“思维革命”将AI推向全球80亿人的智脑角色，尽管面临挑战，但也带来了生产力的大幅提升和行业重构的机会。

BloombergGPT是彭博社和约翰霍普金斯大学合作开发的针对金融领域的大型语言模型，经过评估，它在金融任务上表现出色，超越现有通用LLM，且不牺牲其通用性能。通过利用彭博四十多年积累的大量金融数据，BloombergGPT通过混合训练实现了500亿参数的大规模生成，旨在全方位支持金融领域的NLP任务，尤其在情绪分析和命名实体识别等金融特定任务上表现优异。

前言‍‍‍‍‍‍‍‍ 周末去听了一场由上海资产管理协会主办的与GPT大语言模型有关的论坛，有10位嘉宾发表了主旨演讲，加上2场圆桌会议，无茶歇不间断持续了近6个小时，无论从举办会议的及时性还是规模都可见金融行业对新技术的跟踪是多么紧密。 嘉宾覆盖了与这一领域有关的学界、产业界（包括提供服务的厂商和接受服务的资管行业公司），可以说打通了这一技术落地的链条——从学界的理论研究到业界乙方的转化，再到业界甲方的使用。这一下午我收获颇丰，以我有限的认知，看到的各种报道和分析大部分或是基于GPT本身、或是To C，精确而具体地聊To B的不多。 我在总结成文这篇文章的时候，不禁感叹这场论坛的信息量之大，所以我自发地将该活动的回顾推文放在文末的阅读原文里。 为了行文的精简，下文所提到的GPT（Generative Pre-trained Transformer，生成式预训练模型）、LLM（Large Language Model，大语言模型）、大模型这些词都是指大语言模型这项技术，以及这项底层技术带来的AIGC（AI Generated Content，人工智能生成内容）能力，这些概念之间的辨析对本文并不重要。 1 应用场景 1. 资产管理 标的信披材料（募集说明书、定期公告等）的解析，解析出关键要素，以及发现要素之间的关联关系。 研报的自动生成，研报的抽取和脱水。 量化投资里因子自动生成、挖掘。对于结构化数据产生的因子，量化领域可能已经挖得差不多了，在非结构化数据领域，LLM的多模态能力和生成代码的能力，也许可以自动将非结构化数据转化为因子的编程代码。 2. 客户服务 正如GPT最出名的产品ChatGPT是聊天机器人，客服领域是这个技术最显而易见的应用。无论是面对客户的智能客服，还是资管领域的智能投顾服务。 3. 营销 营销文案的自动生成，例如招行信用卡已经借助ChatGPT生成了一篇营销公众号。 数字人，这些虚拟形象会更像一个真正的人。 4. 运营 合同、保函、募集说明书等各种文本的审核、查错，抽取其中条款，与法条进行对比。 智能质检、合规拦截，例如检查与客户的对话中是否有违规的内容。 自然语言下的自动化。金融业一个特点是很多业务需要专业人员操作专业系统来完成，在LLM的能力下，非专业人员使用自然语言通过AI转化为专业系统的操作指令，再通过RPA（机器人流程自动化，见此系列文章）实现操作将成为可能。 多模态的能力也可能打通各种非结构化的材料，使完全的线上化和数字化成为可能。 5. 风控 舆情分析，因为LLM的文本解析能力，对新闻资讯的分析也会更深入，能更好的发现信息。 风控报告，提取企业基本信息和资讯信息里的要素，借助知识图谱发现关联关系，然后自动生成报告。 6. 研发 自动写代码，ChatGPT的一个重头戏就在于此。代码能自动写了，围绕着开发的一些事情也能自动完成了。 7. 办公 机器翻译，事实已经表明GPT带来的翻译能力是任何一个翻译工具都无法媲美的。 会议纪要转化，视频会议的内容转成文字同时提炼出重点。 辅助形成企业知识库，因为企业里有大量沉睡且散落于各处的资料，不但不知道放在某个阴暗角落，也不知道里面的有些内容是什么意思，在全量获取公司的资料后借助LLM的处理能力，可以对这些内容产生理解。 搜索问答，不仅是对公用信息的问答，还可以是对企业自身知识库的问答。 2 面对的挑战 不同于To C，To B通常更务实，会思考落地的挑战是什么。嘉宾们提出了一些挑战，可谓是有切肤之痛，很好地起到了打破幻想的作用。 1. 关于SaaS、数据安全、隐私保护...

这篇3月29日在厦门举办的论坛聚焦于人工智能与金融数字化转型，探讨了人工智能在数字金融中的应用场景，以及通过认知大模型提升金融生产力的前景。科大讯飞金融科技BU总经理姚佶超分享了金融机构对大模型的三大需求（降本增效、服务升级和业务创新）及其在数字金融中的应用潜力，并强调实现自主可控发展需关注数据、算力、算法和应用这四大要素。论坛提供了一个交流与洞见金融数智化人才培养的平台，但提醒投资者须谨慎决策，市场有风险。

度小满轩辕作为金融行业的领先AI模型，通过大数据和人工智能技术，深化服务模式变革，提升风险管理效能，并推动个性化产品创新。其成功源于度小满金融团队的技术积累和实战经验，未来将继续为行业注入活力，促进金融科技与金融服务的融合。在享受科技便利的同时，我们也应关注数据安全和隐私保护，以理性应对市场变化。

金海晏阔系列研讨会第九期在青岛成功召开，主题聚焦于AI与GPT技术的创新应用。活动汇聚了多家机构代表，共同探讨AI如何融入企业治理、量化投资及文化遗产保护等多领域。Openview集团旗下的PanguAI平台因其在AI解决方案上的突出表现，吸引了金融机构代表的兴趣，展现了技术对未来金融行业的深远影响。研讨会加强了各方沟通与合作，预示着青岛乃至整个地区迈向AI赋能传统金融的新格局。

上海交通大学SAIF与IDEA联合研发出“金融知识大模型”，在金融试题解析、分析计算和事件分析等领域表现出强大的垂类性能，测试结果超越GPT4等模型，尤其在CPA和CFA考试中取得优异成绩。该模型通过思维图谱推理技术，将知识检索、问答等过程转化为白盒化，提供解析和答疑服务，改变了金融教育的传统方式，并开发了工具接口以抽取和吸收金融信息。模型基于大量高质量金融文本进行预训练和微调，确保输出内容的可靠性和可控性。