AI金融助手

来源：量化投资与机器学习 作者：Boyu Zhang、 Hongyang (Bruce) Yang、Tianyu Zhou、Ali Babar、Xiao-Yang Liu 来自：Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models 在之前的推文中我们分享了GPT模型与传统文本分析模型之间表现的对比，本文我们来看下如何系统全面的使用GPT进行金融情绪分析。 金融情绪分析是提取、量化和研究金融文本、新闻文章和社交媒体内容中的情感状态和主观信息的重要工具。它的重要性在于它有可能预测市场走势，并为投资者的行为提供有价值的见解。鉴于市场反应经常受到新闻情绪的影响，这些情绪可能是积极的、消极的，也可能是中性的，金融情绪分析在帮助交易员和金融机构做出明智决策方面发挥着关键作用。它通过对市场情流的理解，帮助管理风险和识别潜在的投资机会。 近年来，许多研究转向使用自然语言处理模型来提高金融情绪分析的准确性和效率。传统的NLP模型受模型参数和训练语料库规模的限制，往往缺乏全面理解复杂金融新闻的能力，从而限制了金融情绪分析的有效性。这些限制有时会导致金融情绪分析任务的结果欠佳。相比之下，大型语言模型（LLM）的出现引领了NLP领域的新时代。这些模型在庞大而多样的语料库上接受过预先训练，在各种NLP任务中的表现逐渐优于许多其他模型，因为它们能够从广泛的训练中进行概括，甚至从以前看不见的财务数据中获得有意义的见解。 然而，直接将LLM应用于金融情绪分析存在两个显著的挑战： 首先，LLM预训练中使用的目标函数与预测金融情绪的目标之间的差异可能导致LLM无法像预期的那样一致地输出用于金融情绪分析的标签。 其次，金融情绪分析的典型主体，如新闻快讯和推文，其特点是简洁，往往缺乏足够的背景信息。信息的稀缺性不仅干扰了人类专家的判断，也对LLM的判断提出了重大挑战。 为了应对上述挑战，在我们的研究中，我们提出了一个检索增强的大型语言模型金融情绪分析框架。该框架由两个关键组件组成： 指令微调LLM，它使用一组有限的指令遵循示例来改进LLM，这些示例专门用于金融情绪分析，使LLM的预测与用户意图保持一致，并显着提高其预测准确性。 检索增强组件，它为新闻简报或推文中的简短陈述引入了额外的上下文。它使用搜索引擎和经过验证的财务来源从外部来源收集相关背景信息。然后将这个丰富的上下文传递给指令调优的LLM进行预测，从而产生更准确和细致的结果。 通过测试以上方法在准确性和F1分数方面的性能提高了15%至48%，明显优于传统的情感分析模型和著名的通用LLM。 如下图所示，由指令调优LLM和RAG模块两个模块组成。在第一个模块中，我们应用指令调优来微调开源预训练的LLM，如LLaMA和ChatGLM，使其在提供金融新闻或推文时的行为与预测金融情绪标签保持一致。这个过程包括构建一个特定于金融情绪分析任务的指令遵循数据集，并使用它来微调预训练的LLM。 RAG模块在框架中起着至关重要的作用，它从与输入查询相关的外部源检索相关的背景信息。 这些外部来源包括彭博和路透等经过验证的新闻平台，高盛和花旗等机构的研究出版物，以及Twitter和Reddit等社交媒体平台。我们采用多源查询和基于相似性的检索方法从这些信息中定位最相关的信息来源。 随后，将检索到的上下文与原始查询结合起来构造最终查询。然后调用指令调优的LLM来基于这个增强查询生成情感预测。这样，将缺失的背景知识提供给LLM，使其能够做出更准确的预测。 指令调优被证明是一种非常有效的方法，可以使LLM的行为与用户指令保持一致。在金融情绪分析领域应用指令调整通常有三个步骤。 1、首先，我们构建了一个指令跟随数据集，由成对的指令和它们相应的情绪标签组成。该数据集是指导LLM有效理解用户指令的基础。格式化金融情绪指令跟踪数据集：通过手动标记创建金融情绪指令跟踪数据集需要专业金融专业人员的专业知识，这可能是昂贵的。另一种方法是以较低的成本将现有的有监督的金融情绪分析数据集转换为指令遵循数据集。这些数据集通常被格式化为文本分类任务，其中输入是金融新闻或标题，输出是表示积极、消极和中性情绪的整型标签。接下来，我们创建了10条描述金融情绪分析任务的人工编写指令，并将随机选择的一条指令与输入和输出结合起来，以“人类:[指令]+[输入]，助手:[输出]”的格式，从原始数据集中制定每个样本。该过程如下图所示。 2、接下来，涉及对构建的数据集上的LLM进行微调。通过这个微调过程，模型学会在提供预测情绪标签的指令时准确地产生预期的反应。 3、最后一步是将LLM生成的输出映射回预定义的情感类。这一步进一步将预测与预定义的情感类对齐，并允许模型的性能是可测量的。由于指令微调LLM是一个自回归生成模型，即使我们使用一个遵循指令的数据集，用于引导其输出理想的情绪标签，它还是有可能的生成自由风格的文本。因此，我们需要映射模型的输出返回到指定的三种情绪。为了正确的评估。我们的做法是这样的: 如果模型的输出包含“正”、“负”或“中性”，我们把它映射到对应的标签;否则,我们把它看作是一种“中性”情绪。 RAG是一种将外部知识注入法学模型以提高响应生成准确性的有效方法。RAG模块的实现涉及几个步骤。 1、首先，我们建立外部知识来源，这些外部知识来源极有可能包含相关的金融背景信息。 当基于查询检索相关的金融上下文时，我们的目标是访问真实的、相关的、有洞察力的和全面的数据，而不是随机的互联网搜索。为了实现这一目标，我们首先确定以下信息来源: 新闻来源：媒体如彭博社、雅虎财经、路透社、CNBC和Market Screener提供的信息本质上是一致的，对金融解释至关重要。这些来源往往对其作者和记者有严格的内部指导方针，以确保可靠和经过验证的内容。此外，由于它们的业务性质，这些媒体经常对各种金融新闻提供最早的报道。 研究出版平台：集中式和众包式的研究出版平台提供了丰富的金融见解。知名机构如高盛和花旗分别为其机构客户提供独家研究服务Marquee和Velocity。鉴于它们的直接适用性，这些研究提供了大量高度一致的、系统的和经过验证的见解。 出版商平台：如Seeking Alpha，是独立贡献者提供各种见解的资源库。它们涵盖了广泛的金融信息，包括大量的价格走势分析、收益电话和会议记录，以及与各种规模的公司有关的投资研究。所有这些源都提供了检索api，使我们能够访问和检索信息。...

上证报中国证券网讯 12月7日，金证股份在上海举办“金融领域特定场景大模型研讨会”。金证股份联合旗下子公司金证优智发布自主研发的金融领域特定场景大语言模型体系——金证金融大模型及工具集，标志金证股份推动AI在金融垂直领域落地应用实现新突破，将更好服务金融行业客户，赋能行业数字化转型。 金证股份董事长李结义在致辞中指出，近年来，以大语言模型为代表的人工智能技术突飞猛进，正推动全球人工智能领域新一轮的技术升级和产业重构，也为各行业带来前所未有的机遇与挑战，国内多家科技机构加大推进大模型建设，热情只增不减。作为其中代表的金融领域，在这一转型升级的风口中，更亟待以科技力量开启新的篇章，运用AI技术助力金融行业迈向智能化时代。 李结义表示，作为一家在行业深耕30年的金融科技公司，金证股份早在2018年便开始着手AI在金融应用领域的研究，并通过多个事业部、子公司和创新平台，对AI技术在金融领域实现落地应用。金证股份在此次数字技术浪潮下，也深入开展对大模型技术的研究。 今年，集结业内顶尖专家的金证股份AI团队自主完成金融领域特定场景大语言模型体系的研发，并推动AI在金融垂直领域的落地应用，面向营销、客服、投行、投研、风控等业务场景提供了创新的智能金融产品及解决方案。李结义表示，希望通过这次金融大模型及工具集的发布，以及金证股份在AI领域积累的经验，能够真正为金融行业创造价值，助力金融行业客户跃上一个新的台阶。 在2020年至2022年期间，金证股份在人工智能领域进行多方面努力，在智能风控和智能文档领域取得了突破。今年，金证股份联合金证优智自主研发的金融大模型K-GPT由金融认知智能技术、搜索技术和金融智能文档处理技术共同打造。其中，金融认知智能技术成功实现了从专业小型模型到专业大模型的转变，搜索技术实现了从金融搜索到金融语义搜索的跨越。 在与会嘉宾的共同见证下，金证股份举行金证金融大模型及工具集发布仪式，展示金证在金融AI领域自主研发的阶段性成果。会上，与会嘉宾还就“金融领域特定场景大模型的应用和发展趋势”进行深入交流和讨论，共谋金融AI新生态。 未来，金证股份将保持创新、开放和合作的精神，携手行业合作伙伴在人工智能领域不断优化、创新，共同推动人工智能在金融行业更深入、更广泛的应用，推进金融行业数字化进程。（朱先妮） 股市回暖，抄底炒股先开户！智能定投、条件单、个股雷达……送给你>> 海量资讯、精准解读，尽在新浪财经APP

转自：上观新闻 人工智能尤其是AI大模型技术如何在金融垂直领域应用落地？日前，上海交通大学上海高级金融学院（SAIF）与粤港澳大湾区数字经济研究院（IDEA）联合研发出“金融知识大模型”，并发布“金融试题解析”“金融分析计算”和“金融事件分析”三大功能。仅就其金融知识库而言，就囊括了超过20万篇研报、3000万篇新闻资讯。 最新测试结果表明，金融知识大模型的“垂类”性能突出。不仅在主流金融测试集FinEval上全面超越了现有的主流大模型，而且在金融领域的重要考试方面成绩喜人——譬如，在注册会计师全国统考CPA考试中，全面超越现有的主流大模型，包括GPT3.5和GPT4；在国际通行的金融投资从业者专业资格认证CFA考试中，则全面超越了主流的中文大模型，在大部分科目上跟GPT4互有胜负。 此次“模拟考”在现场演示了3个场景。第一个场景是求解注册会计师考试CPA例题。CPA题目相对简短，金融知识大模型就定位题干关键词对应的知识点，还针对知识点检索做了特定优化。第二个场景是解答较为复杂的CFA二级分析计算题。金融知识大模型的求解过程，经过OCR图表识别和STEM剪枝过程，以便精简题干。 第三个场景更具时效性，即针对“2023年中央金融工作会议”的公报内容作深层次的信息检索和归纳整理。由此，金融知识大模型构建了以“2023中央金融工作会议”为问题主体的思维导图，并生成了与其相关的子问题。通过意图识别选取相关的子节点，对金融知识库、资讯库进行信息检索，实现最终内容生成。 粤港澳大湾区数字经济研究院数字金融首席科学家林舟驰表示，“金融知识大模型”面向金融教育、金融咨询与金融分析这3个主要场景，以金融知识检索、知识问答、信息抽取、意图识别、代码智能和工具调用等能力为支撑。从CPA到CFA的金融试题解析方面，大模型通过题干关键词进行背景知识搜索、相关案例搜索和相关例题搜索，能够根据需要解答问题、对答案进行分析或答疑。 林舟驰博士解读认为，其背后以金融知识库+大语言模型为底座，取代了传统的单一语言模型底座架构，再搭配金融、教育、咨询场景的高质量语料进行模型预训练，形成了思维图谱推理技术。这种思维图谱推理技术，能在某种程度上把大模型的推理过程白盒化，通过知识的归纳整理，形成思维图谱，逐点逐层解决一个现实中的金融问题。 值得一提的是，当推理过程不再是“黑盒”，CPA、CFA考试的两个场景中，会计及金融专业学生也可以以交互式学习方式，获得答案的解析以及针对题干内容的答疑，革新了传统的人机教培方式。 在知识+模型的底座基础上，沪粤研发团队还开发了一系列面向现实场景的工具接口，例如金融信息抽取，可在海量研究报告与新闻材料中抽取有价值的金融常识、金融主体和关系信息，以及金融事件各类观点等等。这些金融信息都被AI解析，并被吸收成为金融知识库的一部分，服务于各类顶层任务。 研发双方达成战略合作。 目前，这款大模型采用了来自金融教科书、企业财报、企业研报、新闻舆情、法律案例和政府报告等超过160G的高质量金融文本进行增量预训练，还通过30多万条衍生于金融公式、金融试题、金融代码、金融问答、金融表格和金融知识图谱等的高质量指令数据进行有监督微调，有力保证了大模型最终输出内容的可靠性和可控性。 据悉，目前金融知识大模型还未对外开放，其未来计划的第一阶段，主要以上海高级金融学院的业务场景为落点，在业务中“跑”起来并不断迭代，逐渐在更大范围落地。 图片来源：受访高校 题图说明：金融知识大模型在沪发布。 海量资讯、精准解读，尽在新浪财经APP

2024年3月26日，中国领先的供应链金融科技解决方案提供公司联易融科技集团（09959.HK，以下简称“联易融”）发布2023年业绩公告。2023年公司总收入及收益达8.7亿元；其中，公司2023年下半年收入及收益达4.8亿元，同比增长15.2%。联易融全年累计资产处理规模达3,220亿元，同比增长24.2%，并服务了超过1,800家核心企业及金融机构，截至年末累计助力超过25万中小微企业享受了高效、便捷的数字普惠金融科技服务。公司保持着稳健的财务状况，现金储备达48亿元。 公司宣布了新的股东回报计划，拟通过现金分红和股份回购的方式持续增强对股东的资本回报。联易融董事会建议派发每股0.1港元的特别股息，合计约2.3亿港元；此外，基于对公司未来发展前景和持续增长的充分信心，董事会宣布拟进行金额最高达1亿美元的股份回购计划。 联易融作为供应链金融科技行业的领导者和先驱者，持续加大对科技创新的投入，全面推动产业生态协同高效发展，促进“科技－产业－金融”的良性循环。随着ChatGPT等AI大模型在全球引发热潮，人工智能从创新应用时代进入普及应用时代。联易融积极拥抱AIGC应用创新带来的行业变革机遇，通过整合开源大模型建立了自研的供应链金融GPT模型。 联易融在与一家外资银行合作中，率先将上述模型应用在AI智能审单科技项目中。通过AI大模型技术在供应链金融业务的深度应用，显著提升产业信息整合与交易分析的效率，实现智能化风险评估，进一步降低融资及运营成本。同时，联易融也将大模型技术应用于公司内部的客户管理、运营交付及软件开发等日常工作中，助力集团降本增效。 联易融积极探索区块链、大数据及隐私计算等前沿技术的应用。2023年，联易融顺利通过了全球软件开发能力成熟度CMMI 5级认证，并获评可信区块链推进计划“杰出贡献单位”。同时，联易融还获得了深圳市“专精特新”企业、“AI SaaS影响力企业TOP 50”、 “全球中小微企业金融奖”、《财资》年度“最佳数字化供应链金融解决方案”大奖等多项殊荣。

转自：企业观察网 4月28日,由中关村西城园管委会、北京市西城区总工会、北京金融科技产业联盟和北京金融信息化研究所主办,清华大学人工智能研究院支持,全球金融科技大会系列活动「大模型金融应用创新与实践大赛」颁奖仪式圆满举办,深信服安全GPT入选十佳卓越奖! 作为此次「大模型金融应用创新与实践大赛」十佳卓越奖中唯一一个网络安全垂直领域的大模型,深信服安全GPT针对金融机构在网络安全运营中遇到的挑战,提供了创新性的解决思路。 此次大赛收到了来自39家机构的68份应用实践报告,经过前期初赛评审,共有25项应用实践入围终审。经过中国工程院院士柴洪峰、北京金融科技产业联盟理事长/工商银行首席技术官吕仲涛、中国金融电子化集团副总经理潘润红、中国银行业协会系统服务部主任赵成刚、深圳证券交易所人工智能专家杨振新、中科院计算机网络信息中心副研究员苟甜、百川智能联合创始人洪涛、中关村天使百人会理事长肖庆平共8名专家的最终评审,深信服安全GPT与工商银行、农业银行、建设银行、邮储银行、国泰君安和百度等头部银行与知名机构共同入围十佳卓越奖! 深信服安全GPT作为国内首个通过深度合成服务算法备案的安全大模型,可协助金融机构完成流量检测、事件解析、安全建议生成、安全事件处置等复杂工作,秒级闭环、百倍提效,从检测能力和安全运营工作上赋能组织,对抗外部强敌。 检测能力远超传统设备和通用大模型, 大幅提升金融机构「威胁检测防御力」 金融机构信息系统复杂、网络边界分散、风险点位众多,风险暴露面大,对威胁检测防御能力要求高,传统检测引擎难以应对外部高对抗、高隐蔽的攻击手段。 深信服安全GPT可以作为检测引擎,赋能态势感知、端点安全等传统安全设备,具备对未知攻击的意图理解、异常判定、混淆还原能力,在流量威胁检测和主机侧钓鱼攻击检测上都取得突破性的效果。 流量威胁检出率高达95.7%,误报率低至4.3% 深信服通过知识蒸馏、模型量化、模型剪枝、Attention机制优化等,将安全GPT推理性能提升50倍,实现了在实际网络环境中,针对实时流量的实时检测。 安全GPT检测大模型能够发现混淆、编码类高绕过流量,并针对Web漏洞有良好检出效果,具有较强Web 0day漏洞检测能力,同时针对攻击成功研判具有较高准确率。 安全GPT检测大模型能力架构 经过3000w黑样本与2000w白样本检测,对比传统引擎,安全GPT的检出率从45.6%提升至95.7%,误报率从21.4%下降到4.3%。在某部委实际测试中,25个高混淆数据包(可绕过传统引擎及通用大模型GPT-4),安全GPT检出率100%,覆盖Web通用攻击、通用组件漏洞攻击、混淆绕过攻击和国家级攻防演练出现过的0 day/N day漏洞。 钓鱼攻击检出率高达91.7%,远超传统解决方案 钓鱼攻击的难防在于,从技术角度看,钓鱼邮件与正常邮件无异,普通人难以识别,而高混淆和形式多变的钓鱼攻击也难以用规则进行定义。 安全GPT 基于对自然语言的泛化理解能力,能够对邮件和文件内容背后的意图进行综合评估和研判,就像聘请了一个懂攻防、懂技术、懂人情世故的防钓鱼“安全专家”实时防守一样,实现钓鱼事件的精准检测和处置。 钓鱼邮件识别方法 通过3万高对抗钓鱼邮件、100万白邮件检测,对比传统解决方案,安全GPT钓鱼攻击检出率从15.7%飞升至91.4%,误报率从0.15%降低至0.046%,效果超越传统方案数倍。 提效90%, 金融行业的安全运营「新质生产力」 随着金融行业数字化转型步入深水区,银行面临的网络安全数据规模和复杂性不断增加,在网络安全专业技术人员少,能力精力也存在瓶颈的前提下,如何对海量网络安全告警进行快速分析研判,定位真实攻击及高效响应处置?安全GPT给出了新的答案。 安全GPT通过自然语言对话的方式提供符合安全人员运营水平的差异化建议和运营路径,承载 80% 安全运营操作,将海量告警的分析处置过程压缩到数分钟内,赋能初级安全工程师在5分钟内对单一高级威胁进行闭环,将日常安全运营所花费的时间减少90%以上。 由于攻防的不对等,攻击者常在非工作时间进行攻击,安全GPT2.0智能驾驶提供7*24小时安全事件/告警自主值守,减少92%需多次手动的运营工作,平均威胁检测时间(MTTD)/平均威胁响应时间(MTTR)减少85%,运营人员1人即可守护数万资产。 深信服安全GPT运营大模型演进蓝图 截至目前,安全GPT已累计在130多家企业真实环境测试和应用,帮助金融、能源、政府机关等行业用户提升安全人员实际分析水平和处置效率。 「大模型金融应用创新与实践大赛」充分展示了大模型在金融应用领域的创新实践成果,有效推动了大模型金融应用场景探索及生态建设,为数字金融和智慧金融的稳健发展提供了有力支持。 深信服认为,安全大模型仍拥有广阔的想象空间,除了检测大模型与运营大模型,未来会逐步孵化更多可应用于实际的场景,将会为金融行业的网络安全建设带来更多“领先一步”的效果与体验。 海量资讯、精准解读，尽在新浪财经APP

作者｜格林     出品｜新芒X 芝加哥大学的研究人员已经证明，大型语言模型 (LLM) 可以进行财务报表分析，其准确度可与专业分析师相媲美，甚至超过专业分析师。 该研究结果发表在题为“使用大型语言模型进行财务报表分析”的工作论文中，可能对未来的财务分析和决策产生重大影响。（论文地址：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311） 这个影响到底是什么？用一句话来总结就是，GPT-4通过在财务报表分析中展现出与专业人类分析师相媲美甚至更优的性能，以及生成有价值的叙述性洞察和交易策略，预示着它可能会在财务分析行业中发挥核心作用，从而颠覆传统的决策制定过程。 研究人员测试了GPT-4的性能，GPT-4 是由OpenAI开发的最先进的 LLM （大语言模型），用于分析公司财务报表以预测未来收益增长。值得注意的是，即使只提供标准化、匿名的资产负债表和没有任何文本背景的损益表，GPT-4 也能胜过人类分析师。 “我们发现 LLM 的预测准确度与经过严格训练的最先进的 ML 模型的性能相当，”作者写道。“LLM 的预测并非源于其训练记忆。相反，我们发现 LLM 可以生成有关公司未来表现的有用叙述见解。” 报告最后指出，最后，与基于其他模型的策略相比，我们基于 GPT 预测的交易策略产生了更高的夏普比率和阿尔法值。 综上所述，我们的研究结果表明，LLM 可在决策中发挥核心作用。 / 思路链提示模拟人类分析师的推理 一项关键创新是使用“思路链”提示，引导 GPT-4 模拟金融分析师的分析过程，识别趋势、计算比率并综合信息以形成预测。 GPT-4 的这个增强版本在预测未来收益方向方面实现了 60% 的准确率，明显高于人类分析师预测的 53-57% 范围。 研究人员总结道：“综合起来，我们的研究结果表明，大语言模型可能在决策过程中发挥核心作用。”他们指出，大语言模型的优势可能源于其广泛的知识库和识别模式和商业概念的能力，即使在信息不完整的情况下，也能够进行直觉推理。 / 尽管面临挑战，大语言模型仍有望改变财务分析 鉴于数值分析历来是语言模型面临的一大挑战，这一发现就更加引人注目了。 “语言模型面临的最具挑战性的领域之一是数值领域，模型需要进行计算、进行类似人类的解释并做出复杂的判断，”该研究的合著者之一 Alex Kim 说道。 “虽然 LLM 在文本任务上很有效，但它们对数字的理解通常来自叙述背景，它们缺乏深度数字推理或人类思维的灵活性。”...

财联社5月29日讯（编辑 刘蕊）随着人工智能快速发展，研究发现，AI可能比人类更擅长炒股。 根据芝加哥大学布斯商学院的最新报告称，OpenAI的GPT-4在金融分析和预测方面的能力，可能比人类更优秀，基于其预测的多空策略表现也能跑赢大盘。 这一发现可能会颠覆金融服务业。与其他商业部门一样，金融服务业正在竞相采用生成式人工智能技术。 根据这项最新研究的研究，在分析财务报表以及根据这些报表做出预测等方面，大语言模型比人类做得更好。 “即使没有任何叙述或行业特定信息，大语言模型在预测盈利变化方面的能力也优于金融分析师们，”该研究称，“在分析师遇到难题时，大语言模型比人类分析师表现出相对优势。” 该研究利用“思维链（chain-of-thought）”提示，指导GPT-4识别财务报表的趋势并计算不同的财务比率。在此基础上，大语言模型可以分析信息并预测未来的收益结果。 该研究称：当我们使用思维链提示来模拟人类推理时，我们发现GPT的预测准确率达到了60%，明显高于分析师的准确率。人类分析师在预测准确度方面接近50%的范围。 该研究的作者还表示，大语言模型能够在信息不完整的情况下识别财务模式和商业概念，这表明该技术应该在未来的财务决策中发挥关键作用。 最后，该研究发现，如果将GPT-4的金融敏锐性应用于交易策略，能够获得更多交易回报，通常能跑赢大盘。 研究称：“我们发现，基于GPT预测的多空策略表现优于市场，并产生显著的阿尔法和夏普比率（对资产的风险和收益进行综合考量的指标）。” 股市回暖，抄底炒股先开户！智能定投、条件单、个股雷达……送给你>> 海量资讯、精准解读，尽在新浪财经APP 责任编辑：于健 SF069

随着人工智能技术的快速发展，大型语言模型（Large Language Model，下文简称LLM）已经在自然语言处理、文本生成、机器翻译等多个领域中展现出了巨大的潜力，但市场上暂未有专攻金融领域的LLM。 在此背景下，彭博社（Bloomberg）和约翰霍普金斯大学的Shijie Wu等在BloombergGPT: A Large Language Model for Finance一文中重磅发布了为金融界打造的LLM——BloombergGPT。 报告说明，对BloombergGPT的评估显示，其在金融任务上的表现显著优于现有模型，同时不会牺牲通用LLM的基准性能，因此BloombergGPT在金融领域具有不可替代性。 因评估方式以及模型本身的局限，BloombergGPT是否会对金融业带来颠覆性的变革还有待商榷，但不可否认的是，随着技术的进步，BloombergGPT在不同金融业务场景下都将具有广泛的应用和可观的潜力 。 *本文作者：毛诗倩 上海交通大学中国金融研究院研究助理 潘   薇 上海交通大学中国金融研究院CAFR-信也科技联合研究实验室研究助理 01 什么是BloombergGPT？ 自然语言处理（Nature Language Processing，下文简称NLP）是计算机科学和人工智能领域的重要方向，研究如何让计算机读懂人类语言，目前NLP在金融领域应用越来越广泛而复杂。随着人工智能技术的快速发展，LLM已经成为NLP的佼佼者，是当下AI和NLP研究与产业中最重要的方向之一。 LLM是指包含数千亿（或更多）参数的可以通过处理大量自然语言数据的深度学习模型。目前火爆的ChatGPT模型就是一种LLM，证明了训练非常大的LLM的强大优势。但目前的LLM大多是通用性的，而因金融行业的复杂性以及大量的金融术语，市场上需要一个专攻金融专业的模型。 彭博社是全球商业、金融信息和新闻资讯提供商，通过其强大的集信息、人物及观点为一体的动态网络为全球决策者带来关键优势。彭博社精于以创新的技术来快速、精准地传递数据、新闻和分析，这也是彭博终端的核心优势所在。 今年3月30日，彭博社最新发布的报告显示，其构建了迄今为止最大的特定领域数据集，并训练了专门用于金融领域的LLM——BloombergGPT，以支持金融行业内的各类任务。 彭博社依托其四十多年来积累的大量金融数据源，创建了一个包含3,630亿词例（token）的金融数据集FinPile，又与公共数据集叠加成为了包含超7,000亿词例的大型训练语料库。利用庞大的数据集，并基于通用和金融业务的场景进行混合模型训练，训练了包含500亿个参数的大规模生成式人工智能模型BloombergGPT，以全方位支持并改善金融领域的NLP任务。 BloombergGPT的推出意味着这项新技术在金融领域的发展和应用已经迈出了第一步。 02 对BloombergGPT的模型评估 报告中将BloombergGPT与其他两个参数量级等相匹配的模型GPT-NeoX，OPT66B和一个参数更大的模型BLOOM176B在金融领域和通用领域分别进行了比较评估：金融领域评估以验证对高质量的金融特定数据进行训练将在金融任务中产生更好的结果；通用领域评估以与市场上其他模型在通用任务上做对比。 结果表明，BloombergGPT模型在金融任务上的表现远超类似规模的开放模型，在通用任务上优于其他相同参数量级的模型，并在某些任务上甚至超过了参数量更大的模型，证明了其专注于金融领域的不可替代性。（一） 金融领域评估 金融领域评估中分成了两组：一组是外部金融任务（Public Financial Tasks），收集了包括一系列NLP任务的公开金融数据集；另一组是Bloomberg金融任务（Bloomberg Financial Tasks），收集了Bloomberg内部高质量评估集中提取的任务，以测试情绪三分类和命名实体识别（Named Entity Recognition，简称NER）。 1、 外部金融任务（Public Financial Tasks） 外部金融任务以衡量BloombergGPT在金融领域的有效性，主要测试为以下五项：...

华泰研究“本周精选”汇集本周最受读者欢迎的研究报告，点击下方标题可查阅全文。 01 电新：新能车前沿技术之五—大圆柱电池 02 计算机：从BloombergGPT看金融GPT机遇 03 农业 • 转基因百页深度：生物育种产业化元年的到来 04 电子：AI大模型+金融—掘金行业数据富矿 05 策略：4月战术配置—经济越向上，久期越下沉 06 宏观：PMI再超预期、内需回升行稳致远 01 电新：新能车前沿技术之五—大圆柱电池 -点击图片查阅全文- 20年9月，特斯拉正式发布4680大圆柱电池，从单体到系统层面对电池进行了全面升级，使其安全性、续航、快充等性能得到了显著提升。相关车企、电池企业自此争相布局大圆柱电池，以期抓住动力电池市场。同时在户用储能领域，国内相关电池企业已从22年开始布局适用储能市场的磷酸铁锂大圆柱电池。我们预计27年全球大圆柱电池装机量有望达429GWh，对应市场规模2144.8亿元。产业节奏上，我们预计今年大圆柱电池将从小批量生产转向量产放量，带动相关电池企业受益。同时大圆柱电池引入的创新技术和化学体系也有望为上游的设备厂、材料厂等带来新的发展机会。 申建国 S0570522020002 边文姣 S0570518110004 | BSJ399 2023-04-02 02 计算机：从BloombergGPT看金融GPT机遇 -点击图片查阅全文- 2023年3月30日，Bloomberg发布专为金融领域打造的大语言模型（Large Language Model，LLM）BloombergGPT，实现了LLM在金融垂直场景的加速落地。从测试结果来看，BloombergGPT在保证LLM通用性能的基础上，更加聚焦金融场景,有效实现了LLM与金融垂直领域知识的深度融合。BloombergGPT的成功，佐证了“开源模型+高质量垂直数据”LLM搭建思路的有效性，金融GPT率先在证券场景落地，同时建议关注后续GPT在银行领域的业务机会。 谢春生 S0570519080006 | BQZ938 2023-04-02 03 农业 • 转基因百页深度：生物育种产业化元年的到来 -点击图片查阅全文- 本篇报告从地缘优势和技术视角出发，梳理分析了转基因作物在全球应用现状的成因、国际巨头崛起的动力、乃至全球粮食贸易格局变迁的隐线，构建了以功能基因和专利布局来评估国内生物育种产业链公司的分析框架。我们认为，玉米和大豆在中国的生物育种产业化即将启动，为中国农业带来新机遇，建议积极布局种业。 熊承慧 S0570522120004 | BPK020 冯源 S0570522070001 2023-03-31 04 电子：AI大模型+金融—掘金行业数据富矿 -点击图片查阅全文- 金融行业数字化程度领先，拥有数据富矿，有望成为AI大模型率先落地的垂直领域之一。应用端，我们看到生成式和理解式大模型在银行、保险、资管、投研、投顾等多个细分领域正在落地或拥有潜在落地场景，帮助金融机构降本增效。 黄乐平 S0570521050001 | AUZ066...

一、简介 金融科技(FinTech)是一个庞大且不断增长的领域，NLP技术在其中扮演着越来越重要的角色。金融NLP任务包括情感分析、命名实体识别、新闻分类以及问答。虽然这些任务与一般NLP基准中的任务相似，但金融领域的复杂性和术语保证了一个特定领域的系统是有价值的。生成式LLM通常是有吸引力的，因为它能够进行少样本学习、文本生成和会话系统等。虽然有针对金融领域调优的掩码语言模型，但还没有针对该领域的任务进行调优或评估的LLM。 BloombergGPT 是彭博社在2023年3月发布的一个 500 亿参数的大型语言模型，专门为金融领域从头构建。它是一个大规模生成人工智能模型，专门针对金融数据进行训练，以支持金融行业内多种自然语言处理任务。彭博社通过构建这个模型，将帮助公司改进现有的金融 NLP 任务，如情感分析、命名实体识别、新闻分类和问答等。 二、特点 BloombergGPT采用了混合方法，结合了通用 LLM 和特定领域 LLM 的优点。通用模型能够在多种任务中执行良好，并在训练期间避免了专业化的需求。然而，现有的特定领域模型的结果表明，它们无法被通用模型所取代。BloombergGPT支持一组庞大且多样化的任务，通用模型能够很好地为我们服务，但绝大多数应用都在金融领域内，由特定模型更好地服务。因此，构建了一个模型，在金融基准上取得了同类中最好的结果，同时也在通用 LLM 基准上保持有竞争力的表现。 Bloomberg 的 ML 产品和研究小组与公司的 AI 工程团队合作，利用公司现有的数据创建、收集和整理资源，构建了一个大型特定领域数据集。作为一家金融数据公司，Bloomberg 的数据分析师已经收集和整理了超过 40 年的金融语言文档，拥有广泛的金融数据档案，涵盖了多种主题，并对数据来源和使用权进行了仔细跟踪。该团队从这个庞大的金融数据档案中提取出了一个包含 3630 亿个令牌的英文金融文档的综合数据集。这些数据与一个 3450 亿令牌的公共数据集结合在一起，形成了一个包含超过 7000 亿个令牌的大型训练语料库。使用这个训练语料库的一部分，该团队训练了一个 500 亿参数的解码器仅因果语言模型。最终得到的模型在现有的金融特定 NLP 基准测试、一套 Bloomberg 内部基准测试和流行基准测试中广泛类别的通用 NLP 任务（例如 BIG-bench Hard、知识评估、阅读理解和语言任务）上进行了验证。结果表明，混合训练方法产生了的模型，在域内金融任务上大大超过现有模型，在三个测试的 AI 模型中表现最佳，得分为 62.51，OPT-66B 的得分为 53.01，GPT-NeoX...