BloombergGPT在金融领域有多厉害? | 高金智库
随着人工智能技术的快速发展,大型语言模型(Large Language Model,下文简称LLM)已经在自然语言处理、文本生成、机器翻译等多个领域中展现出了巨大的潜力,但市场上暂未有专攻金融领域的LLM。 在此背景下,彭博社(Bloomberg)和约翰霍普金斯大学的Shijie Wu等在BloombergGPT: A Large Language Model for Finance一文中重磅发布了为金融界打造的LLM——BloombergGPT。 报告说明,对BloombergGPT的评估显示,其在金融任务上的表现显著优于现有模型,同时不会牺牲通用LLM的基准性能,因此BloombergGPT在金融领域具有不可替代性。 因评估方式以及模型本身的局限,BloombergGPT是否会对金融业带来颠覆性的变革还有待商榷,但不可否认的是,随着技术的进步,BloombergGPT在不同金融业务场景下都将具有广泛的应用和可观的潜力 。 *本文作者:毛诗倩 上海交通大学中国金融研究院研究助理 潘 薇 上海交通大学中国金融研究院CAFR-信也科技联合研究实验室研究助理 01 什么是BloombergGPT? 自然语言处理(Nature Language Processing,下文简称NLP)是计算机科学和人工智能领域的重要方向,研究如何让计算机读懂人类语言,目前NLP在金融领域应用越来越广泛而复杂。随着人工智能技术的快速发展,LLM已经成为NLP的佼佼者,是当下AI和NLP研究与产业中最重要的方向之一。 LLM是指包含数千亿(或更多)参数的可以通过处理大量自然语言数据的深度学习模型。目前火爆的ChatGPT模型就是一种LLM,证明了训练非常大的LLM的强大优势。但目前的LLM大多是通用性的,而因金融行业的复杂性以及大量的金融术语,市场上需要一个专攻金融专业的模型。 彭博社是全球商业、金融信息和新闻资讯提供商,通过其强大的集信息、人物及观点为一体的动态网络为全球决策者带来关键优势。彭博社精于以创新的技术来快速、精准地传递数据、新闻和分析,这也是彭博终端的核心优势所在。 今年3月30日,彭博社最新发布的报告显示,其构建了迄今为止最大的特定领域数据集,并训练了专门用于金融领域的LLM——BloombergGPT,以支持金融行业内的各类任务。 彭博社依托其四十多年来积累的大量金融数据源,创建了一个包含3,630亿词例(token)的金融数据集FinPile,又与公共数据集叠加成为了包含超7,000亿词例的大型训练语料库。利用庞大的数据集,并基于通用和金融业务的场景进行混合模型训练,训练了包含500亿个参数的大规模生成式人工智能模型BloombergGPT,以全方位支持并改善金融领域的NLP任务。 BloombergGPT的推出意味着这项新技术在金融领域的发展和应用已经迈出了第一步。 02 对BloombergGPT的模型评估 报告中将BloombergGPT与其他两个参数量级等相匹配的模型GPT-NeoX,OPT66B和一个参数更大的模型BLOOM176B在金融领域和通用领域分别进行了比较评估:金融领域评估以验证对高质量的金融特定数据进行训练将在金融任务中产生更好的结果;通用领域评估以与市场上其他模型在通用任务上做对比。 结果表明,BloombergGPT模型在金融任务上的表现远超类似规模的开放模型,在通用任务上优于其他相同参数量级的模型,并在某些任务上甚至超过了参数量更大的模型,证明了其专注于金融领域的不可替代性。(一) 金融领域评估 金融领域评估中分成了两组:一组是外部金融任务(Public Financial Tasks),收集了包括一系列NLP任务的公开金融数据集;另一组是Bloomberg金融任务(Bloomberg Financial Tasks),收集了Bloomberg内部高质量评估集中提取的任务,以测试情绪三分类和命名实体识别(Named Entity Recognition,简称NER)。 1、 外部金融任务(Public Financial Tasks) 外部金融任务以衡量BloombergGPT在金融领域的有效性,主要测试为以下五项:...