ChatGPT:金融行业大模型BloombergGPT
一、简介 金融科技(FinTech)是一个庞大且不断增长的领域,NLP技术在其中扮演着越来越重要的角色。金融NLP任务包括情感分析、命名实体识别、新闻分类以及问答。虽然这些任务与一般NLP基准中的任务相似,但金融领域的复杂性和术语保证了一个特定领域的系统是有价值的。生成式LLM通常是有吸引力的,因为它能够进行少样本学习、文本生成和会话系统等。虽然有针对金融领域调优的掩码语言模型,但还没有针对该领域的任务进行调优或评估的LLM。 BloombergGPT 是彭博社在2023年3月发布的一个 500 亿参数的大型语言模型,专门为金融领域从头构建。它是一个大规模生成人工智能模型,专门针对金融数据进行训练,以支持金融行业内多种自然语言处理任务。彭博社通过构建这个模型,将帮助公司改进现有的金融 NLP 任务,如情感分析、命名实体识别、新闻分类和问答等。 二、特点 BloombergGPT采用了混合方法,结合了通用 LLM 和特定领域 LLM 的优点。通用模型能够在多种任务中执行良好,并在训练期间避免了专业化的需求。然而,现有的特定领域模型的结果表明,它们无法被通用模型所取代。BloombergGPT支持一组庞大且多样化的任务,通用模型能够很好地为我们服务,但绝大多数应用都在金融领域内,由特定模型更好地服务。因此,构建了一个模型,在金融基准上取得了同类中最好的结果,同时也在通用 LLM 基准上保持有竞争力的表现。 Bloomberg 的 ML 产品和研究小组与公司的 AI 工程团队合作,利用公司现有的数据创建、收集和整理资源,构建了一个大型特定领域数据集。作为一家金融数据公司,Bloomberg 的数据分析师已经收集和整理了超过 40 年的金融语言文档,拥有广泛的金融数据档案,涵盖了多种主题,并对数据来源和使用权进行了仔细跟踪。该团队从这个庞大的金融数据档案中提取出了一个包含 3630 亿个令牌的英文金融文档的综合数据集。这些数据与一个 3450 亿令牌的公共数据集结合在一起,形成了一个包含超过 7000 亿个令牌的大型训练语料库。使用这个训练语料库的一部分,该团队训练了一个 500 亿参数的解码器仅因果语言模型。最终得到的模型在现有的金融特定 NLP 基准测试、一套 Bloomberg 内部基准测试和流行基准测试中广泛类别的通用 NLP 任务(例如 BIG-bench Hard、知识评估、阅读理解和语言任务)上进行了验证。结果表明,混合训练方法产生了的模型,在域内金融任务上大大超过现有模型,在三个测试的 AI 模型中表现最佳,得分为 62.51,OPT-66B 的得分为 53.01,GPT-NeoX...