(相关资料图)

BloombergGPT:推动金融GPT产业机遇2023年3月30日,Bloomberg发布专为金融领域打造的大语言模型(LargeLanguageModel,LLM)BloombergGPT,实现了LLM在金融垂直场景的加速落地,国内相关公司包括同花顺、恒生电子、东方财富等企业。从测试结果来看,BloombergGPT在保证LLM通用性能的基础上,更加聚焦金融场景,有效实现了LLM与金融垂直领域知识的深度融合。BloombergGPT的成功,佐证了“开源模型+高质量垂直数据“LLM搭建思路的有效性,金融GPT率先在证券场景落地,同时建议关注后续GPT在银行领域的业务机会。

模型拆解:核心突破在于构建金融训练数据集根据论文《BloombergGPT:ALargeLanguageModelforFinance》介绍,BloombergGPT同样基于典型的Transformer架构,与OpenAIGPT模型相同,采用了仅有解码器(decoder-only)的技术路径。对比来看,BloombergGPT的模型参数为500亿,介于GPT-2(1.5亿)与GPT-3(1,750亿)之间。不同的是,Bloomberg为强化LLM对金融垂直领域的专业理解,构建了目前最大规模的金融数据集FINPILE,通过通用文本+金融知识的混合训练,让BloombergGPT在执行金融任务上的表现超过现有的通用LLM模型,在通用场景上的表现与现有通用LLM模型能力基本持平。

模型启示:“开源模型+垂直数据“大有可为以GPT-3、GPT-4为代表的大语言模型均由大型的专业人工智能团队开发,并且模型训练需要大量算力。BloombergGPT的成功证明了“开源模型+高质量垂直数据“的方案,可以基于垂直领域数据打造同样具有竞争力的大语言模型。大量的高质量垂直领域知识有望弥补模型在规模上的不足,对比BloombergGPT与GPT-3可以看到,尽管BloombergGPT的模型参数相较于GPT-3较小,但得益于BloombergGPT的预训练数据增加了大量的高质量金融数据,并对预训练数据进行了一系列的清洗、标注,BloombergGPT在通用能力与GPT-3基本持平的情况下,实现了金融垂直能力的大幅增强。

金融GPT展望:掌握金融数据的厂商有望复制BloombergGPT路径基于BloombergGPT的成功案例,我们认为,训练数据是大语言模型能力塑造的关键因素,同时,Bloomberg在论文中明确出于对数据泄露的担忧,BloombergGPT将采取与OpenAI相同的闭源方案,侧面佐证了原始的预训练数据是各家大模型竞争的重要因素。从国内的金融GPT的预期来看,以同花顺、恒生电子、东方财富为代表的金融IT厂商,掌握着丰富的金融垂直知识与现有AI产品布局,基于高质量的金融数据与开源的大语言模型,同样有机会打造专属金融场景的大语言模型,实现大语言模型在金融场景的有效赋能,让大语言模型成为底层的AI操作系统。

风险提示:宏观经济波动影响;应用落地不及预期;本报告基于公开客观信息整理,不构成投资建议。