百川发布金融大模型,采用自约束训练方式提升“通专能力”
如何让大模型在提升专业能力的同时不损失通用能力,是当下大模型落地具体场景的最大阻碍。12月23日,百川智能推出全链路领域增强金融大模型Baichuan4-Finance,采用自约束训练方案,同步提升模型专项能力和通用能力,提高金融场景可用性。
百川智能由前搜狗公司CEO王小川于2023年创办。全链路领域增强方案覆盖了构建、模型预训练、微调、强化学习等从模型研发到场景应用全流程,旨在提升模型多元场景可用性。据了解,Baichuan4-Finance的金融数据集包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据,以及金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据。
在此基础上,Baichuan4-Finance在领域自约束训练过程中引入更高精的通用数据混合训练,实现模型通用能力不下降、金融能力稳定增长,并在后训练环节通过合成数据、指令数据对模型实施有监督的微调;在强化学习策略中,针对数学计算等金融领域特别关注的场景进行样本增强等,提升模型性能。
在中国人民大学财政金融学院12月17日发布的金融评测体系FLAME的测评中,Baichuan4-Finance在银行、保险、基金、证券等资格认证领域的准确率突破95%,整体准确率93.62%。
金融行业数据丰富,适合大模型落地。但在业内人士看来,当下大模型落地金融,还要解决四大问题:一是合规性,金融是强监管行业,任何新技术的应用都要满足监管要求。二是安全性,如果幻觉问题不能彻底避免或消失,大模型落地金融就存在风险,与此同时,在涉及用户敏感数据的问答时,大模型存在泄漏隐私数据风险。三是解释性,金融是逻辑性强的行业,数据处理结果要求准确。四是经济性,大模型更新速度越来越快,对算力、数据的要求越来越高,金融机构落地大模型还要考虑成本,“有时候小模型的效果不一定比大模型差。大模型和小模型的配合也会起很大作用,比如舆情分析、财务异常识别等。”