蚂蚁集团公布自研金融大模型：算力集群可达万卡规模

2023-09-09 19:07:52 编辑：耿璐思来源：

导读 9月8日在上海举办的2023年Inclusion·外滩大会上，蚂蚁集团发布了金融大模型，这一款大模型，是基于蚂蚁资源基础的大模型，专门对金融业定...

9月8日在上海举办的2023年Inclusion·外滩大会上，蚂蚁集团发布了金融大模型，这一款大模型，是基于蚂蚁资源基础的大模型，专门对金融业定制，算力集群可达到万卡的规模，当前蚂蚁金融大模型在蚂蚁集团财富保险平台上已经上限进行全面的测试。

据蚂蚁集团官方的介绍，这一次公布的自研金融大模型有万卡异构的集群，千卡规模训练在利用率方面为40%，在有效集群的训练时长中占据了90%以上，而基于人类反馈强化学习方面，在相同模型效果之下训练吞吐性能比业界给出的方案有3.59倍的提升，在推理性能方面比业界方案给出的提升了约两倍。

通用的大模型在专业严谨的领域是没有办法直接拿去商用的，尤其是在金融服务板块，对于错误容忍率极低，兼容的大模型要有专业的知识，并且逻辑上面要极为严谨，还可以真正实现产业上带来价值，其中专业力、知识力、语言力和安全力这四大能力是进行模型运用的前提条件。

蚂蚁金融大模型处于万亿量级别token通用语料基础之上，将千亿级的token 金融知识注入，从300多真实的产业场景当中将60万高质量的指令数据提取出来，成为专属于金融产业的数据资料库。

目前蚂蚁金融的大模型通过了保险从业资格，证券从业资格，执业医师资格，执业药师资格等众多专业试题的检测，当天蚂蚁集团也将基于金融大模型能力的两款产品做出发布，特别是作为智能金融助理的“支小宝2.0”，服务金融专业，智能业务助手“支小助”，支小宝的2.0版本已处于内测阶段，当完成有关备案工作之后，就会考虑上线。