700亿参数LLaMA2训练加速195% 开箱就能用从8到512卡全部支持

2023-09-05 16:33:08 编辑：阙珊巧来源：

导读 LLaMA2训练微调推理，针对700亿版本，训练加速195%，同时能基于云平台实现无代码训练有个性私有化模型，并一键部署。LLaMA2的预训练，预料...

LLaMA2训练微调推理，针对700亿版本，训练加速195%，同时能基于云平台实现无代码训练有个性私有化模型，并一键部署。LLaMA2的预训练，预料大部分都来自于英文通用知识，如果仅仅只是使用微调，只能够提升以及注入的领域知识我多语言能力也非常有限，并且也只能够以私有化的形式保存下来。

针对这个问题，推出以低成本预训练、继续预训练以及微调的方式，对于大模型系列做相关的调整，结合高质量私有化业务数据积累，能够有效的帮助企业降低生产成本。Colossal-AI开源了针对LLaMA2的全流程方案，并且具备极高的可拓展性。从70亿到700亿的参数模型，以及从8卡到512卡都能够保持更好的性能，在利用率方面也处于当前行业当中排名较靠前的地位。