2016-2022 All Rights Reserved.平安财经网.复制必究 联系QQ280 715 8082 备案号：闽ICP备19027007号-6
本站除标明“本站原创”外所有信息均转载自互联网 版权归原作者所有。
微软的ZeRO-2与深度速度训练神经网络高达1700亿个参数
2022-09-13 05:22:04
编辑：水希兴
来源：
导读 微软今天升级了它的DeepSpeed库，用ZeRO-2训练大型神经网络。微软表示，内存优化技术能够训练1700亿个参数的机器学习模型。就背景而言，英...
微软今天升级了它的DeepSpeed库，用ZeRO-2训练大型神经网络。微软表示，内存优化技术能够训练1700亿个参数的机器学习模型。就背景而言，英伟达庞大的威震天语言模型是当今世界上最大的语言模型之一，拥有110亿个参数。
今天的声明是在DeepSpeed库2月份的开源发布之后发布的，该库用于创建Turing-NLG。Turing-NLG拥有170亿个参数，是目前世界上已知的最大的语言模型。微软在2月份推出了零冗余优化器(Zero)和DeepSpeed。
ZeRO通过减少数据并行中的内存冗余来实现其结果，这是另一种将大型模型放入内存的技术。ZeRO-1包含一些模型状态内存优化，而ZeRO-2提供了激活内存和片段内存的优化。
DeepSpeed是为跨多台服务器的分布式模型训练而设计的，但ZeRO-2也在单GPU上对训练模型进行了改进，据报道，训练模型如谷歌的BERT提高了30%。
更多细节将在周三由微软首席技术官凯文·斯科特(Kevin Scott)发表的主题演讲中宣布。
这一消息是在微软全数字构建开发者大会开幕之际发布的，会上宣布了多项人工智能开发成果，包括用于机器学习中的差异隐私的WhiteNoise工具包，以及用于人工智能工业应用的盆栽项目。
上周，英伟达CEO黄延森发布了Ampere GPU架构和A100 GPU。新的GPU芯片——以及多模态模型和大规模推荐系统等趋势——将在未来几年引领更大的机器学习模型。
免责声明：本文由用户上传，如有侵权请联系删除！
猜你喜欢
最新文章
- 微软的ZeRO-2与深度速度训练神经网络高达1700亿个参数
- imf是什么意思（关于imf是什么意思的简介）
- 展示架设计（关于展示架设计的简介）
- 江西工商局（关于江西工商局的简介）
- 关联词语大全（关于关联词语大全的简介）
- 你是我的好兄弟（关于你是我的好兄弟的简介）
- 鸡排英雄（关于鸡排英雄的简介）
- 广汽传祺GS7动力如何及广汽传祺GS7值得入手吗
- 俄罗斯成功与全球互联网断开（难道是大型局域网的节奏）
- 湘西自治州疫情:9月13日湘西自治州疫情最新消息今天数据统计情况通报
- 亏损英文（关于亏损英文的简介）
- 上海lv（关于上海lv的简介）
- 保洁小妹（关于保洁小妹的简介）
- 金兰苑（关于金兰苑的简介）
- 酷艾英语（关于酷艾英语的简介）
- 闷闷不乐什么意思（关于闷闷不乐什么意思的简介）
- 应用程序是为Android和WindowsPhone7开发的
- soq（关于soq的简介）
- virtual dj（关于virtual dj的简介）
- 财富第五波（关于财富第五波的简介）
- 河北经贸大学经济管理学院教务系统（关于河北经贸大学经济管理学院教务系统的简介）
- 冬之蝉漫画（关于冬之蝉漫画的简介）
- 梁小龙电视剧（关于梁小龙电视剧的简介）
- 平稳过程（关于平稳过程的简介）
精彩推荐
- 金兰苑（关于金兰苑的简介）
- virtual dj（关于virtual dj的简介）
- 冬之蝉漫画（关于冬之蝉漫画的简介）
- 松山建一（关于松山建一的简介）
- 藏地密码结局（关于藏地密码结局的简介）
- 王杰红尘有你（关于王杰红尘有你的简介）
图文推荐
点击排行
- 1 哈兰德非常喜欢作为曼城球员的生活尤其是在瓜迪奥拉手下踢球
- 2 在这个采访中斯通斯表示自己仍愿意继续留在曼城效力
- 3 利物浦现在正考虑引进贝林厄姆来加强球队的中场
- 4 海港新外援巴尔加斯在个人社媒中晒出与武磊的合影
- 5 足协已基本放弃安排扬科维奇兼任两支国字号男足球队主帅的打算
- 6 河南嵩山龙门外援阿德里安回顾了多年来在中超效力的感受
- 7 湖州奥体中心现场球迷人数达到了近五千人
- 8 只要我们不自我放弃我相信一定会有转机的
- 9 瑞超联赛第八轮草蜢客场1比5不敌巴塞尔
- 10 U19国青要想出线依然难度不小