英伟达和ARM希望将深度学习引入物联网项目

NVIDIA宣布与物联网芯片设计师ARM建立合作关系，旨在通过使物联网芯片公司将人工智能(AI)集成到他们的设计中变得简单，从而推动推理加速。

在周二在圣何塞的NVIDIAGTC的主旨演讲中，公司首席执行官和创始人黄延森解释说，合作伙伴将看到开源NVIDIA深度学习加速器(NVDLA)体系结构集成到ARM的项目Trillium中，用于机器学习。

NVDLA基于NVIDIA Xavier，被GPU巨头吹捧为“芯片上强大的自主机器系统”。 据黄说，这将提供一个自由，开放的架构，以促进一种标准的方式设计深度学习推断..

NVIDIA自动机器副总裁兼总经理Deepu Talla在一次新闻发布会上说：“未来，Inference将成为每个物联网设备的核心能力。”

SEE：IT领导者深度学习指南（技术专业研究）

塔拉补充道：“我们与ARM的合作将使数百家芯片公司很容易融入深度学习技术，从而推动这一潮流的采用。”

日本企业集团软银(Softbank)于2016年以243亿£的价格收购了ARM，它的愿景是连接一万亿个物联网设备，预计到2035年将有这么多设备存在。

与上一代相比，GTC周二还宣布，该公司最新的深度学习计算平台将提高8倍的性能。

这些进步已经被主要的云厂商采用，包括对NVIDIA特斯拉V100数据中心GPU的双重内存提升；一种新的GPU互连结构NVIDIANVS witch，它使多达16个特斯拉V100GPU以每秒2.4TB的速度同时通信；以及一个更新的软件堆栈。

特斯拉V100产品现在将拥有32GB的内存，立即生效，Cray、HPE、IBM、联想、Supermicro和Tyan宣布第二季度推出V10032GB，OracleCloud基础设施预计将在2018年下半年在云中提供V10032GB。

黄说：“我们都在进行深度学习，这就是结果。我们只是在增加动力。”

黄还详细介绍了深度学习计算的突破，与NVIDIA DGX-2。

一个单一的服务器，DGX-2能够提供2个Petaflops的计算能力，并拥有300台服务器的深度学习处理能力。 它还获得了32GB的升级。

他说：“深度学习的非凡进步只是暗示了未来的发展。” “许多这些进步都站在NVIDIA的深度学习平台上，该平台已迅速成为世界标准。”

这位首席执行官说，他的公司正在以超越摩尔定律的速度提升其深度学习平台的性能，使“突破将有助于革命性的医疗、交通、科学探索和无数其他领域”。

随着黄指出GPU加速深度学习推理正在获得牵引力，NVIDIA还推出了一系列新技术和合作伙伴关系，以扩大其超尺度数据中心的推理能力，为语音识别、自然语言处理、推荐系统和图像识别等能力提供支持。

该公告包括将TensorR T（一种高性能的深度学习推理优化器和运行时，为深度学习应用程序提供低延迟、高通量推理）集成到谷歌的TensorFlow1.7框架中。

这大大改善了在TensorFlow中的引用，就像以前的TensorFlow1.6一样，单个V100每秒可以处理大约300幅图像；移动到1.7将允许每秒处理超过2，600幅图像。

据传，最新一代黄光裕周二公布的TensorRT4与CPU相比，提供了多达190X更快的深度学习推理，用于计算机视觉、神经机器翻译、自动语音识别和语音合成等常见应用。

NVIDIA还宣布，其Kaldi语音识别框架已为GPU优化，允许为消费者提供“更有用”的虚拟助理，并降低数据中心运营商的部署成本。