速度和容量受制No！高性能存储的瓶颈不止于此

大家好，小科来为大家解答以上问题。速度和容量受制No！高性能存储的瓶颈不止于此这个很多人还不知道，现在让我们一起来看看吧！

1、这两年，存储市场非常热闹。SSD带来的速度已经体现在从消费电子到超级计算的性能上。然而，随着高性能计算走上全新的道路，大吞吐量和大容量不再是HPC存储的唯一设计目标。

2、那么，HPC存储目前面临哪些挑战呢？首先，数据生成已经逐渐被数据访问所取代。在大数据环境中，IOPS要求随机访问小数据。

3、其次，“找到”真正需要的数据成为了最关键的环节，这也对元数据的统计、读写、删除提出了更高的要求。

4、此外，近年来出现了不同的文件和数据形式，在处理时需要特别注意。高性能存储必须具备大规模数据传输的能力。

5、新的高性能计算场景基于

6、以一些在建的智慧城市项目为例。城市里分散着很多传感器和执行器，比如激光雷达、摄像头、微流控传感器、电机等，都会产生PB级的原始数据。这些数据需要经过压缩、预处理、上传、深度学习和推理，存储可以说与边缘计算和机器学习紧密相连。

7、再比如我们的自动驾驶。今天的自动驾驶方案都是通过数据和高性能计算来实现的。像特斯拉这样的制造商甚至为其自动驾驶技术的发展开发自己的芯片和超级计算机。

8、每天，自动驾驶测试团队都会将PB级的遥测传感数据传输到数据平台，然后进行标记、分类、检错、仿真，再放入大规模存储系统。如此大规模的存储平台，不仅可能扩展到EB级别，还可能承担模拟、再处理和机器学习的繁重负荷。

9、在这些新场景赋予的挑战下，出现了一波新技术，比如从PCIe 4.0过渡到PCIe 5.0，光模块从200G过渡到400G，GPU直接存储等特殊协议的使用等等。

10、这些技术大多提高了HPC存储的吞吐量，更重要的是，优化了特定工作流的效率。

11、高性能计算系统中存储的组成

12、在目前的HPC场景下，无论是本地部署还是云环境，都需要一个计算平台，可能是CPU的配置，也可能是CPU GPU/加速器的配置。该节点可以充分利用3D Xpoint等持久内存，不仅可以在掉电情况下提供低延迟的内存数据访问而不丢失数据，还可以使用DAOS等分布式异步对象存储的文件系统。

13、Lustre文件系统/Lustre

14、最后是数据管理，属于大量数据的长期存储。比如像波音这样的航空公司，需要存储每架飞机50年以上的详细数据，还要有数据溯源的能力。

15、这种存储不需要有高速性能，但是可以在前端程序需要的时候提供即时交互。而且为了节约能源，需要实现所谓的“零功率存储”。

16、超是怎么做到的？

17、在众多超级计算机已经布局百亿亿次系统的情况下，作为HPC中的顶级应用，我们自然可以一窥端倪，看看目前主流的HPC存储解决方案。

18、以计划今年完成的前沿超级计算机为例。这台超级计算机将成为第一台计算能力约为1.5万亿次的计算机。

19、前沿超级计算机/AMD

20、Frontier采用了AMD的全套解决方案，结合了AMD的EPyc CPU和镭龙Instinct GPU。在AMD的cache coherence互联方案下，CPU上的代码可以直接访问GPU内存，也就是我们上面说的GPU直接存储技术。

21、在存储系统上，Frontier采用了基于Lustre ZFS的679PB文件系统方案，用47700块硬盘实现，最高速度可达5TB/s

22、在高速存储中，有5400个NVMe固态硬盘，构成11PB的存储空间，提供10TB/s的读取速度。

23、极光超级计算机/英特尔

24、Aurora作为今年推出的千万亿次超级计算机系统，选择了英特尔的解决方案。单个计算节点由两个Xeon Sapphire Rapids、六个Xeponte Vecchio GPUs和一个通用内存架构组成。

25、主存储方案也选择了Intel的DAOS文件系统，结合NVMe和傲腾持久内存，形成大于230PB的系统，达到25 TB/s的速度

26、总结

27、除了上述挑战，HPC存储还面临着最近内存计算兴起所带来的计算能力挑战。未来五年，存储结构、文件系统甚至存储材料都将再次迎来新的变革。

28、这些变化将首先解决HPC中的问题，然后潜移默化地改善日常应用。

本文到此结束，希望对大家有所帮助。