深度学习扩大了对核废料修复的研究

劳伦斯·伯克利国家实验室(伯克利实验室)，西北太平洋国家实验室(PNNL)，布朗大学和NVIDIA之间的研究合作已在Summit超级计算机上实现了exaflop性能，该应用程序具有用于对核废料研究中的地下流动建模的深度学习应用程序补救措施。他们的成就将在SC19的“超级计算机上的深度学习”研讨会上进行介绍，展示了基于物理学的生成型对抗网络(GANs)用于分析复杂的大规模科学问题的希望。

布朗应用数学教授，SC19研讨会论文的合著者乔治·卡尼亚达基斯(George Karniadakis)说：“在科学上，我们知道物理定律和观测原理-质量，动量，能量等。” “基于物理的GAN的概念是将来自物理的先验信息编码到神经网络中。这使您可以超越训练领域，这在条件可能发生变化的应用中非常重要。”

SC19论文的合著者Prabhat指出，GAN已被应用到人脸外观的建模中，准确性很高。Prabhat领导了伯克利实验室国家能源研究科学计算中心的数据和分析服务团队。他说：“在科学上，伯克利实验室已探索了将香草GAN用于创建合成宇宙和粒子物理实验的应用;迄今为止，面临的开放挑战之一是将物理约束条件纳入预测之中。” “乔治和他在布朗的研究小组开创了将物理学纳入GAN并使用它们来合成数据的方法(在这种情况下是地下流场)。”

在这项研究中，研究人员集中于1943年建立的汉福德基地，这是曼哈顿项目的一部分，该项目旨在生产用于核武器的eventually，并最终成为世界上第一座大规模scale生产反应堆，另外八个核反应堆和五个processing加工复合物。1989年p生产结束时，留下的是大型地下储罐中的数千万加仑放射性和化学废物，以及估计向土壤处理场处置了4,500亿加仑液体而造成的100平方英里以下的地下水污染。因此，在过去30年中，美国能源部一直与环境保护局和华盛顿州生态部合作，清理位于580平方英里(近500英里)的汉福德。

通过在Summit超级计算机上使用具有物理信息的GAN，研究团队能够估算参数并量化地下流动的不确定性。此图像显示了1级(黑色)和2级(彩色)Hanford站点周围传感器的位置。单位为公里。图片来源：劳伦斯·伯克利国家实验室

为了跟踪清理工作，工人依靠汉福德工地的钻井，并在这些井中放置传感器来收集有关地质特性和地下水流量的数据，并观察污染物的进程。PNNL的计算数学家，SC19论文的合著者亚历克斯·塔塔科夫斯基(Alex Tartakovsky)解释说，像汉福德遗址这样的地下环境非常异质，空间特性各不相同。“仅从数据中估算汉福德站点的属性就需要进行一百万次以上的测量，实际上，我们可能需要进行一千次测量。物理定律可以帮助我们弥补数据的不足。”

Tartakovsky补充说：“标准的参数估计方法是假设参数可以采用许多不同的形式，然后对于每种形式，您必须解决地下流动方程，可能需要数百万次才能确定最适合观测结果的参数。” 但是对于这项研究，研究团队采取了另一种方法：使用具有物理信息的GAN和高性能计算来估计参数并量化地下流动的不确定性。

对于这项早期的验证工作，研究人员选择使用合成数据，即由基于汉福德站点专家知识的计算模型生成的数据。这使他们能够创建现场的虚拟表示，然后可以根据他们感兴趣的测量参数(主要是水力传导率和水头)，根据需要对其进行操作，这两个参数都是建模污染物位置的关键。未来的研究将结合实际的传感器数据和实际条件。

Tartakovsky说：“该项目的最初目的是估计方法的准确性，因此我们使用合成数据而不是实际测量值。” “这使我们能够根据测量次数来估计具有物理信息的GANS的性能。”

在Oak Ridge领导力计算设施OLCF的Summit超级计算机上训练GAN时，团队能够达到1.2 exaflop的峰值和持续的性能，这是应用于SPDE的大规模GAN架构的第一个示例。汉福德站点的地理范围，空间异质性和多个相关长度尺度需要将GAN模型训练到数千个维度，因此该团队开发了高度优化的实现，可在Summit上扩展到27,504个NVIDIA V100 Tensor Core GPU和4,584个节点， 93.1%缩放效率。

NVIDIA AI系统团队的负责人Mike Houston说：“要达到如此大规模和性能，就需要完整的堆栈优化和多种策略来提取最大的并行度。” “在芯片级，我们优化了神经网络的结构和设计，以通过TensorFlow中的cuDNN支持最大化Tensor Core的利用率。在节点级，我们使用NCCL和NVLink进行高速数据交换。在系统级，我们不仅优化了Horovod和MPI，不仅结合了数据和模型，而且还处理了敌对的并行策略。为了最大程度地利用我们的GPU，我们必须对数据进行分片，然后进行分发以与并行化技术保持一致。”

Prabhat说：“这是GAN架构的新高潮。” “我们想创建一个廉价的替代品来进行非常昂贵的仿真，而我们能够在此处证明的是，受物理约束的GAN架构可以产生与我们的物理知识相一致的空间场。此外，该示例项目还汇集了专家从地下建模，应用数学，深度学习和HPC开始。美国能源部考虑了深度学习(尤其是GAN)在模拟问题中的广泛应用，我希望有多个研究团队会受到这些结果的启发。”

论文“ 用于随机PDE的学习解决方案的高度可扩展的，具有物理信息的GAN ”将在SC19深度学习超级计算机研讨会上发表。一世