脑启发算法帮助AI系统实现多任务和记忆

在今天的大多数人工智能技术背后，从自动驾驶汽车到面部识别和虚拟助手，都是人工神经网络。虽然松散地基于神经元在大脑中的通信方式，但这些“深度学习”系统仍然无法实现对灵长类动物和其他生物必不可少的许多基本功能。

然而，芝加哥大学神经科学家的一项新研究发现，适应众所周知的大脑机制可以显着提高人工神经网络学习多项任务的能力，并避免持续的AI挑战“灾难性遗忘”。该研究发表在美国国家科学院院刊上，提供了一个独特的例子，说明神经科学研究如何为新的计算机科学策略提供信息，相反，AI技术如何帮助科学家更好地理解人类大脑。

当结合先前报道的用于稳定人工神经网络中的突触连接的方法时，新算法允许单个人工神经网络以最小的精度损失来学习和执行数百个任务，从而可能实现更强大和有效的AI技术。

“直观地说，你可能认为你希望网络知道的任务越多，网络可能就越大，”UChicago神经生物学教授David Freedman说。“但是大脑认为可能有一种有效的方法可以将大量知识打包到一个相当小的网络中。当你看到大脑中涉及更高认知功能的部分时，你往往会发现相同的区域，甚至是相同的细胞，参与许多不同的功能。这个想法是从大脑的作用中汲取灵感，以便用神经网络解决挑战。“

在人工神经网络中，“灾难性遗忘”指的是教导系统执行新技能而不丢失先前学习的功能的困难。例如，如果最初训练以区分狗和猫的照片的网络然后被重新训练以区分狗和马，它将失去其早期的能力。

“如果你展示一个训练有素的神经网络是一项新任务，它将完全忘记它以前的任务，”AB'18的格雷戈里格兰特说，他现在是弗里德曼实验室的研究员。“它说，'我不需要那些信息'，并覆盖它。这是灾难性的遗忘。它发生得很快;只需几次迭代，你的上一个任务就可以完全消失。”

相比之下，即使相同的神经元用于多个任务，大脑也能够“不断学习”，获取新知识而不消除旧记忆。大脑用于这种学习挑战的一种策略是针对不同任务选择性激活细胞或细胞组分 - 基本上为每种个体技能或在不同环境下打开较小的，重叠的子网络。

UChicago研究人员通过他们称为“依赖于上下文的门控”的算法将这种神经科学机制应用于人工神经网络。对于每个学到的新任务，只激活一个随机20%的神经网络。在对数百个不同任务进行网络训练之后，单个节点可能涉及数十个操作，但每个技能都有一组唯一的对等节点。

结合以前由Google和斯坦福大学研究人员开发的方法，依赖于上下文的门控允许网络学习多达500个任务，但准确度只有很小的降低。

“这种简单的工作做得有点令人惊讶，”Freedman实验室的博士后研究员Nicolas Masse说。“但是通过这种方法，一个相当中等规模的网络可以被分割成一堆方法，以便能够在正确完成后学习许多不同的任务。”

因此，该方法可能在不断发展的人工智能行业具有巨大潜力，其中开发自动驾驶汽车，机器人技术和其他智能技术的公司需要将复杂的学习能力打包到消费级计算机中。UChicago团队目前正与Polsky创业与创新中心合作，探索该算法的商业化选择。

计算研究还有益于实验室最初的重点是通过记录动物学习和行为的活动来更好地理解灵长类大脑。研究人员说，在计算机中实现学习，注意力，感官处理和其他功能的建模和测试策略可以激发和建议新的生物实验，探索自然和人工智能的机制。

“将这一研究成果添加到实验室中，确实为我们开启了很多大门，让我们能够考虑新的问题，新的神经科学主题以及我们目前无法通过实验技术解决的问题。我们可以在实验室里找到，“弗里德曼说。“我们希望这是实验室中更多工作的起点，既可以确定这些原则，又可以帮助创建人工网络，继续学习并利用先前的知识。”