https://www.toutiao.com/a6694150733526204941/

美国陆军的一个项目为深度神经网络开发了一个新的框架，该框架允许人工智能系统更好地学习新任务，同时更少地忘记他们在以前任务中学到的东西。

由美国陆军资助的北卡罗来纳州立大学(North Carolina State University)的研究人员也证明，使用该框架学习新任务可以让人工智能更好地执行之前的任务，这一现象被称为向后转移。

“军队需要准备战斗在世界任何地方,所以其智能系统还需要做好准备,”玛丽∙安博士说领域,智能系统的项目经理在陆军研究办公室,美国陆军作战能力发展的一个元素命令陆军研究实验室”。我们希望军队的智能系统不断获得新技能进行任务时世界各地的战场没有忘记技能已经训练。例如，在进行城市操作时，轮式机器人可能会为密集的城市学习新的导航参数，但它仍然需要在之前遇到的环境(如森林)中高效地运行。”

研究小组提出了一个新的框架，称为“学习成长”，用于持续学习，它将网络结构学习和模型参数学习解耦。在实验测试中，它优于以前的持续学习方法。

“深度神经网络人工智能系统是为学习窄任务而设计的，”该论文的联合首席作者、北卡罗来纳大学(NC State)博士生李锡来(Xilai Li)说。“因此，学习新任务时可能会发生以下几种情况之一，系统在学习新任务时可能会忘记旧任务，这被称为灾难性遗忘。系统可能会忘记一些他们知道的关于旧任务的事情，而不学习做新任务。或者系统可以在添加新任务的同时修复旧任务——这限制了改进，并很快导致AI系统太大而无法有效运行。持续学习，也被称为 终生学习 或学习到学习，正试图解决这个问题。”

要理解“学会成长”框架，可以将深度神经网络看作是一个充满多层的管道。原始数据进入管道的顶部，任务输出从底部出来。管道中的每一个“层”都是一个操作数据的计算，以帮助网络完成其任务，例如识别数字图像中的对象。在管道中有多种安排层的方法，它们对应于网络的不同“体系结构”。

当要求深度神经网络学习一项新任务时，学习增长框架首先通过搜索进行一种称为 显式 神经结构优化的操作。这意味着当网络到达其系统中的每一层时，它可以决定做以下四件事之一:跳过这一层;使用该层的方式与之前的任务使用它的方式相同;在该层上附加一个轻量级适配器，该适配器对其进行轻微修改;或者创建一个全新的层。

这种体系结构优化有效地安排了完成新任务所需的最佳拓扑或一系列层。一旦完成，网络使用新的拓扑来训练自己如何完成任务——就像任何其他深度学习人工智能系统一样。

“我们使用几个数据集进行了实验，我们发现，新任务与之前的任务越相似，现有的执行新任务的层就越重叠，”李说。“更有趣的是，通过优化或“学习”拓扑结构，一个接受过执行新任务训练的网络几乎不会忘记执行旧任务所需要的东西，即使旧任务并不相似。”

研究人员还进行了实验，将学习成长框架学习新任务的能力与其他几种持续学习方法进行了比较，发现学习成长框架在完成新任务时具有更好的准确性。

为了测试每个网络在学习新任务时可能忘记了多少，研究人员接着测试了每个系统执行旧任务的准确性——学习成长框架再次优于其他网络。

“在某些情况下，学习成长框架实际上在执行旧任务方面做得更好，”Salesforce research的研究主管、该研究的合著者熊凯明(caim Xiong)说。这就是所谓的向后转移，当你发现学习一项新任务能让你更好地完成一项旧任务时，这种转移就会发生。我们一直在人们身上看到这一点;而人工智能则不然。”

菲尔兹说:“这项陆军投资扩展了目前最先进的机器学习技术，将指导我们陆军研究实验室的研究人员开发机器人应用，如智能操纵和学习识别新对象。”“这项研究让人工智能离为我们的作战人员提供有效的无人系统又近了一步，这些系统可以部署在战场上。”

这篇题为“学会成长:克服灾难性遗忘的持续结构学习框架”的论文将于6月9日至15日在加州长滩举行的第36届机器学习国际会议上发表。本文的联合作者包括:北卡罗来纳大学电子与计算机工程副教授吴天福博士、北卡罗来纳大学博士生李锡来和Salesforce Research的周英波。本文由Salesforce Research的Richard Socher和熊caim合著。

这项工作也得到了国家科学基金会的支持。部分工作是在李在Salesforce AI Research做暑期实习生时完成的。