内容纲要

arxiv上文章,2020

摘要

文章结合meta-learning和NAS。目前为止,meta-learning的方法都是优化预定义的网络的参数,来快速适应新的样本。另一方面,大的网络参数会提升一些点。然而很少有人关注FSL的结构,或者测试时,使用自适应的网络结构。在这种情况下,我们提出D-NAS,用来优化自适应的结构。

Introduction

显然,较大的体系结构可以将FSC性能提高到一定程度,而性能似乎会达到饱和甚至下降。如图所示:file

我们基于D-NAS(DARTS [34])的技术来构建我们的快照式任务自适应架构搜索。我们的目标是学习一种神经网络,其中的连接是可控制的,并能适应新颖类别的少数任务。 与DARTS相似,我们有一个有向无环图(DAG)形式的神经网络,其中节点是中间特征图张量,而边是操作。 每个边都是操作的加权和(权重之和为1),每个操作是不同的预设层序列(卷积,池化,BatchNorm和非线性)。 操作集包括标识操作和清零操作,以保持表示不变或断开连接。 为避免过拟合,执行了双层(两次)优化,其中首先在一种数据上训练操作层的权重,然后在另一中鞥上训练连接的权重。
我们需要使架构任务具有适应性,以便能够为每个新目标任务快速重新布线。 为此,我们采用了一组小型神经网络MetAdapt控制器,负责在给定当前任务的情况下控制DAG中的连接。MetAdapt控制器会调整不同操作的权重,这样,如果某些操作更适合当前任务,则它们将获得更高的权重,从而有效地修改体系结构并使之适应任务。

后面不读了

最后修改日期:2020年10月15日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。