内容纲要
arxiv上文章，2020
摘要
文章结合meta-learning和NAS。目前为止，meta-learning的方法都是优化预定义的网络的参数，来快速适应新的样本。另一方面，大的网络参数会提升一些点。然而很少有人关注FSL的结构，或者测试时，使用自适应的网络结构。在这种情况下，我们提出D-NAS，用来优化自适应的结构。
Introduction
显然，较大的体系结构可以将FSC性能提高到一定程度，而性能似乎会达到饱和甚至下降。如图所示：
我们基于D-NAS（DARTS [34]）的技术来构建我们的快照式任务自适应架构搜索。我们的目标是学习一种神经网络，其中的连接是可控制的，并能适应新颖类别的少数任务。 与DARTS相似，我们有一个有向无环图（DAG）形式的神经网络，其中节点是中间特征图张量，而边是操作。 每个边都是操作的加权和（权重之和为1），每个操作是不同的预设层序列（卷积，池化，BatchNorm和非线性）。 操作集包括标识操作和清零操作，以保持表示不变或断开连接。 为避免过拟合，执行了双层（两次）优化，其中首先在一种数据上训练操作层的权重，然后在另一中鞥上训练连接的权重。
我们需要使架构任务具有适应性，以便能够为每个新目标任务快速重新布线。 为此，我们采用了一组小型神经网络MetAdapt控制器，负责在给定当前任务的情况下控制DAG中的连接。MetAdapt控制器会调整不同操作的权重，这样，如果某些操作更适合当前任务，则它们将获得更高的权重，从而有效地修改体系结构并使之适应任务。
留言