内容纲要

看了一下作者的代码,太强了吧。
file
用tensorflow加载数据
然后用torch处理模型


受欢迎的方法都是先在FSL中预选连,然后把特征适应到新类别上。在本论文中,我们提出一种基于特征选择的新策略,同时具有简单和有效性。首先,训练一个不同的语义相反的特征提取器,然后给定一个FSL任务,我们使用多域特征bank来自动选择最相关的表达。

Introduction

如何有效的利用additional的数据是非常重要的。在本文中,我们提出一种多域的特征表达,然后自动的选择只有特征相关的子集。
具体而言,随机初始化权重,使用一个大的标注语料,然后评估她来迁移到新类别的能力。简单的fine-tuning一个卷积神经网络已经被证实poorly,因此需要一个专门的技术,来有效的适应到少样本问题。但是最近的研究表明,adaption完全没必要,使用一个非参数化的prototype结合一个正则化的特征提取器可以达到更好的准确率。这些结果暗示正常的FSL中,样本量太少对于学习一个适应的策略完全不够。
但是随着meta-dataset的提出,结果暗示特征适应可能实际上有帮助。本文不是适应特征到新的任务上,而是,选择多域表征的特征。SUR的u表示universal,不仅可以适用于多域问题,还可以适用于其他的语义不相同的问题。本工作直接使用梯度下降的方法来执行选择操作。
我们方法中的选择步骤与元训练分离,因此,它对于任何新领域都同样有效。

method

特征提取器

用来训练一组K个特征提取器file,每个特征提取器将图像x映射到一个d维的特征:file,这些特征组成了一个不同类型的语义,可以通过不同的方式获得。

参数化的多域表达

实验表名,直接使用concat效果不好,因为有很多无关的特征,因此使用参数化的表达。
file其中帽子函数表示L2归一化的函数。我们乘坐fλ为参数化的多域表达,因为它包含了全部的多域信息,但是要选择哪个域,则有参数lambda决定。

最优参数的选择

优化一个概率模型,具体而言,考虑一个NCC分类器,引入似然函数,我们的目标时找到一个最优参数λ,最大化似然函数。目标函数鼓励有着较高相似度的intra-class的λ也大,inter-class相似度低的值低。实际中,采用梯度下降的方法来需按照最优λ。
值得注意的是,最邻近分类器是一个简单的无参数话的模型,有着有限的能力,只储存一个单一的向量来描述一个类别,这个首先的能力成为了一个优势,当只有少量样本被标注,同时,它还有效的防止过拟合。
当训练和测试数据有着相似的域时,SUR能够选择多域的特征,当目标数据域的分布和训练数据域的分布不一样时,需要适应一些参数λ到目标域中。在这种情况下,我们的方法就会执行一个适应形式的有限形式。

Sparsity in selection

正如上文提到,我们的选择算法是一个弱适应的过程,其中参数lambda调整优化图像表达。给定输入任务,参数lambda约束到[0,1]中。然而,实验选择中,我们发现lambda是
一个离散的,意味着执行一个选择性的相关特征。为了进一步提高离散型,进一步惩罚使用L1正则化,然而,我们的实验表明,不加入l1正则化可能更好。

得到多域特征表达

file
如图两种形式,a表示一张图片通过多个域特定的网络来嵌入。b表示使用参数化的family来获得多域表达。这里,灰色的blocks表述共享的计算,有颜色块表示域特定的FiLM层。使用FilLM层作为一个域特定的模块,早每个BN层后进行插入,我们选择FiLM层因为它简单,执行channel相关的仿射变换,同时有着更少的参数。

最后修改日期:2021年1月2日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。