内容纲要

改进的prototype network,可以借鉴一下。

摘要

本文使用一个非相似性度量方法来确保可区分性的特征归一化。在超球上不需要直接进行归一化嵌入,很容易优化。我们的理论分析展示,提出的非相似度度量,即欧氏距离的平方跟和范数距离,强制嵌入点归引到正确的prototype中,同时远离其他prototype。SEN的PN比常规的PN更有一个合理的margin,而不需要额外的参数和计算量。

Introduction

开头介绍了PN,欧氏距离+softmax。然而,尽管softmax work well in闭集解,但是,仍不具有可区分性。因此,有另外的loss公式来提高可区分性能,其中,高维度特征通过L2归一化来使得特征位于球面上。归一化的特征的优势在30论文中讨论过。但是,直接应用L2正则化,会导致一个非凸的损失函数,会导致局部最优
使用soft的特征归一化,然后保留损失函数的凸性。我们使用一个新颖的不相似度测量方法特别适应FSL的可区分度特征正则化,而不直接使用正则化。这种方法称作 Euclidean distance and the Norm distance (SEN)。

Methods

L2归一化非凸。

Ring loss

一个解决方法是使用ring loss、 ring loss引入了一个额外的香,惩罚样本的norm和学习的目标的norm值R。修改后的损失函数定义为:
file
file
上式使用一个soft的normalization代替显式的normalization。然而,ring loss比softmax损失更难以训练,因为加入Lr项和额外的参数(目标范数R),和额外的超参数γ。SEN可以解决这个问题。

SEN

SEN表达式:
file
file
经过交叉熵后,导致不同类别趋向于不同的范数,这会有问题。我们的目标是强制数据坐落在归一化的单元球上,定义平衡参数e:
file
对于同一类别的,e大于0,对于不同类别的e小于0。这样,最大化ds,是的zi远离其他类别的同时,强制所有类别的嵌入有着相同的范数。因此e灵活的可以强制生成可区分度高的归一化。
在测试的时候,所有的e都为正。
然后就是理论上的分析和实验

结果

file

总结

作者理论分析充足,实验也充足,从各个角度征明了这个距离的有效性。另外作者使用PCA进行可视化。

最后修改日期: 2020年10月20日

作者

留言

撰写回覆或留言

发布留言必须填写的电子邮件地址不会公开。